Ne naujiena, kad „Google“ yra didžiausia paieškos sistema pasaulyje. Daugybė žmonių įveiks papildomą mylių, kad jų turinys būtų aukštai įvertintas „Google“ prieš bet kurį kitą paieškos variklį. Dėl to „Google“ pateikia daug kokybiškų rezultatų kiekvienai paieškai ir, naudodama puikius reitingavimo algoritmus, galite tikėtis gauti geriausių paieškos rezultatų „Google“.

Tai turi reikšmę. Tai reiškia, kad „Google“ yra daug naudingų duomenų ir kad reikia iškrapštyti šiuos auksinius duomenis. Nugriauti duomenys gali būti naudojami kokybiškai analizuojant duomenis ir atrandant nuostabias įžvalgas. Tai taip pat gali būti svarbu norint gauti puikią tyrimų informaciją vienu bandymu.

Kalbant apie grandymą, tai galima padaryti naudojant trečiųjų šalių įrankius. Tai taip pat galima padaryti naudojant „Python“ biblioteką, žinomą kaip „Scrapy“. Įrašai yra įvertinti kaip vieni iš geriausių įrankių, kuriais galima gremžti, ir jie gali būti naudojami beveik bet kokiam tinklalapiui nugramdyti. Daugiau galite sužinoti „Scrapy“ bibliotekoje.

Tačiau, nepaisant stipriosios šios nuostabios bibliotekos. Duomenų kasymas „Google“ gali būti viena sudėtinga užduotis. „Google“ atkakliai bando nuskaityti žiniatinklį, užtikrindama, kad scenarijai nurašyti net nepadarytų tiek daug 10 užklausų per valandą, kol bus uždraustas IP adresas.  Dėl to trečiųjų šalių ir asmeninių žiniatinklio grandymo scenarijai tampa nenaudingi.

„Google“ tikrai suteikia galimybę nuskaityti informaciją. Nepaisant to, kas būtų padaryta, reikia atlikti taikomųjų programų sąsają (API).

Tiesiog įtraukite dar nežinote, kas yra programų programavimo sąsaja, nėra ko jaudintis, nes pateiksiu trumpą paaiškinimą. Pagal apibrėžimą API yra funkcijų ir procedūrų rinkinys, leidžiantis kurti programas, kurios pasiekia operacinės sistemos, programos ar kitos paslaugos funkcijas ar duomenis. Iš esmės API leidžia jums gauti prieigą prie galutinio procesų rezultato, jums nereikia dalyvauti tuose procesuose. Pvz., Temperatūros API suteiktų jums vietos Celsijaus / Farenheito vertes, jums nereikėtų ten eiti su termometru ir patys atlikti matavimus.

Įtraukus tai į „Google“ informacijos nuskaitymo sritį, mūsų naudojama API leis mums pasiekti reikiamą informaciją nereikės rašyti jokio scenarijaus, kad būtų galima iškrapštyti „Google“ paieškos rezultatų puslapį. Per API mes galime tiesiog turėti prieigą prie galutinio rezultato (po to, kai „Google“ atliks „nuskaitymą“), nerašydami jokio kodo, kad iškrapštytumėte tinklalapius.

Nors „Google“ turi daugybę API skirtingiems tikslams, šio straipsnio tikslais naudosime „Custom Search JSON“ API. Daugiau informacijos apie šią API galite rasti čia.

Ši API leidžia mums nemokamai atlikti 100 paieškos užklausų per dieną, esant kainų planams, jei reikia, pateikti daugiau užklausų.

Individualios paieškos sistemos kūrimas

Kad galėtume naudoti individualizuotos paieškos JSON API, mums reikės individualizuotos paieškos programos ID. Tačiau pirmiausia turėtume sukurti tinkintą paieškos variklį, kurį galima padaryti čia.

Apsilankę tinkintos paieškos programos puslapyje, spustelėkite mygtuką „Pridėti“, kad sukurtumėte naują paieškos variklį.

Laukelyje „Ieškomos svetainės“ tiesiog įrašykite „www.linuxhint.com “ir laukelyje„ Paieškos variklio pavadinimas “įveskite bet kurį pasirinktą aprašomąjį pavadinimą (pageidautina, kad būtų„ Google “).

Dabar spustelėkite „Sukurti“, kad sukurtumėte pasirinktinį paieškos variklį, ir spustelėkite puslapyje esantį mygtuką „Valdymo skydas“, kad patvirtintumėte sėkmingą kūrimą.

Po juo pamatysite skiltį „Paieškos variklio ID“ ir ID, tai yra ID, kurio mums reikės API, ir mes jį nurodysime vėliau šioje pamokoje. Paieškos variklio ID turėtų būti privatus.

Prieš išvykdami prisiminkite, kad įdėjome „www.linuhint.com “anksčiau. Pasirinkę šį nustatymą, rezultatus gautume tik iš svetainės. Jei norite gauti įprastus bendros internetinės paieškos rezultatus, kairiajame meniu spustelėkite „Sąranka“, tada spustelėkite skirtuką „Pagrindai“. Eikite į skyrių „Ieškoti visame žiniatinklyje“ ir įjunkite šią funkciją.

API rakto kūrimas

Sukūrus individualizuotą paieškos variklį ir gavus jo ID, reikės sukurti API raktą. API raktas suteikia prieigą prie API paslaugos, o sukūrus jis turėtų būti saugus, kaip ir paieškos sistemos ID.

Norėdami sukurti API raktą, apsilankykite svetainėje ir spustelėkite mygtuką „Gauti raktą“.

Sukurkite naują projektą ir suteikite jam aprašomąjį pavadinimą. Spustelėję „kitas“, sugeneruosite API raktą.

Kitame puslapyje mes turėsime skirtingas sąrankos parinktis, kurios nėra būtinos šiai pamokai, todėl tiesiog spustelėkite mygtuką „išsaugoti“ ir mes būsime pasirengę eiti.

Prieiga prie API

Mums gerai pavyko gauti tinkintos paieškos ID ir API raktą. Toliau mes ketiname naudoti API.

Nors API galite pasiekti kitomis programavimo kalbomis, tai darysime su „Python“.

Kad galėtumėte pasiekti API naudodami „Python“, turite įdiegti „Python“ skirtą „Google“ API klientą. Tai galima įdiegti naudojant „pip install“ paketą su toliau nurodyta komanda:

„pip install google-api-python-client“

Sėkmingai įdiegę, dabar galite importuoti biblioteką į mūsų kodą.

Didžioji dalis to, kas bus padaryta, bus vykdoma žemiau esančia funkcija:

nuo googleapiclient.atradimų importo komponavimas
my_api_key = "Jūsų API raktas"
my_cse_id = "Jūsų IPP ID"
def google_search (search_term, api_key, cse_id, ** kwargs):
service = build ("muitinės paieškos", "v1", developerKey = api_key)
res = paslauga.cse ().sąrašas (q = search_term, cx = cse_id, ** kwargs).vykdyti ()
grąžinti rez

Aukščiau esančioje funkcijoje my_api_key ir my_cse_id kintamieji turėtų būti pakeisti atitinkamai API raktu ir paieškos variklio ID kaip eilutės reikšmėmis.

Viskas, ką reikia padaryti dabar, yra iškviesti funkciją, perduodančią paieškos terminą, api raktą ir cse id.

rezultatas = google_search („Kava“, my_api_key, my_cse_id)
spausdinti (rezultatas)

Funkcijos iškvietimas aukščiau ieško raktinio žodžio „Kava“ ir priskiria grąžintą vertę rezultatas kintamasis, kuris tada atspausdinamas. JSON objektą grąžina pasirinktinės paieškos API, todėl bet kokiam tolesniam gauto objekto analizavimui reikės šiek tiek žinių apie JSON.

Tai matyti iš toliau pateikto rezultato pavyzdžio:

Aukščiau pateiktas JSON objektas yra labai panašus į „Google“ paieškos rezultatą:

Santrauka

Nuskaityti „Google“ informacijos tikrai neverta. Pasirinktinės paieškos API palengvina visų gyvenimą, nes vienintelis sunkumas yra išanalizuoti JSON objektą reikalingai informacijai. Primename, kad visada nepamirškite savo individualizuotos paieškos programos ID ir API rakto reikšmių laikyti privačiomis.