Új hozzászólás Aktív témák

• #16368 Drizzt nagyúr bmatthun #16364

  Új Válasz 2021-09-19 17:29:28 #16368

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Drizzt

  nagyúr

  válasz bmatthun #16364 üzenetére

  Én anno csináltam ilyen scrapert, de a google eléggé gyorsan le is tiltotta az IP címet, ahonnan futtattam. Nem tudtam előre, de a google felhasználói feltételei között ott van, hogy ilyen célokra tilos a használata, s az elkövető tiltásával jár. Mondjuk ez vagy 15 éve volt, nem tudom megengedőbb lett-e a szabályzat. Nem hinném.
  Én a html-ből próbáltam 1-2 heurisztika alapján parseolni, néha egész sikeresen, de hasonló mértékben egészen sikertelenül. Az eredményeket valamilyen db-be írtam, aztán kézzel átnéztem őket.

• #16367 pelyib tag bmatthun #16364

  Új Válasz 2021-09-19 17:18:56 #16367

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  pelyib

  tag

  válasz bmatthun #16364 üzenetére

  https://developers.google.com/maps/documentation/places/web-service/overview
  Errefele nezelodnek, minthogy nekialljak HTML-t parsolni.

• #16366 Hege1234 addikt bmatthun #16364

  Új Válasz 2021-09-19 13:02:03 #16366

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Hege1234

  addikt

  válasz bmatthun #16364 üzenetére

  én nem biztos, hogy jól értem mit szeretnél
  de ha arra gondolsz, hogy pl azokat összeszedni amik a linken
  bal oldlaon vannak
  [link]
  sztem megoldható pl. python-al és a beautifulsoup modullal
  (de lehet van rá jobb megoldás is)
  csak hát ugye kérdéses, hogy az éttermek mennyi adatot töltenek ki...
  az összes telefonszám pl. ebben van <a class="fl"
  az étterem nevei pedig itt <div class="dbg0pd" aria-level="3" role="heading">
  erre szűrve role="heading" így gondolom az étterem nevei is kinyerhetőek
  többire nem kerestem rá, és mivel egy csomó helyen random generált div nevek vannak
  nem tudom, hogy így megoldható lenne ezzel a módszerrel
  többiek akik itt jobban értenek hozzá biztos tudják, hogy érdemes e ezzel így megoldani

  ha elmélyednél a témában akkor a web scraping-re keress rá

• #16365 coco2 őstag bmatthun #16364

  Új Válasz 2021-09-19 11:52:59 #16365

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  coco2

  őstag

  válasz bmatthun #16364 üzenetére

  Egyik webrobot sem tud gondolkodni, pláne nem gondolatolvasók. Google összes találata a legközelebbi, amit kaphatsz. Pld mit nevezel étteremnek? Utcai morning-only kávés büfétől a sok csillagos szállodai éttermekig a szivárvány 16 millió színével mind festhetnél egy átmenetet közöttük.

  Egyenlőre nem elterjedt szokvány az open graph a weben. Név, cím, olyasmi, nem gyűjthető le előreszámítható és egyforma módszerrel mindenhonnét. Ahogy a haladási sebességet elnézem, majd 10 év múlva kérdezz rá újra - még akkor sem leszel lekésve semmiről.

  Ha vannak Arany Oldalak, Cégkódex, vagy mittudomén miféle kiadványok, azok szerkesztve adnak adatokat. Sajnos, tekintettel a covid-ra, ami 1 évnél régebbi adat (a web 10 éves szeméttel van tele, de azok a kiadványok is lehetnek 1 évnél régebbi adatból szerkesztve), arról csak akkor fogod tudni, még tényleg létezik-e az étterem, ha személyesen odamész arra a címre.

  Szóval döntsd el, mennyi pénzt szeretnél rá elkölteni. Törődj bele, hogy azt előre fogod valakinek odaadni. Különben a normálisabbja szóba sem áll veled. Aztán kapni fogsz valamit, amit a problémához mérten annyi pénzből az a kóder digitális formában adott. És majd utólag meglátod, mennyi az eltérés a virtuális valóság, és a kézzel fogható gyakorlat között.

  Cheers

Új hozzászólás Aktív témák