Új hozzászólás Aktív témák

• #15946 biker nagyúr DNReNTi #15942

  Új Válasz 2014-08-12 13:31:47 #15946

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  biker

  nagyúr

  válasz DNReNTi #15942 üzenetére

  mi csináltunk ilyet, telefonkönyv meg webshop adatszippantó, curl-el bekéred az oldalt, aztán kidobod a header/footer meg a többi sallangot, csak a kért box marad, azt pedig a formázások alapján fel tudod dolgozni, akár tömbbe kiexportálni pár explode-al.
  Persze
  - sokáig fut
  - letiltják az IP-t ami nagy terhelést okoz
  ezért célszerű kiegészíteni egy free proxy ip begyűjtő scripttel, és ezeken keresztül csatlakozni, vagy limitálni percenként 10-20 oldal lekérés és/vagy óránkénti limit mellé

  Ez a megoldás nagyker részére készült, hogy ellenőrizzék a kiskereiket, mennyiért árulják a cuccaikat, nem-e szürkéznek mellé, vagy ár alatt adják

  nagyjából kiskerenként meg kellett írni a feldolgozó scriptet, mert más az oldal felépítés

Új hozzászólás Aktív témák