Új hozzászólás Aktív témák

• #631 cousin333 addikt #82595328 #629

  Új Válasz 2016-05-11 18:44:49 #631

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  cousin333

  addikt

  válasz #82595328 #629 üzenetére

  Már írták, hogyan lehet két with-et egymásba ágyazni, Ettől függetlenül én még nem ijednék meg pár ezer sorocskától, hanem egyben beolvasnám, hacsak nem kvarcórán akarod futtatni... Már csak azért sem, mert a rengeteg I/O művelet aligha tesz jót a teljesítménynek.

  Fejlécet tartalmazó, több oszlopos csv fájlra meg javaslom a pandas modult. Van pl. külön egy read_csv függvénye, ami igen gyorsan képes nagy mennyiségű adatot beolvasni és jónéhány trükköt is ismer. Ezt szintén gyorsan képes feldolgozni, soronként, oszloponként vagy elemenként, majd a to_csv függvénnyel kiírathatod. Arra is van lehetőség, hogy kisebb csomagokban (chunk) olvasd és írd a fájlt. Néhány millió sornál már én is elgondolkoznék ezen a megoldáson.

  Biztosra veszem, hogy lényegesen gyorsabb lesz, mint a sima open függvény meg a soronkénti iterálás. Ha konkrét teendőt is írsz, akkor talán kódot is tudok adni hozzá.

• #630 EQMontoya veterán #82595328 #629

  Új Válasz 2016-05-11 14:19:58 #630

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  EQMontoya

  veterán

  válasz #82595328 #629 üzenetére

  Mert itt két (with) open-t kellene egymásba ágyazni. Lehet ilyet?

  Persze.

  De lehet így is:
  with open('a', 'w') as a, open('b', 'w') as b:

  Whatever you want...

Új hozzászólás Aktív témák