Hirdetés

Keresés

Új hozzászólás Aktív témák

  • S_x96x_S
    addikt

    Minden egyes alkalommal új pod indítása, és modell újboli letöltése pl. hugging faceről talán működhet, de nem tűnik túl elegánsnak.

    Ha megvan a modell amivel megelégszel ;
    akkor mindent tudsz automatizálni.
    - a gpu inditást ( runpod, lambda, Vast.ai , ... )
    - a modell letöltést
    - és ha a célod - még mindig a heti 1x napló feldolgozás - Akkor 40-50 előre elkészített prompt-ot is automatikusan ráküldhetsz.
    - és utána automatikusan leállítod( hogyha nincsenek bővebb kérdéseid )

    Vagyis neken: ami nem automatizált, az nem elegáns.

    És a teszteléshez is kell valami automatizálható script,
    mert havonta jelennek meg az új modellek.
    Valamint az inference programokat ( vllm, ollama ) is rendszeresen fejlesztik ( javítják a hibákat, optimalizálnak )
    vagyis nagyon gyorsan elavul az 1-2 hónappal ezelőtti benchmark eredménye.

    ---

    Én ha a saját naplóimat akarnám feldolgozni akkor egy könyvtárba txt/markdown formátumba elmenteném és ráengedném valamelyik [ codex /Claude-code/gemini ] tool-t ;
    előfizetéssel és a privát adat megtartásával
    (ne használják traning-re )

    Ha még korrektebbül akarom csinálni, akkor előtte rengeteg személyes szót lecserélek ( pl. neveket anonimizálok ) egy programmal ;
    és a végén - az AI eredményét egy másik programmal visszakódolom ( pl. az eredeti nevekre )

    Amúgy a nevek lecserélését nem árt letesztelni, mert egyes nevek teljesen más irányba tolhatják az AI-t - mint más nevek,
    ( pl egy név a modell számára gyakran asszociálódik sok más tulajdonsággal is ( nem, etnikai háttér, kor, társadalmi státusz . de akár vallási/kulturális kontextusba is bekavarhat )
    Persze ilyesmire egy komoly HR-es AI rendszert tesztelni kell - de a saját naplónk elemzésénél ez már nem biztos, hogy eszünkbe jut.

Új hozzászólás Aktív témák