Hirdetés

2024. február 24., szombat

Gyorskeresés

Hozzászólások

(#1) LordAthis


LordAthis
csendes tag
LOGOUT blog

Nagyon jó kísérlet, érdekelni fog minden fejlemény!
Tervezed pl saját gépen futtatni is az A.I.-t?

ChatGPT-vel már meglehetősen sokat beszéltem, ingyen is és fizetősen is.
Az utóbbi hónapokban tényleg sokat fejlődött, de ezt a következő hetekben azért majd tesztelem a régi kérdések ismétlésével, ahol elbukott! :DDD :DD ;]

"Az, hogy működik, még nem jelenti azt, hogy hibátlan." - "Azt mondják, hogy elmebajban szenvedek. De én nem szenvedek, ÉLVEZEM minden percét!"

(#2) MasterDeeJay válasza LordAthis (#1) üzenetére

Mindenképpen offline akarom futtatni, nem a pénz miatt mert tényleg filléres hanem mert érdekel hogyan működik.
Cuda-val lesz majd, lassan megérkezik a P102-100. (~1080ti 10Gb)

(#3) kisi


kisi
aktív tag

Zseniális!

Ezt nem gondoltam volna!

Használgatom a ChatGpt-t főleg angol szöveg javítására, de hogy játékban is használható lenne, így...

(#4) MasterDeeJay

Megpróbálkozom helyileg futtatni az LLM-et: (nem mintha az openai drága lenne de sokkal poénosabb lenne mindent helyben futtatni)

Ez megy CPU only módban, nem feltétlenül kell hozzá cuda.
Helyi erőforrás megvan rá (36 szál 4.5ghz, 128Gb DDR4 4000)
https://github.com/LostRuins/koboldcpp/releases

A másik pedig aminek még nem néztem utána:
https://github.com/oobabooga/text-generation-webui/releases

Még mindíg nem találtam meg az igazi legjobb ár érték arányú budget cuda gyorsítót.
Nagyon a Tesla P40 felé hajlok (24Gb vram) de az nvidia CMP kártyák is jók lehetnének.

LLM modellt meg valami cenzúramenteset választok, szóljon be, legyenek kemények az npc-t.

[ Szerkesztve ]

Copyright © 2000-2024 PROHARDVER Informatikai Kft.