Új hozzászólás Aktív témák

• #4 MasterDeeJay veterán

  Új Válasz 2024-02-14 13:27:08 #4

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  MasterDeeJay

  veterán

  LOGOUT blog

  Megpróbálkozom helyileg futtatni az LLM-et: (nem mintha az openai drága lenne de sokkal poénosabb lenne mindent helyben futtatni)

  Ez megy CPU only módban, nem feltétlenül kell hozzá cuda.
  Helyi erőforrás megvan rá (36 szál 4.5ghz, 128Gb DDR4 4000)
  https://github.com/LostRuins/koboldcpp/releases

  A másik pedig aminek még nem néztem utána:
  https://github.com/oobabooga/text-generation-webui/releases

  Még mindíg nem találtam meg az igazi legjobb ár érték arányú budget cuda gyorsítót.
  Nagyon a Tesla P40 felé hajlok (24Gb vram) de az nvidia CMP kártyák is jók lehetnének.

  LLM modellt meg valami cenzúramenteset választok, szóljon be, legyenek kemények az npc-t.

Új hozzászólás Aktív témák