Új hozzászólás Aktív témák

• #9354 S_x96x_S addikt S_x96x_S #9353

  Új Válasz 2024-04-17 19:01:44 #9354

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz S_x96x_S #9353 üzenetére

  AI ...
  
  pl. a friss "Mixtral 8x22B" - https://mistral.ai/news/mixtral-8x22b/
  modell.
  "Truly open
  We believe in the power of openness and broad distribution to promote innovation and collaboration in AI.
  We are, therefore, releasing Mixtral 8x22B under Apache 2.0, the most permissive open-source licence, allowing anyone to use the model anywhere without restrictions."

  amit már lehet tesztelgetni:
  https://ollama.com/library/mixtral/tags
  a friss teljes modell :
  "8x22b-text-v0.1-fp16" 8308b75e67b7 • 281GB
  vagyis gpu-n ~ 300 GB VRAM kell .
  úgyhogy ezt egyenlőre a lassú cpu-n érdemes próbálgatni.
  majd hamarosan lesz butított verzió is . . ami a fele vagy a negyede helyet igényli.

Új hozzászólás Aktív témák