A futtatásnál a probléma leginkább a szükséges RAM miatt probléma, de az izmosabb eszközökön a LLaMA2-7B -t már lehet futtatni vállalható sebességgel bár ehhez is szükséges kb 16gb ram
De a Fine tuneolásához egy 7B modellnek...háát mobil eszközökön ez nem mostanában lesz lehetséges.
Bár ez az önálló személyisége van dolgot nem igazán lehet értelmezni egy LLM esetében. Csak azt "tudja" egy model amin fel lett tanítva.
Persze szép és jó látni amikor egy öntanuló modellt ráengednek az internetre, mint anno a Microsoft a sajátját a Twitterre. Körülbelül 1 napig futott mert rasszista adatokkal etették.
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
