Hirdetés
- sziku69: Fűzzük össze a szavakat :)
- Luck Dragon: Asszociációs játék. :)
- cigam: Mi az a HiDPI és Retina felbontás?
- D1Rect: Nagy "hülyétkapokazapróktól" topik
- gban: Ingyen kellene, de tegnapra
- ricsi99: Mire is jó az utánvét eröltetése használt cucc vásárlása esetén?
- eBay-es kütyük kis pénzért
- Magga: PLEX: multimédia az egész lakásban
- Sub-ZeRo: Euro Truck Simulator 2 & American Truck Simulator 1 (esetleg 2 majd, ha lesz) :)
- Luck Dragon: MárkaLánc
Új hozzászólás Aktív témák
-
S_x96x_S
addikt
Lehetséges, hogy a Sparkokat elég gyorsan össze lehet kapcsolni
--> "ConnectX-7 NIC for 200GbE" -"This is the ASUS Ascent GX10 a NVIDIA GB10 Mini PC with 128GB of Memory and 200GbE"
"We asked about the ability to connect more than two. NVIDIA said that initially they were focused on bringing 2x GB10 cluster configurations out using the 200GbE RDMA networking. There is also nothing really stopping folks from scaling out other than that is not an initially suppored NVIDIA configuration. NVIDIA will ship these with the NVIDIA DGX OS as like what comes on DGX systems. That is an Ubuntu Linux base with many of the NVIDIA drivers and goodies baked in so you will be able to use things like NCCL to scale-out out of the box." ( https://www.servethehome.com/the-nvidia-dgx-spark-is-a-tiny-128gb-ai-mini-pc-made-for-scale-out-clustering-arm/ )
-
S_x96x_S
addikt
új - AMD-s projekt.
GAIA: An Open-Source Project from AMD for Running Local LLMs on Ryzen™ AI
https://www.amd.com/en/developer/resources/technical-articles/gaia-an-open-source-project-from-amd-for-running-local-llms-on-ryzen-ai.html
Mar 20, 2025
(CPU, iGPU, and NPU) - --> https://github.com/amd/gaia
-------persze Linux -os verzió egyenlőre nincs . ( talán hamarosan .. )
-
S_x96x_S
addikt
NVIDIA DGX Spark
-----------
$ 2.999 ASUS verzió - GX10 1 TB
$ 3.999 Founder edition : DGX Spark - 4 TB
( videocardz )
-
5leteseN
senior tag
válasz
Mp3Pintyo
#1932
üzenetére
Negyed-annyiért a "csak" 85-95%-át tudó bővíthető kínai-tajvani verzió lesz, a szokásos 3-4 hónap múlva.
A nagyok elviszik az extra-profitos részt, azok pedig aki nekik egyébként is gyártják, azok meg a következő "munkásabb" piaci szakasz nyereségét.
Ez utóbbi piaci-versenyezős szakasz jó pillanatait-jókor elkapva lehet, tudunk majd nagyon jól járni.Tapasztalatom, nagyvonalakban.+ : Az ehhez a döntéshez szükséges (egyébként gyakorlatilag bárki számára kis kitartással megszerezhető) szakmai tudással, és gyorsan mozdítható €-$-Ł-okkal.
Ennél bővebben már nem tartozik a témához.
-
-
S_x96x_S
addikt
válasz
DarkByte
#1928
üzenetére
A Spark felett ( árban és teljesítményben ) érkezik a "NVIDIA DGX Station"
https://www.nvidia.com/en-us/products/workstations/dgx-station/
- Up to 900 GB/s
- GPU memory: Up to 288GB HBM3e | 8 TB/s
- CPU Memory: Up to 496GB LPDDR5X | Up to 396 GB/s
- NVIDIA ConnectX®-8 SuperNIC | Up to 800 Gb/saz árát egyenlőre nem tudjuk
![;]](//cdn.rios.hu/dl/s/v1.gif)
-----------------
Ami szerencsés - hogy minden cég kezdi kitolni a nagy VRAM -s kütyüjeit.
( és remélem lesz még idén meglepetés )
kezd alakulni valamilyen verseny.
-
DarkByte
addikt
válasz
DarkByte
#1927
üzenetére
Közben kijött a hivatalos Nvidia bejelentés. Át lett nevezve DGX Sparks-ra a projekt. $3k.
Specifikációk itt. Itt is azt írják partnereken keresztül lesz elérhető.Memory Bandwidth: 273 GB/s
Hát érdekes lesz majd egy Mac Studio-val, illetve mondjuk a Framework Desktop-ban lévő AMD Ryzen AI Max-al összevetve ez mire elég. De ahogy eddig is sejthető volt, ez LLM-ekre lesz elsősorban, és nem kép/videó generálásra.
-
DarkByte
addikt
Úgy tűnik a Digits vendor-osítva lesz mint az Nvidia VGA-k. Az ASUS tippre túl hamar kirakta a sajtó hírt, de az archive.org még idejében eltette. Ár még mindig nincs mondjuk. De lehet a héten a GTC 2025 alatt még kiderül.
-
Zsolt_16
tag
válasz
Mp3Pintyo
#1923
üzenetére
Sajnos a local futtatás kilőve nincs olyan vas a cégben ahol értelmesen elmenne ha az even lab bevállik 5-10 usd/hó akkor nekünk megfelelő költség lesz havonta így a kollega aki használja egy login után simán tudja használni.
Köszönöm innen is a munkádat már youtubeon találkoztam veled és nagyon sokszor hasznos voltak a videóid
-
DarkByte
addikt
válasz
5leteseN
#1919
üzenetére
A temperature-re tekints úgy, mint egy plusz véletlen tényező, aminek a hatására minden kiadott token-nél a legvalószínűbb következő token közül mennyire a nem top1-et fogja választani. Ettől lesz választékosabb úgy mond a kimenet, így tud variánsokat adni.
Kódolásra lefordítva: egy adott kódolási problémát is sokféleképpen meg lehet oldani, ha leveszed a temperature-t, mindig egy valamit fog kiírni (feltéve hogy az input prompt, context és seed ugyanaz marad), cserébe ha ez egy rossz megoldás, nem tudod onnan kimozdítani tisztán csak újragenerálással, hanem hozzá kell nyúlni a többi dolog valamelyikéhez.
A temperature = 0 akkor jó ha a 100% reprodukálhatóságra mész, akárhányszor futtatsz le valamit (feltéve hogy persze közben a model, a videókártya driver, a videókártya, a numerikus számítást végző kód könyvtárak, és egyéb függőségek amelyek kihatnak a számításokra nem változnak).
-
5leteseN
senior tag
Programozási feladatoknál is él a "Hőmérséklet" fedőnevű beállítási lehetőség(ami "Kreativitás" mértékét állítja be)?
Azért érdeklődöm, mert ilyen feladatnál pont hátrány(Gondolom én) a felesleges kreativitás, hiszen a programozási szabályokat is felülír(hat)ja, ami egyenesen vezet szintaktikai hibákhoz.
Ezt a "Hőmérsékletet" le szoktátok ilyenkor húzni alacsony(mennyire alacsony) értékre?
...mint említettem: HA van ilyenkor ez a lehetőség! -
woryz
senior tag
válasz
S_x96x_S
#1916
üzenetére
Még ugyanazon a felületesen se kapsz - ugyanazzal a modellel - pontosan ugyanolyan választ.
Mondjuk ez nagyon igaz, nem tudom mit gondoltam...
Sőt néha kérek egy pontosítást a saját szövegemen, majd 2-3 (stb) kérdezz felek után visszajutunk 99%-ban az én szövegemhez. 
Akkor nincs más hátra, mint előre és tesztre fel... Meglássuk, melyik fog nekem tetszőbb választ adni, de akkor a perplexity-t inkább improved Google-nek tekintem a jövőben, és nem variálok a modellekkel (mondjuk chat GPT-n se variáltam eddig rajta
) -
DarkByte
addikt
válasz
DarkByte
#1915
üzenetére
Kicsit gagyi kajafutáros analógiával:
A Perplexity-n át AI-zás olyan mint a Wolt-on keresztül rendelni kaját valamelyik étteremtől, az OpenAI API-n át meg olyan mintha felhívnád az éttermet és direkt rendelnél, és ott mivel közvetlenül velük állsz kapcsolatban sokkal személyre szabotabban tudod megmondani mit hagyjanak mondjuk ki a feltétek közül (illetve plusz dolgokat is tudsz intézni, pl. akár foglalhatsz asztalt helyi fogyasztáshoz), még a Wolt-nál azon lehetőségeid vannak amit az ő felületük és adatbázisuk megenged, cserébe egy egységes kereső és rendelő felületet kapsz.
-
S_x96x_S
addikt
> Viszont ha ki tudom benne (mármint a Perplexity-n) választani
> ugyanazt az AI modelt amit a chat GPT-n is,
> és (ha!) ugyanúgy működik, akkor minek / mire lesz még jó a másik?most amit én ki tudok választani a ChatGPT -s előfizetéssel
- GPT-4o
- GPT-4o with scheduled task
- GPT-4.5 ( research preview )
- o1
- o3-mini
- o3-mini-high ( programozáshoz ideális )
- GPT-4o mini ( régi modell )
- GPT-4 ( régi modell )
> Arra gondoltam, hogy valahogy letesztelem...Le kell tesztelni!
A te igényedet csak te ismered korrektül.> Mindkét felülten, ugyanazt a modelt használva felteszek nekik kérdéseket,
> és ha ugyanazt a választ kapom, akkor kb fölösleges lesz a kettő...Még ugyanazon a felületesen se kapsz - ugyanazzal a modellel - pontosan ugyanolyan választ.
Bertam a chatgpt-o3-mini-high -ba; hogy "Kérek egy szép magyar verset."
és mindig más verset generál. -
DarkByte
addikt
Akkor nem elég a Perplexity ha használni akarsz valami másik eszközt amivel integrálni akarod és aminek direkt alacsony szintű OpenAI (vagy Claude) API kell, mert saját prompt-okkal operál (pl. kódoláshoz való eszközök, vagy mondjuk a Home Assistant-be akarod bekötni mint aszisztens backend).
A Perplexity mikor hívja ezeket az API-kat, a kontexthez hozzáteszi a háttérben a saját webes keresésre kihegyezett system prompt-ját (és még ki tudja mit, nem publikus). Nem csak az megy a kiválasztott AI saját API-jának amit te beírsz a Perplexity bemeneti dobozába.
A Perplexity egy magasabb szintű wrapper ha úgy tetszik.
-
woryz
senior tag
válasz
DarkByte
#1913
üzenetére
Nézd / nézzétek el nekem, nagyon csak a felszínt kapirgálom az AI témában (is)...
Viszont ha ki tudom benne (mármint a Perplexity-n) választani az ugyanazt az AI modelt amit a chat GPT-n is, és (ha!) ugyanúgy működik, akkor minek / mire lesz még jó a másik?Arra gondoltam, hogy valahogy letesztelem... Mindkét felülten, ugyanazt a modelt használva felteszek nekik kérdéseket, és ha ugyanazt a választ kapom, akkor kb fölösleges lesz a kettő... De ha ezt már kipróbáltátok, akkor nem futok fölösleges köröket...
-
woryz
senior tag
válasz
consono
#1855
üzenetére
Tök jó, a Telekom adott egy éves Pro előfizetést a Perplexity Pro-ra. Viszont ahogy néztem, ott is ki lehet választani a Open AI 4o modeljét, szóval lehet, hogy akkor azt az előfizetést le is lehetne mondanom.
Vagy tapasztaltál különbséget a kettő között (mármint, hogy ott választottad ki esetleg a GPT-4o modelt)? -
freeapro
senior tag
válasz
S_x96x_S
#1907
üzenetére
Én ezt a kérdést dobtam be chagpt, deepseek r1, és grok-3 -nak. A chatgpt válasza állt legközelebb ahhoz amit én is gondoltam. A grok-3 is hasonlót adott, a deepseek viszont nem teljesen standard megoldást javasolt #pragma once paranccsal a standard define guardos megoldás helyett. (Nem rossz az sem, csak minek. Jobb a standard út)
Egy windowsos programon dolgozom. C nyelven készül a visual studio projekt. A program kódja nagyon doménekre (domain) bontható, mint a WinMain ablakkezelés, Editor az adatbászis létrehozására és módosítására és a RUN, ami az adatbázison futtat bizonyos feladatokt. A domainben vannak függvények, amik interfacek, és másik domainből meghívhatók, és vannak belsős (internal) függvények, amik a domain belső működéséhez szükségesek. Azt szeretném, ha a domének között kis csatolás és korlátozott láthatóság lenne, de a domainben használt közös változókat egy struct változóban összegyűjteném amit a domainben mindenki elérhet. Hogyan szervezzem a header filekoat és mit tegyek láthatóvá a domainen kívül és hogy legyenek láthatóak a belső függvények a domainen belül? Mutass példákat.
-
DarkByte
addikt
Szerintem ez nagyon felhasználási terület függő, próbálgatni kell, szinte mindegyiknek van ingyenes tier-je.
Én most pl. a napokban a Cursor-t próbáltam. Előfizetve $20/hótól indul (plusz gondolom ÁFA ráértendő). Durván ilyen áron megy a többi is.
Ez egyébként egy integrált megoldás, egy fork-olt vscode-on át teszi elérhetővé magát, kiegészítve az ágens elemekkel, így az egész projektet képes látni. (Sajnos emiatt vannak limitációi is, pár Microsoft vscode add-on nem megy vele, bár szerencsére ami engem érdekel, pl. WSL2 igen.)
Az alatta lévő modelleket is lehet váltogatni.
A szokásos dolgokat tudja amúgy, tab-ra kód kiegészítés, blokkok átírása, illetve chat-elni lehet a kódbázissal. Kb. az összes ennyit tud jelenleg. Amiben talán extrább, hogy képes indexelni a kódbázisodat (gondolom valami RAG-et épít a háttérben), így kicsit elvileg jobban érti a projektedet, nem csak egy-egy kiragadott fájlszakaszt kap meg mikor kérdezgeted.Sajnos sokat nem volt még időm vele játszani. Egy saját HTMX/Dart projektemre eresztettem rá és kíváncsi voltam felismeri-e benne a komponenseket amiket én írtam (tehát nincs benne meglévő framework használat, pont ezért is voltam kíváncsi rá, hogy ezzel mit tud kezdeni; jobban szimulálja hogy ráereszted egy legacy kódbázisra amiben ki tudja milyen régi taknyolt dolgok vannak).
Megkérdeztem tőle hogyan venne fel egy új alkalmazás oldalt, és egész jól láthatóan felfedezte magának a projekt struktúrát, és még használható template-et is tudott adni új oldal elkészítéséhez. (Persze ez egy relatíve kis projekt, néhány ezer sor. Köze nincs mondjuk ahhoz a több millió soros Java kódbázishoz amit munkában rugdosunk.)Itt sajnos megszakadt az ismerkedésünk, nem volt rá azóta több időm.
Nem is valami gyors, bár ez gyanúsan az ingyenes fiók miatt van.(Egyébként állítólag kódolási feladatokra a Claude még mindig jobban teljesít összességében. De saját tapasztalat hiányában ezt inkább csak lábjegyzetbe.)
-
S_x96x_S
addikt
> Milyen mesterséges inteligenciát érdemes használni programozásra
Attól függ ...
- Milyen programozási feladat.
- Milyen AI Editor: cline, cursor, windsurf, aider, v0 , ....
- Melyik modell : Claude 3.7 , OpenAI ( o3-mini-high , o1 ) , Grok3, Gemini 2.0, ...
- ....A modelleknél lehet: csomag és api előfizetés
( mert ha komolyan tolod - napi 10-12 órában, akkor a csomag is kevés )Az aider programozási bechmark -ból látszik, hogy - ma - mi a legjobb.
( de a következő hónapban már más lesz .. nagyon gyorsak a változások )
Költség alapján talán valamilyen okos openrouter -es vagy kombinált ( Claude3.7+DeepSeekR1) megoldás a legköltséghatékonyabb.
https://aider.chat/docs/leaderboards/Nekem már több mint 1 éve van:
- Claude - havi előfizetésem ( most váltottam évesre )
- ChatGPT ( havi + API credit )
- Copilot ( havi )
És még mindig kezdőnek érzem magam a témában.
Programozásra nekem a Claude a kedvencem;
de párhuzamosan sok más modellt is használok és tesztelek;> és melyik a legolcsóbb ha előfizetek,
Szerintem a minőség fontos.
1.) és bár a Claude ingyenesen is elérhető pár kérdésig - tesztelgetésre,
a saját teszt után - én egy claude -előfizetést javasolnék.2.) ha sok különböző modellt szeretnél egy helyen elérni,
és használat után akarsz fizetni - akkor érdemes
a https://openrouter.ai/models?order=pricing-high-to-low -t megnézni.
( claude, openai, gemmini flash 2.0, ... )
és itt látszik az is, hogy melyik a legnépszerűbb - programozásra:
https://openrouter.ai/rankings/programming?view=week
és vannak extrém olcsó és ingyenes modellek is.A használat után fizetéssel óvatosan - akár 1 nap alatt el tudsz verni 50 USD-t
-----------
Amúgy az utóbbi pár hétben az MCP-k nagyon trendik lettek:
"BlenderMCP connects Blender to Claude AI through the Model Context Protocol (MCP), allowing Claude to directly interact with and control Blender. This integration enables prompt assisted 3D modeling, scene creation, and manipulation."
- https://x.com/minchoi/status/1900379164454101154
- https://github.com/ahujasid/blender-mcp -
5leteseN
senior tag
válasz
freeapro
#1899
üzenetére
Az jó!
Most nemtom' megnézni, mert a a második nV-s VGA-m nem fér be tőle 2 slotra lévő VGA aljzatba a felette lévő 2,5-slot-os 2080Ti túlméretes hűtése miatt.
Körbenézek valami gyorsabb és sok-VRAM-os de csak egy-slot-os nV ügyében. Kicsi az esély, ezek Quadro-k szoktak lenni, civilek ilyet ritkán vesznek a 3-4-szeres áruk miatt.
-
DarkByte
addikt
válasz
consono
#1894
üzenetére
Az OpenWebUI-on most már van "Code Interpreter" gomb a prompt boxnál, ennél kíváncsiságból be is kapcsoltam, de szerintem semmi hatása se volt jelen esetben.
Itt a normál LLM válasz végén az "which is 1" az sejtésem szerint ugyanúgy hallucináció gyanús, mivel hamarabb ott volt mint megnyomtam a "Run" gombot a script box szélén.
ChatGPT-n ha kérsz tool use-t, látod egyből hogy lefutatta és belefűzte a válaszába és úgy folytatja a prompt maradék részének kiírását. Szerintem itt is így kellene működnie, csak még nem jöttem rá milyen modell és beállítás kell ehhez. A Gemma3 nem tud tool use-t, legalább is az Ollama definíciója szerint biztosan nem.
Mindenesetre a kód amit írt helyes, és ezt akartam demonstrálni.
-
5leteseN
senior tag
válasz
5leteseN
#1891
üzenetére
Most vettem észre, hogy a csatolt képen csak egy 3090 van, tehát annál a konfignál nincs mit összeadni.
Mintha írtad is volna, hogy egy korábbi állapot volt a két VGA-s összeállítás.Most már nem tudod ezt a két-VGA-s esetet megnézni az LLM betöltődéssel(hogy az összevont méretű VRAM műxik-e)?
-
5leteseN
senior tag
válasz
freeapro
#1889
üzenetére
1,
2, Azt esetleg meg tudnád nézni, hogy az összegzett VRAM mérethez illeszkedő méretű LLM-et csak a VRAM-okba tölti, vagy használja a rendszer RAM-ot is(kár lenne).
Ez utóbbinál ugyanis "bekapcsol" a rendszer RAM sebességéhez tartozó "csiga-biga üzemmód", amit a visszaeső token/mp számból lehet észrevenni(+a hosszabb "kávé-szünetből"). -
S_x96x_S
addikt
válasz
S_x96x_S
#1882
üzenetére
(több gép összekapcsolás - TB5 + 2db M3 Ultra 512GB
Terv: 11 tok/sec jelenleg --->> 20 tok/sec --->> 40 tok/sec"Thunderbolt 5 interconnect (80Gbps) to run the full (671B, 8-bit) DeepSeek R1 distributed across 2 M3 Ultra 512GB Mac Studios (1TB total Unified Memory). Runs at 11 tok/sec. Theoretical max is ~20 tok/sec."
https://x.com/alexocheema/status/1899735281781411907"We’ll keep improving it in @exolabs. Once we approach the “theoretical maximum”, there’s a bunch of other stuff we can do to surpass it for sparse MoE, e.g. expert parallelism. I think we can get to 40 tok/sec."
https://x.com/alexocheema/status/1899737017866719506 -
5leteseN
senior tag
válasz
freeapro
#1884
üzenetére
freeapro : "LM Studio egy gépben több VGA-t is tud kezelni észrevehető sebességcsökkenés nélkül. (3070+1080ti -t teszteltem)"Ez sem rossz! Ez igazán akkor lenne főnyeremény, ha összeadja a VRAM-okat!
Összeadta?
Az sem lenne rossz, ha a két LLM-es üzemmód(Spekulatív dekódolás, EBBEN a videóban ) esetén az egyik VGA-n (a kissebben) futna kis LLM, a másikon a nagy.
...vagy csak álmodozom? -
DarkByte
addikt
válasz
S_x96x_S
#1885
üzenetére
Gbps vs GB/s.
Az az összehasonlítás értelmetlen, a 70B Q4-nek kell közel 40GB VRAM.
Mivel a 24GB-ba nem fér be, beindul a RAM spillover, és onnantól kezdve a rendszer memória sebességét méred egy totál lefolytott 4090-el párosítva.Tipikus idióta marketing. Olyan mint hogy az 5070 hozza a 4090 sebességét játékokban. Persze, csak azt elfelejtették írni hogy DLSS4 és framegen mellett. Natív teljesítményben a 4090 lenyomja mint Süsü a cölöpöt.
-
S_x96x_S
addikt
válasz
DarkByte
#1883
üzenetére
> oké, de ez még mindig alig 1GB/s-es tempó,
nem 1 --> 11 !
A 11Gbps full-mesh hálózat ~= Minden eszköz közvetlenül 10Gbps kapcsolatokkal csatlakozik minden más eszközhöz.
és az USB4 biztosítja az operációs rendszer támogatást is.> összehasonlítva mondjuk
> egy 4090 1008GB/s VRAM sávszélességével, megmosolyogtaAttól függ
... kis modell vagy nagy modellmert önmagában a sávszélesség nem sokat ér - ha nincs mellette elég VRAM.
A LLama 3.1 70B-Q4 -esetén
egy StrixHalo 2.2x gyorsabb ( tokens/sec ) mint egy RTX 4090 (24GB) !!!
Ráadásul kevesebbet is fogyaszt!
-
DarkByte
addikt
válasz
S_x96x_S
#1881
üzenetére
Tisztában vagyok a destillation fogalmával (egy kisebb másik modellt tanítottak be, a nagyobbik modellt tanító modellként használva).
Nyilván ez sosem lesz ekvivalens a naggyal, de a nagyot meg esélyünk sincs lokálban futtatni, csak ezeken a böhöm dögökön amiket linkeltünk.
A Qwen-2.5 alapú DeepSeek 32B szerintem meglepően ügyes.
Mindegyiket a képességeinek megfelelően kell kezelni. Épp a napokban láttam egy ilyen videót hogy melyiknek milyen komplexitású feladatokat érdemes adni. [link]--
#1882: oké, de ez még mindig alig 1GB/s-es tempó, összehasonlítva mondjuk egy 4090 1008GB/s VRAM sávszélességével, megmosolyogtató.
De még akár a PCIe 4.0 8x/16x 16/32GB/s-es tempójával összehasonlítva is jelentős a különbség, és már az is eléggé megcsapja a sebességet ha két kártyának a PCIe buszon keresztül kell kommunikálnia. (konzumer NVLInk pedig ugye nincs) -
S_x96x_S
addikt
válasz
DarkByte
#1880
üzenetére
> A legfrissebb Framework Desktop videóban is
> valahogy kihagyták a több gép összekötésével elérhető
> sebesség bemutatását. Valószínűleg nem valami acélos.USB4 -összeköttetéssel - a 11Gbps mesh hálózat simán megvan.
Az újabb Mac-ek pedig már a TB5 -öt is ismerik. -
S_x96x_S
addikt
válasz
DarkByte
#1875
üzenetére
> pl. Deepseek R1-nél azt mondják a 14B a legkisebb amivel érdemes foglalkozni.
A "deepseek-r1:14b" valójában a
"DeepSeek-R1-Distill-Qwen-14B",
ami azt jelenti, hogy a Qwen-14B modellt finomhangolták (finetuned)
a nagy DeepSeek-R1 modell által kiválogatott
és generált 800 ezer érvelési mintán és adaton.Nekem a portói bor analógia jut eszembe - ami egy "fortified wine",
vagyis alkohollal dúsított(erősített) bor ;
és Qwen-14B - is fel van erősítve az R1 -el ; de nem egyezik meg az R1 -el.--------
És mivel a 7b és a 8b alapja más - érdemes mindkettőt tesztelni:A
deepseek-r1:8bpedigDeepSeek-R1-Distill-Llama-8B( Llama:8b alapú )
Adeepseek-r1:7bpedigDeepSeek-R1-Distill-Qwen-7B( Qwen:7b alapú )
..."""
The Qwen distilled models are derived from Qwen-2.5 series, which are originally licensed under Apache 2.0 License, and now finetuned with 800k samples curated with DeepSeek-R1.The Llama 8B distilled model is derived from Llama3.1-8B-Base and is originally licensed under llama3.1 license.
The Llama 70B distilled model is derived from Llama3.3-70B-Instruct and is originally licensed under llama3.3 license.
"""
https://ollama.com/library/deepseek-r1 -
DarkByte
addikt
válasz
Mp3Pintyo
#1878
üzenetére
Meg, de sajnos nem sok plusz teljesítményt lehet így kisajtolni, mert a hálózat/USB/Thunderbolt eléggé szűk keresztmetszet lesz ebben az esetben. [link]
A legfrissebb Framework Desktop videóban is valahogy kihagyták a több gép összekötésével elérhető sebesség bemutatását. Valószínűleg nem valami acélos.
-
5leteseN
senior tag
válasz
Mp3Pintyo
#1878
üzenetére
Tehát ha van két(akár nem azonos típusú)2080Ti 22GB-osom, akkor 44GB méretnek látja a program?
"Annyi" a gond csak(ha jól értem), hogy ebben az esetben a két 2080ti közötti sebesség lesz a szűk keresztmetszet(igen, tudom: botlenek
), de kétszeres méretű LLM-ekkel tudok dolgozni, az egy 2080Ti-nél valamivel( még nem tudni mennyivel 
) lassabban?Ha ezt kb jól láttam, akkor már csak az lenne a hab a tortán (de dúsan
), ha a Windows-os Linux-on(WSL 1-2 ?) is futna ez az exo...! LM Studio-t is kérek...
PLs-pls.. -
DarkByte
addikt
M3 Ultra Mac Studio 512GB RAM, DeepSeek R1 671B Q4, 18 token/s, mindezt 200W fogyasztás alatt. [link]
Csak ülj le mielőtt megnézed mennyibe kerül.
Viszont ez még így is olcsónak számít ha azt nézed egy darab 80GB-s A100-at mennyiért lehet beszerezni itthon (és még egy elég se belőle, ha jól számolom kellene belőle legalább 6db ugyanerre a célra). -
DarkByte
addikt
válasz
S_x96x_S
#1872
üzenetére
Mondjuk ezek a 3B és 8B modellek elég limitáltak sajnos.
Gondolkodós modelleknél még kevésbé elég ez a méret, pl. Deepseek R1-nél azt mondják a 14B a legkisebb amivel érdemes foglalkozni.Egyébként side projektnek nekem is listán van megnézzem mire lehet menni egy kis modellel. Van pár kihasználatlan Raspberry Pi 4 4GB-om, és nem real time LLM használatra éppenséggel befoghatóak lennének, egy gemma2:2b-instruct-q4_K_M elmegy rajtuk ahogy olvastam. Olyesmikre akartam megnézni mennyire bevethetőek, mint pl. időzített taszkban egy oldal szövegéből tartalom kinyerése és mondjuk egy Discord bot-on át továbbítás. Esetleg RSS feed-ek szűrése tag-ek szerint.
Ilyesmikre szerintem még képes lehet. -
S_x96x_S
addikt
Ha valakit CPU inference érdekel ...
9950X3D - AI Benchmark-ban ( Whisper.cpp ; Llama.cpp , ONNX - ResNet101 )
az élre tört - mégha nem is olyan hatalmas előnnyel
https://www.phoronix.com/review/amd-ryzen-9-9950x3d-linux/9
( az AVX512 miatt a Core Ulte 9 285K -nál mindenképpen jobb
de persze nem árt spéci kapcsolókkal lefordítani a programot! ) -
PHenis
senior tag
válasz
tothd1989
#1868
üzenetére
Én is kínai kamerákat használok csak nekem poe megy mindenfele a padláson. Van egy hikvison beltérim ami rögzít, ezért nem olyan égető. Engem inkább a frigate mindenféle tárgy és személy felismerő funkciója izgat amit majd ki szeretnék próbálni. Csak ahhoz is kell egy gpu vagy egy google coral vagy valami... én még nagyon messze állok attól hogy ilyesmit írjak magamtól, nemrég keztem a linuxot megismerni/használni.
Én személy szerint imádom a community cuccokat mert a tizedénél nem tartanék nélkülük, szoktam is donételni ha valamit használok vagy supportot kapok.
Jól értem , hogy wifis kamerákkal rögzítesz folyamatosan? Az úgy elég keményen hangzik
-
Igazából az összes opensource nvr program kagás, legalábbis a nagyobbak, mindegyik elhasalt valahol nálam. Mondjuk nekem wifi-s kínai kameráim vannak, a ház nagy része vályog, nehéz átlőni megfelelő erősségű jellel így valszeg az is gond, hogy van némi timeout, de ha ezt a kis kínai a saját programjában le tudta kezelni, akkor mindenki le tudja. De ez szubjektív vélemény, nekem alapból van egy álláspontom a linuxról és az egész mögötte álló ökoszisztémáról és communityről, ami nem túl rózsás, mindezek ellenére én is használom - néhol eredményesebben mintha windows futna helyette. A kamerákra meg elkeztem írni egy "saját" programot ami ffmpeggel rögzít, ami minden bizonnyal nem a legprofibb, mégis megy, bármi történik.
-
Mp3Pintyo
aktív tag
-
DarkByte
addikt
válasz
consono
#1862
üzenetére
Perplexity-n még célzottan egy-egy domain-re is lehet csinálni keresőt a Spaces alatt, erre csak pár napja jöttem rá.
Hétvégén kísérletezgettem vele, itt a PH-n van a "Miben tegyem a megtakarításaimat?" topik amit már nem győzök követni, és tök jól tudtam kérdezgetni tőle. (pl. "milyen ETF-eket javasolnak a fórumozók ami kevésbé USA nehéz")
A PH komment link formátumával meggyűlik a baja, de a PH keresőjével viszont nem tudsz szemantikus módon keresni. Ha nem tudod mire keresel, csak körbeírni tudod, akkor meg vagy lőve. Na ebben az esetben tök jó.Illetve a Perplexity általánosságban marha jó kutatásokhoz, termékeket összehasonlítani, vagy csak friss információkat igénylő dolgokat megtudni (pl. mikor lesz elérhető a Severance 2. évadának utolsó része, tök jól megkeresi az helyett hogy neked kellene a reklámokkal telerakott oldalakon időt pazarolni)
-
5leteseN
senior tag
A Qwen2.5 14B Coder LLM állítólag egész jó a programozás területén. Nem tudom, hogy ezen belül hol-miben.
Ez a tudás összemérhető a "Nagyok" on-line gépeivel?
Saját gépen is futtatható, 12-16GB VRAM-os VGA már elég a magasabb szinthez: LM Studio, gondolom máson is(Olama, ...). -
#1861
S_x96x_S
addikt
hiperFizikus
#1858
S_x96x_S
addikt
válasz
hiperFizikus
#1858
üzenetére
> A ChatGPT MI modellnek feltettem vagy 100 kérdést mégse vagyok sokkal boldogabb,
Mi volt a prompt ?
Amúgy a promptolás nem olyan egyszerű ... főleg hogyha a boldogság a cél.
De még egy o1 - generált válasz se ér semmit se, hogyha nem próbáljuk ki:
""""
Napi Boldogság-Checklist (kiegészítve újabb tudományos megállapításokkal)
1.) Reggeli hála- és célkitűzés-percek
Ébredés után szánj 1-2 percet arra, hogy végiggondold, mi mindenért lehetsz hálás (család, egészség, kis sikerek, meleg otthon stb.). Tűzz ki aznapra egy apró, konkrét célt (például: „Ma kedves leszek magamhoz, nem rohanok át a sikereimen.”).
2.) Mozgás és örömhormon-aktiválás
Ha teheted, iktass be 5-10 perc testmozgást (gyors séta, nyújtás, könnyed jóga vagy pár guggolás-fekvőtámasz). A legújabb kutatások is megerősítik, hogy már napi pár perc is segíti az endorfinok és dopamin termelődését, így jobb hangulattal indul a nap. Ha több időd engedi, sportolj intenzívebben (futás, úszás, súlyzós edzés), de a lényeg a rendszeresség és a szervezet „beindítása”.
3.) Tudatos reggeli és hidratálás
Kutatások szerint a kiegyensúlyozott, fehérje- és rostgazdag reggeli segít stabilan tartani a vércukrot és a hangulatot. Igyál elegendő vizet vagy teát, mert a hidratáltság segít a koncentrációban és a közérzet javításában.
4.) Mini-énidő a napi rutinban
Mielőtt belekezdenél a munkába vagy a családi logisztikába, teremts pár „szemlélődős” pillanatot. Nézz ki az ablakon, tedd rendbe a gondolataidat, vagy csak lélegezz néhányszor mélyen. Ez a tudatos megállás „bonbonként” működik: tölt és segít tudatosítani, hogy „itt és most” is jól érezhetem magam.
5.) Sikerek észlelése – rögtön, amikor megtörténnek
Egész nap figyeld az apró eredményeket (például: időben elindult a gyerek az iskolába, befejeztél egy feladatot, kedvesen szóltál valakihez). Azonnal ismerd el magadban: „Ezt megcsináltam!”, „Ez is sikerült!”. Ez a gyors dopaminlöket segít a további motiváció fenntartásában.
6.) Örömtérkép frissítése
Tarts magadnál egy kis jegyzetfüzetet vagy használj jegyzet-appot a telefonodon, hogy napközben feljegyezd, mi okozott örömöt (akár kicsi, akár nagy dolog). Így tudatosan figyeled, mi tölt téged, és könnyebben újra is alkalmazod ezeket a tevékenységeket. Legújabb kutatások kimutatták, hogy már a pozitív élmények puszta dokumentálása is javítja a hangulatot.
7.) Társas kapcsolatok és oxitocin
Legalább egyszer naponta tudatosan gratulálj vagy dicsérj meg valakit (családtagot, kollégát). Az ő örömük visszahat rád, és fokozza az összetartozás-érzést. Az érintés, az ölelés vagy akár a közös nevetés mind-mind elősegíti az oxitocin termelődését, ami a közelség és boldogság érzését növeli.
8.) Rövid szünetek – tudatos légzés vagy meditáció
Délután vagy a nap sűrűbb szakaszaiban állj meg pár percre, és végezz légzőgyakorlatot (például 4 másodpercig beszív, 4 másodpercig bent tart, 4 másodpercig kifúj). Ha belefér, 5-10 perc egyszerű mindfulness-gyakorlat (csendes ülés, figyelem a környezet hangjaira vagy a belső érzésekre) segíti a szerotoninszint kiegyensúlyozását és a stressz oldását.
9.) Nap végi összegzés és hálanapló
Lefekvés előtt gondold át a napodat: „Mi sikerült jól?”, „Minek örültem?”, „Miből tanultam?”. Írd le ezeket 1-2 mondatban. Ez segít az agyat átállítani hiányfókuszról a bőség tudatára – tudományos kísérletek kimutatták, hogy akik rendszeresen írnak hálanaplót, általánosan magasabb boldogságszintet élnek meg.
10.) Minőségi alvás előkészítése
Kapcsold ki vagy tedd félre a kütyüket legalább 30 perccel elalvás előtt, hogy a kék fény ne zavarja a melatonintermelést. Alakíts ki egy nyugtató esti rutint (például olvasás, halk zene, könnyű nyújtás, meleg zuhany), ami segít ellazulni. A jó alvás kulcsszerepet játszik a testi-lelki regenerációban.
""" -
#1860
woryz
senior tag
hiperFizikus
#1858
woryz
senior tag
válasz
hiperFizikus
#1858
üzenetére
-
#1859
consono
nagyúr
hiperFizikus
#1858
consono
nagyúr
válasz
hiperFizikus
#1858
üzenetére
Boldogabb? Nem hiszem
De tud segíteni. -
#1857
consono
nagyúr
hiperFizikus
#1856
consono
nagyúr
válasz
hiperFizikus
#1856
üzenetére
De én igazán ezért szeretem:
Ha nem bízol benne meg tudod nézni miből dolgozott. -
-
woryz
senior tag
Nem tudom, hol kérdezzem meg, ezért ha esetleg rossz helyen tenném fel a kérdéset, akkor sry előre is...
Előfizettem a chat gpt-re és néha agyf@szt kapok tőle, hogy mennyit hibázik, mennyire pontatlan. Nézelődtem, hog esetleg váltanék - általam ismert - másik modelre (Gemini, vagy Copilot), viszont nincsen kedvem nulláról kezdeni megismerkedni vele / velük. Valakinek lenne tanácsa, hogy mit célszerűbb használni? Általános kérdésekre és programozásban való segítségre is használnám a lelkem.
-
PHenis
senior tag
-
válasz
tothd1989
#1850
üzenetére
Úgy nézem, a readme szerint támogatja a gpu-s generálást, de arra nem tudtam rábírni. Valószínűleg kézzel kellene újraforgatni a kódot vagy nem tudom, igazából csak a benchmark eredmények miatt szerettem volna kipróbálni. Egyébként egy ilyen összesített táblázatot érdemes lenne összehozni, melyik eszköz, hogy teljesít különböző cpun/gpun.
-
válasz
5leteseN
#1841
üzenetére
Lefuttatam a benchmarkot, hogy tudjak némi használható adattal is szolgálni.
FastSD Benchmark - PyTorch--------------------------------------------------------------------------------Device - CPU,Intel(R) Core(TM) i7-14700KFStable Diffusion Model - stabilityai/sd-turboImage Size - 512x512Inference Steps - 1Benchmark Passes - 3Average Latency - 4.134 secAverage Latency(TAESD* enabled) - 1.472 sec--------------------------------------------------------------------------------*TAESD - Tiny AutoEncoder for Stable DiffusionFastSD Benchmark - OpenVINO--------------------------------------------------------------------------------Device - CPU,Intel(R) Core(TM) i7-14700KFStable Diffusion Model - rupeshs/sd-turbo-openvinoImage Size - 512x512Inference Steps - 1Benchmark Passes - 3Average Latency - 3.468 secAverage Latency(TAESD* enabled) - 1.154 sec--------------------------------------------------------------------------------*TAESD - Tiny AutoEncoder for Stable Diffusion -
válasz
Mp3Pintyo
#1847
üzenetére
Már tesztelgettem (amúgy túrót a fülébe minden olyan (hobbi) fejlesztőnek, aki nem írja oda, milyen shellt kell használni (bash, ps, cmd nem volt jó, miniconda lett a nyerő)). 2 perc csinált a 14700kf 4db képet 1024x1024-es felbontásban az alap modellel. Sajnos csak 77 tokent támogat, meg nem is a legjobb az alap modell, mert elég sok anomália a generált gépeken, direkt egy elmentett promptot próbáltam, ami fooocus alatt majdnem tökéletes kimenetet eredményezett. Mindenesetre köszönöm a linket!
-
PHenis
senior tag
válasz
DarkByte
#1844
üzenetére
Hát a szerverrel lehet túloztam kicsit, egy sff gép van az emeleten proxmoxal.
Videókari csak lowprofilos megy bele, a táp is elég karcsú, szóval gpu mostanában nem lesz sztem. Bár kéne a frigate-nak meg a plex-nek is, hosszútávon tervben van az upgrade... egyelőre marad a cpu.Köszönöm mindekinek a linkeket, tanácsokat, megnézem mi az ami linux parancssorból is megy. Kezdetnek ez így kiváló nekem
-
DarkByte
addikt
Kb. a fastsdcpu jöhet szóba, ez még úgy ahogy elketyeg egy Raspberry-n. De még ezzel is sokáig fog tartani mire kapsz valami értelmezhető kimenetet, főleg az újabb modellekkel. A minőség meg hát.. nos 1-2 step-től nem kell csodát várni.
Sajnos ez a műfaj GPU-t igényel.
Képgenerátoroknál különösen. Az hogy nem tudsz relatíve gyors iterációkban kísérletezni kb. megöli az egészet. -
5leteseN
senior tag
Erősen javasolt egy 8GB(+os még inkább) VRAM-os VGA beszerzése, mert CPU-s üzemmódban hamar ideges leszel a sok várakozás alatt elfogyasztott sok kávéktól (is)!
Számokban(LM Studio, a magasabb érték a jobb):
- CPU: 6-7 token/mp,
/
- AMD VGA(Vega56=>64, tuningolt): 22-30 token/mp /
- nVidia(2080Ti alap beállítások): 45-58 token/mp. / 
AI-MI-t CPUval az
LM Studio-n(LLM-chat),
a Krita-n(kép, video-animáció, ez utóbbihoz brutál PC-VGA kell),
és mintha a Fooocus...is tudná az előzőek három üzemmódját(CPU-s, VGA-s: AMD/nVidia).
-
PHenis
senior tag
Sziasztok,
új vagyok, elkezdett érdekelni ez a téma engem. A házi "szerveremen" elkezdtem játszani modellekkel, debian lxc, Stable-diffusion webui, 4cpu mag és 38GB ramnyi lehetőségem van játszani, videókártya nincs. A huggingface-ről töltögettem le modelleket de elég esetlegesnek tűnik hogy működnek-e. Melyik az ajánlott írás/videó arról hogy hogy kell ezt jól csinálni? Többnyire zöld-rózsaszín pixelkupacot kapok képgeneráláskor mint régen mikor karcos cd-ről játszottam le az mpeg videót vagy összekutyulódott az ace mega codec pack... Gondolom gpu-ra optimalizát modellek miatt van vagy ilyesmi, de hogy szűrök rá a cpu-n is jól futó modellekre?
-
#1839
ptesza
senior tag
hiperFizikus
#1824
ptesza
senior tag
válasz
hiperFizikus
#1824
üzenetére
Sokkal. Ha nem fizetsz játsza a hülyét. Nem lehet képet feltölteni stb.
-
válasz
5leteseN
#1826
üzenetére
Huhh, köszi a leírást (örvendetes, hogy, itt nem divat a ménemóvasolvissza').
Ha nem lettem volna teljesen egyértelmű (elő szokott fordulni), a k80-ra azért gondoltam, mert kis pénzért a sok vram + cuda csábító volt, és ha nem válik be - nem fáj, mert nem áldoztam sokat rá.
Nagyon referenciáim nincsenek mihez, vagy mivel mérjek - én csak a nyers tulajdonságokat látom...
Kb ahhoz viszonyítok mindent, hogy a 3070TI-m mennyire gyorsan számol, mert más AI ready kártyám nincs (a 6600xt-t nem tudtam rábírni, mert szerintem ott valami gubancot okoz, hogy egy virtualizált környezetben van, meg eleve szarok a radeon driverek).
P40: ezzel az a bajom, hogy ennyiért vagy minimálisan többért már egy rtx 3080-at be lehet szerezni amit könnyebb eladni ha esetleg cserélek.
VISZONT, mivel a 3080 csak éppen hogy a 3070 TI felett van, így nyilván nem veszek magánemberként olyan kártyát CSAK AI-ra, ami jobb mint ami abban a gépben van amin játszom (főleg úgy, hogy amúgy már egy ideje kinőttem a kártyát, mert nagyon kevés 4k 144fps-re). -
Zizi123
senior tag
válasz
consono
#1835
üzenetére
Rengeteg lehetőség van, hogy miért nem lesz belőle semmi.
- 2 év múlva már elavult lesz.
- A kutya nem fogja venni a szoftveres támogatás hiánya miatt.
- Megveszi másik sokkal nagyobb piaci szereplő.Nem véletlenül nincs más piaci szereplő a nagyokon kívül évtizedek óta.
Amikor Kína (ahol ilyenekre pénz nem számít) is saját gyorsítón dolgozik, és nincs még kézzel fogható eredménye, akkor majd jön a semmiből 1 úriember, és bejelenti a tutit...
Hááát nem tudom....
Gyanum szerint a nagyok már régen tudtak erről, csak éppen nem tartották életképes ötletnek, és nem vásárolták meg már régen. -
-
DarkByte
addikt
válasz
consono
#1832
üzenetére
Szerintem annyira nem elképzelhetetlen hogy tényleg piacra kerül, pont azt csinálja amit páran már vizionáltak, történetesen hogy az open source RISC-V architektúrából tök jó kis GPU magokat lehetne csinálni, kiegészítve őket az ehhez szükséges utasításokkal.
Ha ők nem is, 2026-ig ezt más össze fogja hozni, annyira adja magát. Persze ez nekünk inkább csak jót jelent, mert lesz választék. Pont ilyesmi bejelentéseket szeretnék még látni.
---
Egyébként most George Hotz-nak is sikerült addig szadizni az AMD-seket, hogy küldtek neki egy MI300X szervert, hogy a bare metal tinygrad illesztésüket tudják rajta kalapálni. [link] A fickó erősen megosztó, de az unorthodox módszere úgy tűnik működik és még ez akár jót jelenthet az AMD cuccainak AI kompatibilitását illetően -
S_x96x_S
addikt
válasz
Zizi123
#1830
üzenetére
> a memória sávszélesség a legfontosabb
> a nagy LLM-ek használata közben, akkor ez eleve kizárja azt, hogy világverő legyen.Elnézést valószínüleg - félreérthető voltam.
azt irtam, hogy
"Max 4 chiplet lehet egyben és kétféle memóriát használ mindegyik chiplet:"
vagyis egy chiplet adatát adtam meg:
- gyors: 32 - 64 GB -os [ 273 Gb/s] LPDDR5X -es ( hasonló mint a Strix Halo ) ]
- és egy lassú So-DIMM -es DDR5 ~ 90Gb/s - sebességgeset.amit fel kell szorozni 4x - a 4 chipletes verzióhoz.
- max memória : 2.304 GB ( 256 GB LPDDR5X + 8x DDR5 DIMMs )
- és max sávszél - 1.45 TB/sLásd slide :
persze mire a Zeus megjelenik +2 év múlva, akkora
a [ Strix Halo / nVidia Digits ] utódja is kaphat nagyobb bővíthető memóriát ; -
Zizi123
senior tag
válasz
S_x96x_S
#1829
üzenetére
Akkor jól láttam, hogy olyan, mintha notebook memóriával lehetne bővíteni, na de itt ez már probléma is, hogy az viszont nem gyors....
Tehát ha hiszünk abban, hogy a memória mennyiség mellett, a memória sávszélesség a legfontosabb a nagy LLM-ek használata közben, akkor ez eleve kizárja azt, hogy világverő legyen.
Ha jól gondolom, akkor a 12 csatornás Pl Epyc szerverek memória sávszélessége 576 GB/s, ami "duplája" ennek a tervezett kártya a sávszélességének, és arra jutottunk, hogy a dual Epyc szerver alkalmatlan a nagy nyelvi modellek futtatására, mert tetű lassú.
A Mac Studio M3 Ultra 819GB/s, az RTX 4090 1008GB/s, H100 NVL 3.9TB/s.
Most 2025 elején...
2027 elején már nem ezek a számok lesznek.Tehát nem teljesen vágom, hogy is lesz ez világverő, de nyilván csak valamit nem vettem figyelembe.
-
S_x96x_S
addikt
válasz
Zizi123
#1828
üzenetére
(Bolt graphic )
> Mivel bővíthető egyébként, milyen memóriával?Sima laptop [ SO-DIMM DDR5 ] -el.
Max 4 chiplet lehet egyben és kétféle memóriát használ mindegyik chiplet:
- gyors: 32 - 64 GB -os [ 273 Gb/s] LPDDR5X -es ( hasonló mint a Strix Halo ) ]
- és egy lassú So-DIMM -es DDR5 ~ 90Gb/s - sebességgeset.a két típusú memóriát mintha együtt használná
és így 273+90 = 363 Gb/s sebességet adnak meg
a slide-okon - 1 chipletre. ( slide 36. )https://bolt.graphics/wp-content/uploads/2025/03/Bolt-Zeus-Announcement-External.pdf
> mire piacra kerülne lesznek sokkal jobbak, és így el sem kezdik gyártani...
IP Licenszet árulnának mint az ARM;
vagyis tervet - amit az ügyfél cutomizálhat. -
Zizi123
senior tag
válasz
S_x96x_S
#1819
üzenetére
Ha lenne annyi mFt-om amennyi ilyen ígéretes világmegváltó kártyából nem lett semmi...
Mivel bővíthető egyébként, milyen memóriával?Arról nem is beszélve, hogy az még durván 2 év mire ebből leghamarabb lesz valami. Kicsit csúszik majd, és mire piacra kerülne lesznek sokkal jobbak, és így el sem kezdik gyártani...
-
5leteseN
senior tag
válasz
5leteseN
#1826
üzenetére
A 3090 vs. P40 Yt-videó alól egy hozzászólás (gép fordítással):
@FromDesertTown 1 nappal ezelőtt :
" K80 cards are interesting old monsters - only $50 for a 24GB GPU (used). Sure, it's so old that it only supports up to CUDA 11.4 v4, so you're out of luck trying to run most models, and the technical specs are very lackluster other than the high VRAM, but it's sure to tempt some folks!""A K80 kártyák érdekes régi szörnyek - mindössze 50 dollár egy 24 GB-os GPU-ért (használt). Persze, olyan régi, hogy csak a CUDA 11.4 v4-ig támogatja, így nincs szerencséje a legtöbb modell futtatásával, és a műszaki specifikációk nagyon halványak a magas VRAM-on kívül, de néhány embert biztosan csábít!"
-
5leteseN
senior tag
válasz
tothd1989
#1825
üzenetére
Én inkább egy nVidia TESLA P40-et javaslok, az "igazi" 24GB VRAM, nem a kérdéses 2x12GB. Ilyen "magában", PCIe=>EPS adapterrel(eBay: 200$ körül):
...asztali gépbe előkészítve(a +blower hűtővel, kompletten+, kb. 30€/$):
Korábban ide is linkeltünk egész korrekt értékelést a P40-ről, abból kb összegezve: szövegesekhez még jó, több P40-nel tanítani is, kép-videó generálásra már saját használatra is gyengusz, de belépőnek elmegy.
Saját kiegészítés: Kétséges, hogy jól(kb null-szaldós egyenleggel) lehet kiszállni majd belőle.Ilyen:
..is viszonylag megfizethetően kiépíthető(3x200$/€, + az alapgép), de igazán csak szöveges (chat) AI-MI-re, tanításra lesz jó, a kép-videó generáló szoftverekkel eléggé "várakozós".
AI-S induló start-up-nak, tanításra, LoRA, RAG kipróbálásra elég, kis anyagi kockázattal.A Yt-on szerintem pikk-pakk kidobja a P40 összehasonlítós videókat, köztük azt a szerintünk is elég-jó szakmait, amit már linkeltünk is.
Egy a sok közül, ami az etalonnak számító 3090-el hasonlítja össze(nem néztem meg, nemtom' milyen szintű értékelés):
ITT(Yt) .A végére: kis eBay-es "lesben állással" 50-100€ között komplett szervert(HP/DELL) is el lehet csípni hozzá 60(nekem sikerült 128GB) RAM-mal.
A két asztali gépes +hűtő egység-csomag(kb 2x30€) többe kerül!
...kis szerencsével! -
válasz
5leteseN
#1823
üzenetére
A hűtés nem hiszem, hogy probléma lenne, a blogomban leírt amd gépbe raknám, ami egy nzxt h7 flowban lakik. abban mindennek is van hely. tápcsatit írtam, hogy kell,
bár nem tudom nem e lehet esetleg direktbe a cpu konnektort beletolni, mert a tápon van még cpu output. nwm, túlterhelné azt a szálat a tápon, bár 1000w-os, de ügye pci-en van a nagyobb teljesítmény. a 24gb-ot néztem, hogy 2x12 (mivel gyakorlatilag két kártya van egyetlen nyákon), nem tudom megmondom öszintén, hogy kezeli. szeretnék valami kártyát csak AI-ra, de a legközelibb elérhető opció a 3060 vagy a 1080 (20-as szériában nem nagyon láttam olyat aminek több mint 8gb vramja van), ezért gondolkodtam el rajta. -
5leteseN
senior tag
válasz
tothd1989
#1818
üzenetére
A TESLA K80 2x12GB!! Gyanús, hogy egyben nem tudja 24GN-ként használni. A rajta használt Kelpler-GPU-t a mostani AI-MI szoftverek egyre jelentősebb része nem támogatja. Ez a folyamat csak rosszabb lesz.
Poénnak jó, jelentős napi gyakorlati használat szempontjából zsákutca.
Ahogy lassan a TESLA P4, P40 és AMD MI25ők is: elfogy alóluk a szoftver támogatás(CUDA, ROCm, ...).Ha nem szerverbe rakod, akkor még +venti-adapter és blower-venti is kell ám hozzá: +25-40€ összesen, kb!
Ismerős a helyzet P40 tulajdonoskén!
-
S_x96x_S
addikt
új jelölt a Lokális LLM -re
bővíthető memóriája van !!!!!
van belőle több változat ..
( Sajnos 2026 Q3 előtt nem lehet tesztelni .. )
https://prohardver.hu/hir/bolt_graphics_zeus_gpu_dizajn.html
500W -on
+ Up to 2.304 GB @ 1.45 TB/s
+ 512MB on-chip cache
+ 6x 800 GbE
-
Abszolút releváns kérdés, mit gondolsz, ha egyetlen szó analizálásában téved, akkor egy komplex kérdés esetén mi történik?
Más:
Túrtam az ebayt és találtam tesla k80-at 16000 jó magyar forintért (+a szállítás +be kell szerezni hozzá a tápkábel fordítót).
Megérné ennyi pénzt belefeccölni? Az megvan, hogy 11 éves kártya, de 2x 2496 cuda core és 24(!!!)gb vram. -
S_x96x_S
addikt
válasz
consono
#1807
üzenetére
>> 5 db "eper" szóban - hány db "r" betű van ?
> De ez "buta" kérdés egy LLM-nek...de nem lehet minden kérdés "buta"
ha nem tud rá válaszolni egy
"mathematical reasoning, coding proficiency, and general problem-solving capabilities." -al
reklámozott modell.
és a "QwQ-32B" - ennek a "buta"' kérdésnek
még egyszerűbb formájával lett demózva - amire persze tudja a választ, de kontextusban már nem:
- prompt = "How many r's are in the word \"strawberry\""
https://qwenlm.github.io/blog/qwq-32b/persze az én promptomban annyi változás van, hogy magyar nyelvre át lett fogalmazva és hozzá lett adva, hogy "5db eper szó" -ra adja meg a választ.
És így már elbukik a "QwQ-32B" - pedig "papiron" igéretes lett volna.
"QwQ-32B is evaluated across a range of benchmarks designed
to assess its mathematical reasoning, coding proficiency,
and general problem-solving capabilities.
The results below highlight QwQ-32B’s performance in comparison
to other leading models, including DeepSeek-R1-Distilled-Qwen-32B,
DeepSeek-R1-Distilled-Llama-70B, o1-mini, and the original DeepSeek-R1."---
> Persze arra meg pont jó ez a kérdés, hogy rávilágítson arra,
> hogy nem mindenre jók az LLM-ek, nem minden a diffúzió, meg az attention.
tesztelésre jól lehet használni;
és a "QwQ-32B" - sajnos még nem ér fel egy eredeti DeepSeek-R1 -el.
"We are excited to introduce QwQ-32B, a model with 32 billion
parameters that achieves performance comparable to DeepSeek-R1,
which boasts 671 billion parameters (with 37 billion activated)." -
DarkByte
addikt
A nyers LLM-re kb. érdemes úgy tekinteni mint egy nagyon okos auto complete, vagy fogalmazó gép. A beszélt emberi nyelv szabályai mentén meglepően hihető szöveget képes neked írni, illetve ugyanígy az szavak összefüggéseit megérteni és átírni egy másik formára.
Okkal hívják az LLM-eket stohastic parrot-nak, vagyis olyanok mint egy papagáj amely meglepően hosszú emberi szövegeket képes megjegyezni és visszaadni, de fogalma sincs hogy amit ír az mit jelent.
Amit tartalomban leír arra semmi garancia nincs hogy az helyes.
Nem is tesztelik. Gondolj bele, kb. "feleltetni" kellene az LLM-et az emberiség teljes tudásából, ez lenne a kiadás előtti kritérium, hogy mindent is helyesen meg tud-e válaszolni. Lehetetlen, és nem is ezért lettek tanítva.
(Eleve nem is lehet minden kérdésre ezt egyértelműen tesztelni, mert még mi emberek sem tudjuk minden kérdésre egyöntetűen a választ, hiszen megoszlanak a vélemények.)Azt kell látni, hogy mindegyik ilyen internetes AI felület abba az irányba halad, hogy az LLM-et inkább nyelvi interfészként próbálja használja, vagyis az általad adott szabad szöveges kérdést áttranszformálják valami hagyományos algoritmussal feldolgozható bemenetre, ami alapján már lehet vele valamit kezdeni (pl. indítani egy webes/adatbázis keresést aktuális információk gyűjtéséhez; számológép/script használat; önellenőrzés, stb.); ugyanígy vissza irányba, van egy nyers embertelen gépi kimenet és megkérni az LLM-et ezt írja át emberileg olvasható szövegre.
Az LLM saját modelljébe kódolt tudást azt pedig inkább szókincsként használni. Mint egy sokat olvasott ember, aki képes választékosan írni, de még neki is kutatómunkát kell végezni ha pontos választ akar írni egy adott témában.
Erre jó az LLM. Csak aki ezt nem tudja hogy ezek így működnek, nyilván első találkozáskor a szavahihetőnek tűnő válasz alapján úgy tűnhet valami teljesen új élőlénnyel áll szembe. De erről szó sincs.
Csak ugye mint tudjuk: „Bármely kellően fejlett technológia megkülönböztethetetlen a mágiától.”
Ezért kell kicsit rászánni az időt és megérteni mi is ez.A hosszabban gondolkodó LLM-ek is csak azért tudnak pontosabb választ adni, mert szimplán ez a fenti működés velejárója, hogy minél több token van a context ablakában, a teljes modell lehetséges következő token problématere annál jobban leszűkül egy kis zsebére, ahol jó eséllyel ott van a helyes "megoldás", és ennek a keresésére több ideje van, hosszabb utat jár be, több lépésben, mintha azonnal egyetlen token-be sűrítve kellene kiválasztani a helyes megoldást abból a rengeteg kódolt tudásból (kvázi hasra ütés szerűen). De ezek a modellek sem tévedhetetlenek önmagukban.
consono: igen. Marha jól magyaráz a fickó, jó érzéke van hozzá. Pedig amit átad az marhára nem egyszerű.
Terveztem már nekiülök a Neural networks: Zero to Hero sorozatában vele párhuzamosan lekódolni amiket csinál játék mini AI-kat, de egyszerűen nincs rá időm. Meló mellett egyszer már végig hallgattam, de mégsem úgy marad meg, mintha végig kódolom én is. Sokkal vizuálisabb alkat vagyok ennél.
Plusz amit csinál egyébként redundáns, hiszen a Pytorch mind megvalósítja ezt. Csak nyilván sokkal jobban megérthető az a framework is mit csinál, ha tudod milyen problémát egyszerűsít.
A másik oldalról meg az is ott van, hogy ez egy olyan műfaj, hogy otthon a te kis GPU-ddal esélyed sincs olyan modellt tanítani ami a nagy modellek tudásának töredékét tudják, vagy évtizedekig kellene futtatni. Kicsit ez meg lelombozó. Visszatért az informatika a mainframe-es időszakba ezzel kicsit -
DarkByte
addikt
válasz
Zizi123
#1812
üzenetére
Mert erre is meg kell tanítania valakinek.
Amire alapból tanítva van hogy adjon egy következő token-t neked statisztikai alapon. Akkor is ha az baromság. Ezért hallucinál, mert nincs más választása alap esetben. Álmodik neked egy szöveget, Karpathy így is hívja a nyers LLM-et: internetes dokumentum szimulátor.Ahhoz hogy azt tudja mondani "nem tudom" be kell "drótozni" utólagos finomhangolással az "agyának" azon részeit ami akkor aktiválódik amikor bizonytalan a megoldásban. De ahhoz előbb ezeket meg kell találni, hogy tanító példákat lehessen rá neki írni, ami már önmagában nem egyszerű.
A ChatGPT pl. már csinál ilyet, plusz az előfeldolgozója sokszor rájön hogy az alap LLM képtelen arra amit kérsz és elkezd inkább külső eszközöket használni. De, figyelembe véve hogy a probléma halmaz az "emberiség tudása" azért van pár variáció.
De tényleg, nézzétek meg a Karpathy videót. Rengeteg dolgot helyre tesz. Igen hosszú, de lehet több szakaszban.
Nem árt megérteni hogy az LLM tudása egy veszteséges tömörítése az internet egészének. Nem emlékszik mindenre kristály tisztán. Azokat a dolgokat amelyek nagyon sokszor vannak említve a tanuló adatbázisában (vagy mesterségesen priorizálva voltak, pl. egy Wikipedia szócikk) tisztábban "emlékszik" mint amelyeket csak nagyon keveset láttot. Utóbbiaknál sokkal nagyobb az esélye hogy kitalál neked valamit.
Minő érdekes, mi is pont így működünk. Ha valami tudást keveset vagy elvétve használtál, az homályos -
-
Zizi123
senior tag
Szerintem az emberek 1 csomó olyan dolgot kérdeznek az AI-tól amire a Google is kidobja az "eredményt", mégsem azt használják, pedig könnyebb lenne, mint python egysorost írni...
Egyébként meg nyilván nem a végeredmény volt a fontos, hanem gondolkodás tesztelése.Amikor Zsolt felteszi a klasszikus kérdést, hogy "1 kerek asztalnál az embertől jobbra, és balra is 5-en ülnek, akkor mennyien ülnek összesen az asztalnál?" Őt sem az érdekli, hogy mennyi az eredmény, hanem, hogy jó-e, megtudja-e oldani, tud-e gondolkodni...
-
DarkByte
addikt
válasz
S_x96x_S
#1806
üzenetére
Nézzétek meg Karpathy videóját (most már van második része is). Tök jól elmagyarázza az LLM-ek működését, korlátait. Szerintem tananyag szintű amit ebben a két videóban átad.
Pl. ezt az "r" betű számolást is elmagyarázza, hogy azért hülyeség, mert az LLM nem is karakterekben "lát", mivel token-ekkel dolgozik, amelyek tömörítenek több karaktert egy új szimbólumba.
Ami "fejben számolást" ("mental arithmetic") igényel egy LLM-nek azt mint jó eséllyel elrontja a legtriviálisabb példákat leszámítva. (Ahogy te sem tudsz összeszorozni akármekkora számokat fejben hozzáteszem.) Ahogy Karpathy is mondja, az ilyeneknél inkább meg kell kérni írjon egy Python programot ami kiszámolja a problémát. (ahogy te is előveszel számológépet a nehéz problémáknál)
-
Zizi123
senior tag
Nem az a cél, hogy okosabb legyen az AI az embernél, olyan dolgokat fedezzen fel, amit az ember még fedezett fel, és olyan problémákat oldjon meg amit eddig az embernek nem sikerült?
Azért az elég fura, hogy 1 olyan rendszertől várjuk ,hogy megváltsa a világot, új dolgokat találjon ki, fedezzen fel, ami arra pont nem alkalmas, hogy "r" betűket megszámoljon.
Ellenben bármikor tud olyan programot írni, ami megszámolja az "r" betűket...
Hát ez elég érdekes...Ami még érdekes,. hogy a válaszadó LLM-ek 1 része "Reasoning", tehát nagyon gondolkodik, nagyon érvel, nagyon ellenőriz, és mégis hülyeséget mond????
Hát ez fura nekem. -
consono
nagyúr
válasz
S_x96x_S
#1806
üzenetére
De ez "buta" kérdés egy LLM-nek... A token predikcio definíció szerint nemntud számolni, nem tudom miért várjuk el.... Látszik is, hogy ami tud válaszolni az valami kerülő algoritmussal válaszolja meg a kérdést.
Persze arra meg pont jó ez a kérdés, hogy rávilágítson arra, hogy nem mindenre jók az LLM-ek, nem minden a diffúzió, meg az attention. -
S_x96x_S
addikt
Az én kedvenc teszt kérdésem :
5 db "eper" szóban - hány db "r" betű van ?
-------- [ Válaszok: ] -------
DeepSeek R1 (webes; valószínüleg a nagy model ) :
--> 5 darab "eper" esetén: 1 × 5 = 5 db "r" betű.ChatGPT o3-mini-high :
--> 5db !"ollama run qwq:32b "
--> **Answer:** 1"ollama run deepseek-r1:32b"
--> **Végső eredmény:** 1"ollama run phi4-mini "
--> "Így válaszolunk: Az ötdból álló szóban „eper” három db 'r' betű van.""ollama run mixtral:instruct"
---> 5 db "eper" szóban a "r" betűnek összesen 5 darabja van, mivel minden "eper" szó egy-egy "r" betűt tartalmaz."ollama run gemma2:27b-instruct-q8_0"
--> 5 db "eper" szóban **10 db** "r" betű van. Mert minden "eper" szóban 1 db "r" betű van, és 5 x 1 = 10."ollama run llama3.2-vision:11b"
--> A válasz 2"ollama run openthinker:32b"
--> There are 5 'r' letters in five instances of the word "eper"."ollama run openthinker:7b"
--> **Végső válasz:** A nyilvántartás szerint **összesen 5 db 'r' betű vannak az öt 'eper' szóban.**"ollama run qwen2.5:32b"
--> Tehát 5 db "eper" szóban 5 db "r" betű van. -
tylerddd
veterán
Üdv! Tengr.ai-t használ valaki? Az előfizetéses verzió (Basic) szöveg alapján történő képgenerálása nevetséges. Alapvető dolgokat nem ért meg jól körülírt formában sem. Mintha Google fordítót használna annak megértéséhez, amit írok. Tablet helyett tablettát tesz a képre
-
5leteseN
senior tag
válasz
5leteseN
#1803
üzenetére
Az előzőekhez tartozik a Thunderbolt-5 10GBps-os valósnak becsült sebességéhez képest, hogy a jelenleg többségi használatú alaplapokban a DDR4-ek 35-60GBps közötti sebességűek, kétcsatornás üzemmódban(tipikus-általános, megfizethető-kategóriás asztali-PC).
A DDR5-ösök ezt tudják duplázni 50-120GBp közé.
A Ph-Fórumos DDR5-legjobbra(házi-rekordra) én kb 150GBps-ra emlékszem, V.I.P-RAM-mal, vízhűtéssel, tuning-alaplappal, és természetesen ezek árával +a saját tesztelő-beállító munka.
A Thunderbolt-5 esetén az ezzel összehasonlítható érték ugye az azonos mértékegységbe konvertált 10GBps, és a x4-5-6-ős összeaddó érték az almás kütyük esetében(az első TH-5 100%, a többi x0,7 kb).Így összehasonlítható értékekkel kerek a "történet".
-
5leteseN
senior tag
válasz
S_x96x_S
#1800
üzenetére
Igen,
ez volt az az adat, amire említettem is, hogy nem 100%, hogy jól emlékszem.Ez már egy szép érték, ehhez jön szűk keresztmetszetként a gépek közötti Thunderbolt 5-ös 120Gbps-ából a kb (általam becsült ! )valósnak tippelt és konvertált 10GBps x 4-5-6(Tb-5).
...ha kell majd egyáltalán egy M3 Ultra felhasználónak, mert ugye az 512GB-ba már minden "civilnek" szánt LLM bele fog férni aki rászánja az x-millió(mennyi is ) HUF-ot/€-t/$-t...A piaci-keresleti mérleg serpenyőjében ott leszünk még sokáig majd az ehhez képest sokszor több millióan a korábbi(tipikusan 8-16GB között VRAM-mal szerelt) VGA-kal .
Ezek miatt a piaci arányok miatt nem aggódok azon, hogy nem lesznek rövid időn belül az általam említetthez hasonló további megosztott szoftverek illetve általános+célterület LLM párosítások. A mostani (valóban megdöbbentően eredményes ) Instruct-modelles szoftver alkalmazás mutatja az ebben rejlő lehetőségeket.Józan fejlesztő csoportok (szerintem) szntén eljutottak eddig a lehetőségig, és (úgy gondolom, hogy) már dolgoznak erre a logikusnak tűnő szoftver-válaszon.
...megemlítettem, mint egy (nekem logikus)lehetőség a naponta felbukkanó újak között!Megtaláltam közben: az 512GB RAM-os Ultra M3 4,5millió HUF.
-
S_x96x_S
addikt
""""
...The M3 Ultra 512GB Mac Studio fits perfectly with massive sparse MoEs like DeepSeek V3/R1.
2 M3 Ultra 512GB Mac Studios with @exolabs
is all you need to run the full, unquantized DeepSeek R1 at home.The first requirement for running these massive AI models is that they need to fit into GPU memory (in Apple's case, unified memory). Here's a quick comparison of how much that costs for different options (note: DIGITS is left out here since details are still unconfirmed):
NVIDIA H100 (80GB): 37.5/s
AMD MI300X (192GB): 27.6/s
Apple M2 Ultra (192GB): 4.16/s (9x less than H100)
Apple M3 Ultra (512GB): 1.56/s (24x less than H100)Apple is trading off more memory for less memory refresh frequency, now 24x less than a H100. Another way to look at this is to analyze how much it costs per unit of memory bandwidth. Comparison of cost per GB/s of memory bandwidth (cheaper is better):
NVIDIA H100 (80GB): $8.33 per GB/s
AMD MI300X (192GB): $3.77 per GB/s
Apple M2 Ultra (192GB): $6.25 per GB/s
Apple M3 Ultra (512GB): $11.875 per GB/s
There are two ways Apple wins with this approach. Both are hierarchical model structures that exploit the sparsity of model parameter activation: MoE and Modular Routing.MoE adds multiple experts to each layer and picks the top-k of N experts in each layer, so only k/N experts are active per layer. The more sparse the activation (smaller the ratio k/N) the better for Apple. DeepSeek R1 ratio is small: 8/256 = 1/32. Model developers could likely push this to be even smaller, potentially we might see a future where k/N is something like 8/1024 = 1/128 (<1% activated parameters).
Modular Routing includes methods like DiPaCo and dynamic ensembles where a gating function activates multiple independent models and aggregates the results into one single result. For this, multiple models need to be in memory but only a few are active at any given time.
Both MoE and Modular Routing require a lot of memory but not much memory bandwidth because only a small % of total parameters are active at any given time, which is the only data that actually needs to move around in memory.
.....
"""
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Sőt néha kérek egy pontosítást a saját szövegemen, majd 2-3 (stb) kérdezz felek után visszajutunk 99%-ban az én szövegemhez. 
) lassabban?
), ha a Windows-os Linux-on(WSL 1-2 ?) is futna ez az exo...! LM Studio-t is kérek... 
Ha nem bízol benne meg tudod nézni miből dolgozott.
/ 
Új hozzászólás Aktív témák
- Interactive Brokers társalgó
- Túra és kirándulás topic
- Futás, futópályák
- Prémium funkciókat kapott a Sony új WF-C710N fülhallgatója
- Nintendo Switch 2
- Fejhallgató erősítő és DAC topik
- Spórolós topik
- Telekom otthoni szolgáltatások (TV, internet, telefon)
- Belépőszintű ATX 3.1 tápokkal jelentkezett a Sharkoon
- The First Berserker: Khazan
- További aktív témák...
- SZERELEMGÉP! Corsair GAMER PC eladó BOMBA ÁRON! i7/1080Ti/32 Gb RAM/SSD!
- HP E24u G4 - egy függőleges hajszálkarc a képen- 1920x1080 - full HD - IPS - Hdmi - USB-C - Pivot
- Iphone 11 Pro Max 64gb törött!
- MacBook Pro 13" Retina (2015 eleje) Core i7 3,1GHz, 16GB RAM, 500GB SSD
- MSI R6770 (MS-V214) 1 GB GDDR5 128 bit PCI-E videokártya
- ÁRGARANCIA!Épített KomPhone i5 12400F 16/32/64GB RAM RTX 4060 Ti 8GB GAMER PC termékbeszámítással
- ÁRGARANCIA!Épített KomPhone i5 13400F 32/64GB RAM RTX 4060 Ti 8GB GAMER PC termékbeszámítással
- Bezámítás! HP EliteBook 1030 G8 13 FHD notebook - i7 1185G7 16GB RAM 1TB SSD Intel Iris Xe IGP WIN
- LG 27GR95QE - 27" OLED / QHD 2K / 240Hz & 0.03ms / NVIDIA G-Sync / FreeSync Premium / HDMI 2.1
- Steam, EA, Ubisoft és GoG játékkulcsok, illetve Game Pass kedvező áron, egyenesen a kiadóktól!
Állásajánlatok
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest