Hirdetés
- gban: Mentsünk meg egy 1151-es alaplapot
- MasterDeeJay: Intel Xeon 2673v4 best buy, avagy 20 mag 6eft-ért
- Luck Dragon: Asszociációs játék. :)
- sziku69: Fűzzük össze a szavakat :)
- D1Rect: Nagy "hülyétkapokazapróktól" topik
- lezso6: Kamu AI ismeretterjesztő shorts videók
- sziku69: Szólánc.
- V.Milán: Lányok 2026-ban...
- gban: Mentett Pentium 1 alaplapok
- Elektromos rásegítésű kerékpárok
Új hozzászólás Aktív témák
-
llama-bench -el teszteltem, nekem csak a prefillt dobta meg 10%-al. ROCm-mel. De Vulcan-on nem teszteltem.
Kicsit kaotikus, hogy ebben a sok ismeretlenes egyenletben merre van az optimum. Ezért kérdeztem, hogy mivel jött ki ekkora gyorsulás.> llama-bench -el teszteltem,
én ezzel próbálnám:
'mtp-bench.py' ( amúgy Donatello videójába belinkelve )
"""
Benchmark Script (mtp-bench.py):
https://gist.github.com/am17an/228edfb84ed082aa88e3865d6fa27090
"""Amúgy néha nem könnyű összehozni az első müködő verziót.
( legalábbis én elég gyakran szivok
) Esetleg az unsloth MTP guide-ját nézd meg, hátha az jobb.
https://unsloth.ai/docs/models/qwen3.6#mtp-guide -
> Bár nem MTP, de Donato itt még 7tps.t mért:
ezt most nem értem.
amit én linkeltem
ott meg 7.4 tps -t mértek alapnak,
amiből MTP-vel lett 18.1 tpsezt a sort nézem:
"Q8_0: 7.4 → 18.1 tok/s (2.44×)"mert:
Donato 27B Q8-ast mért ( Qwen3.6-27B-UD-Q8_K_XL )
legalábbis a "27" -re rákeresve nem látok mást.
és Q8 vs. Q8 kell hasonlítani.vagyis max 1 tps eltérés lehet, ami az eltérő verziókból, kvantálásból, hw tunning-ból adódhat.
te hogy értelmezed?
-
Az a reddit valszleg kamuposzt, mindenki hitetlenkedik
Bár nem MTP, de Donato itt még 7tps.t mért:
AMD Strix Halo — Backend Benchmarks (Grid View)> Bár nem MTP, de Donato itt még 7tps.t mért:
ezt most nem értem.
amit én linkeltem
ott meg 7.4 tps -t mértek alapnak,
amiből MTP-vel lett 18.1 tpsezt a sort nézem:
"Q8_0: 7.4 → 18.1 tok/s (2.44×)"mert:
Donato 27B Q8-ast mért ( Qwen3.6-27B-UD-Q8_K_XL )
legalábbis a "27" -re rákeresve nem látok mást.
és Q8 vs. Q8 kell hasonlítani.vagyis max 1 tps eltérés lehet, ami az eltérő verziókból, kvantálásból, hw tunning-ból adódhat.
te hogy értelmezed?
-
a marketing Sonet vs. Strixhalo Slide -on lévő "36 token/s" -t
-nél nem látom, hogy pontosan milyen LLM modellel és kvantálással mérték. De talán a másik slide-on lévő modellekkel, amelyek ránézésre MoE -s modelleknek tünnek. ( gpt-oss:120b , qwen3.5:122B , qwen3.6:35b , glm4.7-flash:30b )
a Qwen3.6:27B -t példáját inkább mint a lokális modellek "minőségi" javulására hoztam fel példának.
> mert Fedora+ROCm 11 tps- t tud
Amúgy MTP -vel valaki már 11 -> 21 tok/s is elérhető.
( persze az MTP a megjósolható dolgokat preferálja és emiatt a programkódoknál extrém elönyös, ellenben a kreativ munkáknál már csak kisebb előny látszik. )"""
MTP + Qwen3.6 27B:
Strix Halo (Framework Desktop, ROCm 7.0.2):
- Q4_K_M: 11.7 → 21.2 tok/s (1.81×)
- Q8_0: 7.4 → 18.1 tok/s (2.44×)MTP+ Qwen3.6 35B-A3B (MoE):
Strix Halo: 49.5 → 69.4 tok/s (1.40×)
"""amúgy
Donato Capitella youtube videója ezzel foglalkozik:
"MTP (Multi-Token Prediction): 2x Faster Token Generation on AMD Strix Halo & Radeon 9700 AI Pro" -
Alapvetően két lehetőségünk van:
-Havidíjas nagy modell használata - az alacsonyabb árkategóriákban még mindig erősen korlátozott mértékben.
-Lokális modellek, a szintjükön "kezelve, használva".
Az igények és lehetőségek határozzák meg a döntést.
A fizetős modellek egyre jobban "bezárnak", "felfele kényszerítve" a rájuk fordított összeget.
A free modellek egyre jobbak. Meglepően jól használhatóak bizonyos esetekben, de nem minden esetben. -
a marketing Sonet vs. Strixhalo Slide -on lévő "36 token/s" -t
-nél nem látom, hogy pontosan milyen LLM modellel és kvantálással mérték. De talán a másik slide-on lévő modellekkel, amelyek ránézésre MoE -s modelleknek tünnek. ( gpt-oss:120b , qwen3.5:122B , qwen3.6:35b , glm4.7-flash:30b )a Qwen3.6:27B -t példáját inkább mint a lokális modellek "minőségi" javulására hoztam fel példának.
> mert Fedora+ROCm 11 tps- t tud
Amúgy MTP -vel valaki már 11 -> 21 tok/s is elérhető.
( persze az MTP a megjósolható dolgokat preferálja és emiatt a programkódoknál extrém elönyös, ellenben a kreativ munkáknál már csak kisebb előny látszik. )"""
MTP + Qwen3.6 27B:
Strix Halo (Framework Desktop, ROCm 7.0.2):
- Q4_K_M: 11.7 → 21.2 tok/s (1.81×)
- Q8_0: 7.4 → 18.1 tok/s (2.44×)MTP+ Qwen3.6 35B-A3B (MoE):
Strix Halo: 49.5 → 69.4 tok/s (1.40×)
"""amúgy
Donato Capitella youtube videója ezzel foglalkozik:
"MTP (Multi-Token Prediction): 2x Faster Token Generation on AMD Strix Halo & Radeon 9700 AI Pro" -
azért remélem pár hónap alatt megtöltik tartalommal.
Addig is inkább:
https://lemonade-server.ai/
https://lemonade-server.ai/marketplace.html
"© 2026 AMD. Licensed under Apache 2.0."
amúgy az MTP támogatást is megoldották már. -
> a Claude Sonnet költségével a töredék méretű jóval bénább modellekét,
Ahogy látom az AMD
36 token/s ( prefill: 446t/s ) -es lokális modellel számolt.És a szokásos - kisbetűs "Up to" -val kezdődik az állítás,
hogy ne legyen perelhető az állítás.
---
amin azért meglepődtem, hogy egyes benchmarkok szerint
a Claude Sonnet4.5 vs. Qwen3.6:27b - már -már fej mellett van.( bár a dense Qwen3.6:27B nem lesz olyan gyors a Strix Halo-n az alacsony mem sávszélesség miatt. )
Amúgy nem fogja kiváltani a legfrisebb Anthropic / OpenAI modelleket.
Bár néhány funkciót ki tud váltani.És ne higyetek a benchmarkoknak !
Beruházás esetén érdemes kipróbálni egy OpenRouteres Qwen3.6:27B -t, hogy tudd, hogy mi vár rá!. -
Mire használni, meg hol a helye? Pont erről beszélek, hogy a reklám anyagban összevetik Sonnettel árban, de ezek a kisebbeket nagyon nem egyenértékűek tudásban. És ezt az eltérést nem fogod "konifgurálással" megszüntetni. Vagy akkor mindenki csak béna, aki Claude Code-ot használ, és azon belül is akár inkább megfizeti az Opust.
-
Egy relatíve kis modell is tud "összeszedetten viselkedni", ha jól konfigolod és nem egy lépésben akarod megváltani vele a világot. Ha jól felépíted a feladatot, kis lépésekben és nem nagy CL-el, nem esik szét a modell. A free modellek természetes velejárója, hogy nem tudnak még hosszú kontexusokat egyben kezelni. Ez teljesen természetes, ha azt nézed, hogy egy nagy, "favorit" modell, pl. Chat GPT, Claude, Gemini..stb. mekkora erőforrást használ. Eleve el sem várható egy ilyen kis modelltől még csak hasonló viselkedés sem. Tudni kell a helyén kezelni a free modelleket, és tudni kell megfelelően használni.
Mire használni, meg hol a helye? Pont erről beszélek, hogy a reklám anyagban összevetik Sonnettel árban, de ezek a kisebbeket nagyon nem egyenértékűek tudásban. És ezt az eltérést nem fogod "konifgurálással" megszüntetni. Vagy akkor mindenki csak béna, aki Claude Code-ot használ, és azon belül is akár inkább megfizeti az Opust.
-
Próbálgattam 20-30B körüli modelleket pár hónapja, és nagyon instabilak. Belezavarodnak, hülyeséget csinálnak olyanokban, amit lazán megoldanak a nagyok. Szóval igen, az oszlop magasságok nem érzékeltetik a gyakorlati különbséget.
Egyszerű auto-completere hasznosak a kis modellek is, viszont azok eleve olcsók előfizetéssel is. A összetettebb feladatokban meg továbbra is szűk keresztmetszet a legerősebb modellek értelmi képessége is. Így a 100B körüli kategória esetén nagyon tudnia kell a vevőnek, hogy amit ő csinál, arra az elégséges. Ez a széles tömegeket célzó marketing amit kiadnak magukból ezért nevetséges.
-
> a Claude Sonnet költségével a töredék méretű jóval bénább modellekét,
Ahogy látom az AMD
36 token/s ( prefill: 446t/s ) -es lokális modellel számolt.És a szokásos - kisbetűs "Up to" -val kezdődik az állítás,
hogy ne legyen perelhető az állítás.---
amin azért meglepődtem, hogy egyes benchmarkok szerint
a Claude Sonnet4.5 vs. Qwen3.6:27b - már -már fej mellett van.( bár a dense Qwen3.6:27B nem lesz olyan gyors a Strix Halo-n az alacsony mem sávszélesség miatt. )
Amúgy nem fogja kiváltani a legfrisebb Anthropic / OpenAI modelleket.
Bár néhány funkciót ki tud váltani.És ne higyetek a benchmarkoknak !
Beruházás esetén érdemes kipróbálni egy OpenRouteres Qwen3.6:27B -t, hogy tudd, hogy mi vár rá!. -
Az vicces, hogy összevetik a Claude Sonnet költségével a töredék méretű jóval bénább modellekét, amik ezen elfutnak (és gondolom nem túl gyorsan). Szerintük akiket az ilyesmi érdekel, annak ez nem fog leesni...
> a Claude Sonnet költségével a töredék méretű jóval bénább modellekét,
Ahogy látom az AMD
36 token/s ( prefill: 446t/s ) -es lokális modellel számolt.És a szokásos - kisbetűs "Up to" -val kezdődik az állítás,
hogy ne legyen perelhető az állítás.---
amin azért meglepődtem, hogy egyes benchmarkok szerint
a Claude Sonnet4.5 vs. Qwen3.6:27b - már -már fej mellett van.( bár a dense Qwen3.6:27B nem lesz olyan gyors a Strix Halo-n az alacsony mem sávszélesség miatt. )
Amúgy nem fogja kiváltani a legfrisebb Anthropic / OpenAI modelleket.
Bár néhány funkciót ki tud váltani.És ne higyetek a benchmarkoknak !
Beruházás esetén érdemes kipróbálni egy OpenRouteres Qwen3.6:27B -t, hogy tudd, hogy mi vár rá!. -
> Vajon hackerek által összetákolt csomagok lesznek, vagy az AMD végre kiad valami normális package-t.?
ha jól olvastam előre lesz telepítve sok dolog.
"AMD Ryzen AI Halo is built for open frameworks and comes pre-installed with the AMD Ryzen AI Halo Developer Center app, a central hub for developers to easily access playbooks, tools and updates. "
bővebben:
https://www.amd.com/en/products/processors/desktops/ryzen/ryzen-ai-halo.html#software -
Még tavaly párat kigyűjtöttem, most visszakerestem a képet is:
Amúgy azóta már NAS is van strix haloval
https://videocardz.com/newz/minisforum-n5-max-nas-with-ryzen-ai-max-395-to-launch-at-2899Ja, hogy te arra gondoltál, hogy sw szinten? Ok, értem. Azt hittem, hogy mivel "eszközt" említettél, vmi hw-re gondoltál..
Ennél olcsóbb jelenleg nem nagyon van. Eu forgalmazó, gar, ebben az árban ingyenes posta is. -
Még tavaly párat kigyűjtöttem, most visszakerestem a képet is:
Amúgy azóta már NAS is van strix haloval
https://videocardz.com/newz/minisforum-n5-max-nas-with-ryzen-ai-max-395-to-launch-at-2899 -
Nem (csak) az a lényeg, hogy előre van-e telepítve, hanem hogy ingyenes, ill. esetleg kompatibilis-e más strix halo eszközökkel. Na meg hogy rendesen működik-e minden része, nem mókolgatni kell.
setup.exe, next, next, next, ok-ot nyomogatni mindenki tud
#10
Gondolom most nem várod el, hogy belinkeljem azt a kb 30-40 strix halo APU-val ellátott eszközt.
-
> Vajon hackerek által összetákolt csomagok lesznek, vagy az AMD végre kiad valami normális package-t.?
ha jól olvastam előre lesz telepítve sok dolog.
"AMD Ryzen AI Halo is built for open frameworks and comes pre-installed with the AMD Ryzen AI Halo Developer Center app, a central hub for developers to easily access playbooks, tools and updates. "
bővebben:
https://www.amd.com/en/products/processors/desktops/ryzen/ryzen-ai-halo.html#softwareNem (csak) az a lényeg, hogy előre van-e telepítve, hanem hogy ingyenes, ill. esetleg kompatibilis-e más strix halo eszközökkel. Na meg hogy rendesen működik-e minden része, nem mókolgatni kell.
setup.exe, next, next, next, ok-ot nyomogatni mindenki tud
#10
Gondolom most nem várod el, hogy belinkeljem azt a kb 30-40 strix halo APU-val ellátott eszközt. -
Geller72
veterán
) 
Új hozzászólás Aktív témák
- GamerPC - R5 5600X, RX 6800 16gb, 16gb RAM
- Abstrakt Design PC - NZXT, Z490, i7-10700f, 16Gb, RTX 2070, 1Tb SSD - Windows 11
- Izmos AM5 Gamer : AMD 7600X / Rx 6900Xt 16gb / 1Tb Nvme / ARGB
- GAMER PC ELADÓ RTX 3070 Ti + Ryzen 5 5600X
- ÚJ 4K 15.GEN CORE I5 225F ULTRA GAMER PC 32Gb DDR5 1TB SSD RTX 5060Ti 16GB H810M-X 650W-TÁP 2ÉV GAR!
- Apple iPhone 13 Pro 128GB, Kártyafüggetlen, 1 Év Garanciával
- Keresünk Galaxy S23/S23+/S23 Ultra/S23 Fe
- Telefon felvásárlás!! Samsung Galaxy S24/Samsung Galaxy S24+/Samsung Galaxy S24 Ultra
- GYÖNYÖRŰ iPhone 14 Pro 128GB Deep Purple -2 ÉV GARANCIA - Kártyafüggetlen, MS5379
- Új és újszerű 13-14 Gamer, üzleti, 2in1, X360 Touch készülékek nagyon kedvező áron! Garancia Számla!
Állásajánlatok
Cég: CAMERA-PRO Hungary Kft.
Város: Budapest
Cég: aiMotive Kft.
Város: Budapest