- D1Rect: Nagy "hülyétkapokazapróktól" topik
- petipetya: Nagy chili topic. :)
- sziku69: Fűzzük össze a szavakat :)
- sziku69: Szólánc.
- Luck Dragon: Asszociációs játék. :)
- gban: Ingyen kellene, de tegnapra
- Narxis: Problémák, problémák, problémák
- eldiablo: Mennyire strapabíró egy GShock?
- eBay-es kütyük kis pénzért
- Lenry: Melléképületblog - 4. rész - Kocsibeálló
Új hozzászólás Aktív témák
-
Raymond
titán
válasz
Kristof93
#37
üzenetére
Nocsak, ezt nem is lattam...
Nem en vagyok eltevedve hanem te. A kontextus is jo lett volna ha megnezed. Itt arrol volt szo hogy egy rakat 256GB/s savszelt tudo 128GB-os gepet osszekotni hogy a nagy modellek menjenek. Ennek nincs ertelme az eszmeletlen ara miatt. Produktiv kornyezetben ezt nem csinalod mert a teljesitmeny csapnivalo, ezt max jatszadozasra es kiprobalasra jo (a kollega pl. a full Deepseek R1-et celozzta meg), oda meg nem fogsz 12-14K USD/EUR-t beleolni mert ugyanazt megkapod ennek az arnak a toredekeert. A Strix Halo-nal lathato 256bit DDR5-8000 alltal adott 256GB/s megvan a 8-12 csatornas szever platformoknal is ahol egy darab gepbe belerakod a szukseges 512-768GB RAM-t es a komplett ar a toredeke lesz a 6x Framework gepek aranak. Ha jobban megerolteted magad es turelmes vagy akkor 1-2 darab Framework gep araert megvan a 12 csatornas gep 768GB RAM-al.
-
S_x96x_S
addikt
válasz
Kristof93
#37
üzenetére
a vram tényleg fontos ( mind a mennyiség / sávszélesség / és az ár is )
> Olyan szerver cpu amiben van egy gyors igpu pedig nem létezik.
~ attól függ, hogy mit nevezünk igpu-nak;
vagyis nem árt a pontosítás - mert mindenki mást ért alatta;
( AMD Instinct™ MI300A ; NVIDIA GH200 Grace Hopper Superchip; .... )Amúgy az AI gyorsítók fogalma elég tág;
az Intelnek is van - AMX ( CPU-s ) esettanulmánya - amikor az A100 -nál jobb.
"Performance: 17x Faster Than NVIDIA* A100 Tensor Core GPUs"
és ott van még a régi "Xeon Phi" próbálkozás is.Amúgy ha nincs más - egy 12-csatornás Epyc -el 400 - 460.8 GB/sec - et ki lehet hozni.
-
Kristof93
senior tag
Teljesen el vagy tájolódva. A szerverbe annyi ramot pakolhatsz, amennyit csak szeretnél, abból úgy sem lesz vram. Ha a dedikált gpu azt kell használja akkor a sebesség és késleltetés a pcie-n keresztül ellehetetleníti az egészet. Nem szórakozásból pakolnak egyre több memóriát minden ai gyorsítóra és egyébb gpu-ra. Olyan szerver cpu amiben van egy gyors igpu pedig nem létezik.
-
Raymond
titán
Csak hogy vilagos legyen pedig mar irtam regebben. Fantasztikus hogy tudsz giglizni es hasznalni az internetet, de sokat segitene ha ertened is amit olvasol es megertened az osszefuggeseket. Ez a resz egyelore nagyon nagyon hianyos. Case in point:
"Az én FANTÁZIÁMBAN a lokális Deepseek R1 futtatása a cél.
Ami egy MoE - és nem árt hozzá több 128GB-os Strix Halo"Ezt igy bughatod, mivel tobbe kerul es tobb a limitacio (clusteringnek hala) mint egy magasabb sebesseget elero sima 2U szerver lenne telepakolva RAM-al.
-
S_x96x_S
addikt
> O RLY?
( ahelyett hogy kérdeznél,
túl sok előfelvetésed van, amelyeket nem validálász.
a félreértések oka leggyakrabban ez. )Ezt te irtad: #28
"Hiaba latsz benne fantaziat ha nincs olyan MoE ami belefer a 128 vagy a 192GB-ba a most mar lassan matuzsalemnek nevezheto Mixtral-on kivul. Az hogy inference kozben kevesebb az aktiv az a memoriameret igenyeknel lenyegtelen mert a komplett cuccot be kell olvasnod."Az én FANTÁZIÁMBAN a lokális Deepseek R1 futtatása a cél.
Ami egy MoE - és nem árt hozzá több 128GB-os Strix Halo> Foleg ugy hogy nem cluster-rol volt szo.
~ a fantáziámról volt szó ..
-
Busterftw
nagyúr
Leforditom magyarra mirol van szo.
Ez a cucc kb CES-en ket laptopban volt demozva, tehat itt is egy speci "laptop" kiszerelesrol van szo, csak asztali kontosben.
A Strix Halo oda van forrasztva ahogy a rendszer memoria is.Erre gondolt a kolto, hogy ilyen formaban nem nagyon tudod beszerezni, mert soldered cucc. Ami pont a Frameworknel erdekes, mert ugye ott epp a modularitason es a javithatosagon van a hangsuly.
A Framework csavo azt mondta, hogy megkerdeztek az AMD-t a cserelheto RAM-rol, de azt mondtak nem lehetseges...
Erdemes megnezni Linusek videojat, ott van a Framework faszi, elmondanak es mutatnak egy csomo uj cuccot. -
Mp3Pintyo
HÁZIGAZDA
Redditen olvastam elemzéseket ami alapján a várható sebessége egy nagyobb modell esetén 2 token/sec lesz.
De ha mondjuk ezt feltornászod spekulativ dekódolással akkor is csak 4-5 token/sec-et lehet összehozni.
Ez iszonyú messze van a valós időtől. Leginkább hajtépően lassú.Azért ne hasonlítsuk már egy Mac Studiohoz. Ez kicsit több mindenre jó, ráadásul egy baromi jól kiépített ökoszisztémát kapsz.
Saját gépen nekem a 32B modell nvidia 3090-es kártyával hozza a 48 token/sec-es sebességet. Tény, hogy nem fér bele nagyobb modell de óriási a különbség a 4 és a 48 között.
-
Raymond
titán
O RLY?
1. nem errol beszeltel hanem a 128GB-rol, tehat egy gep, foleg abban a kontextusban
2. ha mar ott tartasz hogy 6+ darab kell akkor ez eleve nem opcio mert 12K nyugati penzert inkabb egy 2U server egy 8 vagy 12 csatornas vezerlovel es 1TB+ RAM-alSzerk: egyebkent nem azt mondtam hogy *csak* a 64GB-nak van ertelme, olvasd el meg egyszer mit irtam ott. Foleg ugy hogy nem cluster-rol volt szo.
-
S_x96x_S
addikt
> Az hogy inference kozben kevesebb az aktiv
> az a memoriameret igenyeknel lenyegtelen mert a komplett cuccot be kell olvasnod.A clustert erre találták ki. (+ exo, zml és társai )
És az nvidia Digits -nek is hasonló memória sávszélje lesz 128GB -al. ( ~ 260 Gb/s ; legalábbis meglepő lenne ha többet tudna )
és amit szintén lehet clusterezni:
"High performance networking enables connecting two Project DIGITS systems together to work with AI models up to 405 billion parameters."
Persze a Digits -ről csak márciusban lesz pontosabb infó.Ami te mondasz hogy csak a 64 GB-nak van értelme
az főleg a Laptopokra lehet igaz - mert azokat nem szokták clusterezni
( persze kivétel mindig van )a Strix Halo - a 16 full Zen5-ös AVX-512 -CPU -val tudományos számításokra is
jó, De még játszani is lehet vele ..
Vagyis egy mindenre is jó univerzális workstation lehet.-----------
Vagyis a 128GB Mem előnye, hogy könnyebb skálázni.
https://frame.work/hu/en/desktop?tab=machine-learning
""
NEED A CLUSTER?
Framework Desktop has 5Gbit Ethernet along with two USB4 ports, allowing networking multiple together to run even larger models with llama.cpp RPC. With a Mini-ITX form factor, you can also pick up the Mainboard on its own and build it into your own mini-racks or standard rackmount server cases for high density.
""
És ha valakinek csak az alapok kellenek - akkor
6-8 db - "Ryzen™ AI Max+ 395 - 128GB" alaplap
6-8 x 829,990 Ft
összekötve már elég nagy modelleket is tud futtatni. -
-
Raymond
titán
-
S_x96x_S
addikt
> 64GB-nal van ertelme mert a nagyobb modelleknel ahol
> a 128GB RAM (96GB VRAM) kene ott nem kapsz
> normalis sebesseget a limitalt savszel miatt.a Mixture of Experts (MoE) vagy (MoTE) modelleknél
( mint amilyen DeepSeek R1 , GPT-4, Mistral ...)
sokkal kevesebb paraméter aktiv; vagyis a sávszél kevésbé gond.vagyis én a nagyobb VRAM -ban több fantáziát látok. ( Go 128GB , 196 GB ... )
-
S_x96x_S
addikt
válasz
Kristof93
#22
üzenetére
> A legnagyobb quadro is csak 48gb
Az nvidiánál még alternativa lehet ( a Digits megjelenéséig )
a robotikára kifejlesztett
"NVIDIA Jetson AGX Orin modul, 64 GB" ~ EUR 2 676,00 (Áfával együtt)
- 64GB 256-bit LPDDR5 ~ 204.8GB/s
- 12-core Arm® Cortex®-A78AE v8.2 64-bit CPU
- 2048-core NVIDIA Ampere architecture GPU with 64 Tensor Cores> a strix halo, elég meglepő.
> Egy erős, desktop szintű igp, de hozzáfér akár 128gb memóriához.mindenfélét irtnak - úgyhogy nemárt pontosan utánanézni.
- valahol - hogy csak 96GB címezhető az RDNA 3.5 -el a 128GB -ból
- valahol - meg azt, hogy ennél több is lehet ..
Talán a 96GB a hivatalos. -
S_x96x_S
addikt
És ez az a Proci - amit Januárban - az AMD úgy reklámozott,
hogy lenyomja az RTX 4090 ( 24GB ) -ot
*** minden olyan dologban - amire 24GB nem elég ***
( minden más dologban meg nem )
az Nvidia Digits ( ami arm-os ) akkor lehet jó,
ha valakinek fontos a CUDA és az nvidia szoftveres ökoszisztéma . -
Kristof93
senior tag
Azért a prohardveren nem érteni, hogy miért új termék kategória a strix halo, elég meglepő. Egy erős, desktop szintű igp, de hozzáfér akár 128gb memóriához. A legnagyobb quadro is csak 48gb, és az többe kerül mint több ilyen számítógép. Ilyent eddig csak az Apple tudott.
-
S_x96x_S
addikt
> Lehet már a Framework cuccokat kapni itthon vagy legalább EU-ból rendelve?
pár hónapja már lehet Magyarországra is rendelni.
és azóta Ft -ban vannak az árak ( + magyar áfa )A Laptopokban is sok fantázia van - főleg akkor, hogyha a szerelhetőséget többre becsülöd.
És már látom a Strix Point -os Ryzen AI 300 -as Framework-13 előrendelését is.
( amibe 96 GB DDR5 RAM -ot lehet tenni, de később várható a 128GB SO-DIMM -is )
vagyis akinek sok RAM / SSD -kell, az jobban jár, hogyha itthon veszi meg
és ha maga szereli be.
https://frame.work/hu/en/products/laptop13-diy-amd-ai300/configuration/new
( itt még nem hozza fel a magyar billentyűt az előrendelésnél - de van olyan is nekik ) -
Raymond
titán
Elorendelni lehet es egy azert aranylag savasnyu aprosag kimaradt meg:
a jelek szerint majd valamikor Q3-ban szallitjak
A nominalis savszel 256GB/s es benchmarkban amit valaki mert par napja olyan 220GB/s amit ki lehet belole hozni. Ez egyebkent nagyon jo efektivitas, sokkal jobb mint a sima DDR5 vagy DDR4 platformjaiknal.
-
zhit86
csendes tag
Ez fain kis cuccnak tűnik... Kicsit drága, de jobban tetszik, mint a kínai alternatívák.
Az összeszerelt gép is okosan kialakítottnak tűnik (hűtés), de ha lehet csak alaplapot (rajta proci, 64-128 GB memória) kapni az még több lehetőséget megnyit.Lehet már a Framework cuccokat kapni itthon vagy legalább EU-ból rendelve?
A memória sávszélesség mennyire jön ki?
-
Raymond
titán
"A vállalat szerint a kedvelt Llama 3.3 70B Q6 LLM-mel valós időben lehet úgymond beszélgetést folytatni"
Sure
Meg a Q4-el is csak olyan 5-6 tok/s a sebesseg ami minden csak nem folyamatos beszelgetes."Ez viszont a vállalat szerint még mindig sokkal olcsóbb a 4800 dollárért kérhető, 128 GB RAM-mal szerelt Apple Mac Studio konfigurációnál, ráadásul gyorsabb is nála."
Csak ott almat hasonlitanak a kortehez (har har) raadasul nem gyorsabb annal a $4800 konfiguracional termeszetesen mert az mar M2 Max/Ultra vagy M4 Max az ujabb termekeknel. Amihez hasonlitani lehet teljesitmenyben az az M4 Pro-val szerelt gepek ahol 276GB/s a memoria savszel (vs. az ennel levo 256GB/s) es azokkal durvan egy arkategoria. Shocker!
Valamivel olcsobb mert hat Apple tax, ennek a 128GB konfig ara van ott ahol a Mac Mini M4 Pro 64GB van. Ebbol is inkabb a 64GB-nal van ertelme mert a nagyobb modelleknel ahol a 128GB RAM (96GB VRAM) kene ott nem kapsz normalis sebesseget a limitalt savszel miatt.1279€ - Ryzen AI Max 385 (8C 8050S) 32GB
1895€ - Ryzen AI Max+ 395 (16C 8060S) 64GB
2329€ - Ryzen AI Max+ 395 (16C 8060S) 128GBAz 1895 kimondottan jo ar erte, a 48GB VRAM eleg a 70/72B Q4-nek is (40-42GB) es a sebesseg is kezdi a turheto hatart elerni alulrol (5-6 tok/s) ami speculativ decoding mellet akar 8-10 tok/s-re is feltornazhatja magat.
Ha valakinek szukos lenne megis az a 64GB/48GB konfiguracio akkor ott a 128GB, de a felara eleg nagy. Persze meg mindig kisebb mint egy Apple cuccnal.
-
S_x96x_S
addikt
> Képzelem mekkora piaca lehet az otthoni használatra szánt DeepSeek-klasztereknek.
napról napra egy nagyobb.
ez hasonló - mintha egy kis cég
( ~ a saját dokumentumainak a feldolgozására )
saját DeepSeek -et szeretne futtatni
És a fejlesztőnek kell egy saját konfig - Home Office -ban.![;]](//cdn.rios.hu/dl/s/v1.gif)
-
S_x96x_S
addikt
Egy M2 Ultra - 800 BW [GB/s] memória sebességgel és 60-core os GPU -val
azért még jelentősen erősebb ( AI-ban ) mint a FrameWork desktopA FrameWork desktop - előnye az Apple konfigokkal szemben:
- erős X86-64 CPU magok és AVX-512 támogatás
- Windows és Linux kompatibilitás
- a lehetőségekhez képest jobb bővítés. ( sok olcsó M.2 -es diszk. )
- és az M.2 Oculunk-en keresztül lehetővé teszi akármilyen külső GPU csatlakoztatását is. ( pl. egy RTX 5090 -es -t is )
És valószínüleg lesz más gyártónak is ( pl. HP )Hátránya:
- az AMD ROCm - még döcögős egy kicsit - nem árt huppanókra számítani.
- az NPU linux alatt - még döcögösebbb (saját tapasztalat
)
De van remény - hogy sokkal jobb lesz !------------------
A 4800 USD - konfig tartalma: ( és hamarosan jöhet az M4/M5 -ös Ultra !! )
"Apple M2 Ultra with 24‑core CPU, 60‑core GPU, 32‑core Neural Engine
128GB unified memory
1TB SSD storage
Front: Two Thunderbolt 4 ports, one SDXC card slot
Back: Four Thunderbolt 4 ports, two USB-A ports, one HDMI port, one 10Gb Ethernet port, one 3.5 mm headphone jack"és 192GB memóriával $5,599. 800 BW [GB/s] !
Performance of llama.cpp on Apple Silicon M-series:
https://github.com/ggml-org/llama.cpp/discussions/4167------------------
Ha valakit komolyabban is érdekel az AI
- Prohardver: "Mesterséges intelligencia topik"
- https://www.reddit.com/r/LocalLLaMA/ ( helyi LLM-ek futtatása )
- https://www.reddit.com/r/ChatGPTCoding/ ( LLM programozásra )-------------------
Ha valakinek még olcsóbb megoldás kell,
akkor lehet, hogy az EU -van is megjelenik egy kínai alternativa:Orange Pi AI Studio Pro mini PC - Kínai GPU -val ( Ascend 310s )
[ 352 TOPS + 192GB LPDDR4X ]
"Orange Pi AI Studio Pro Mini PC target Nvidia Jetson Orin Nano with up to 352 TOPS"
----------A jó hír - hogy lesz egy kis verseny !
-
Cythyel
senior tag
az npu ami a ryzen ai max-ban van, olyan erős, vagy erősebb mint ami a 4090-ben van, ráadásul több memója lehet mint a kártyának... egy baj van csak, a memó itt forrasztott, próbálták volna camm modullal is, de a szignál integritás nem volt elegendő, így most csak forrasztva érhető el
-
-
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Valamivel olcsobb mert hat Apple tax, ennek a 128GB konfig ara van ott ahol a Mac Mini M4 Pro 64GB van. Ebbol is inkabb a 64GB-nal van ertelme mert a nagyobb modelleknel ahol a 128GB RAM (96GB VRAM) kene ott nem kapsz normalis sebesseget a limitalt savszel miatt.
)
Új hozzászólás Aktív témák
ph Futtatni kellene a 671 milliárd paraméteres DeepSeek R1-et? Nem probléma!
- Óvodások homokozója
- D1Rect: Nagy "hülyétkapokazapróktól" topik
- Apple Watch Ultra - első nekifutás
- Zeneszerkesztő és DJ topic
- Linux kezdőknek
- Samsung Galaxy S23 és S23+ - ami belül van, az számít igazán
- Kerékpárosok, bringások ide!
- Milyen széket vegyek?
- Samsung Galaxy Watch (Tizen és Wear OS) ingyenes számlapok, kupon kódok
- NBA és kosárlabda topic
- További aktív témák...
- ÁRGARANCIA!Épített KomPhone Ryzen 7 7800X3D 32/64GB RAM RX 9070 16GB GAMER PC termékbeszámítással
- Országos! KÉSZPÉNZES - UTALÁSOS VIDEOKÁRTYA FELVÁSÁRLÁS! Korrekt áron! AMD!
- Telefon felvásárlás!! Samsung Galaxy Note 10+/Samsung Galaxy Note 20/Samsung Galaxy Note 20 Ultra
- Intel Core i7-13700K Processzor
- Acer Nitro 5 AN515 - 15,6"FHD IPS 144Hz - i5-11400H - 16GB - 512GB SSD+1TB HDD - RTX 3050 - Win11
Állásajánlatok
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest
Cég: Laptopszaki Kft.
Város: Budapest