- eldiablo: Mennyire strapabíró egy GShock?
- t72killer: Fürdőkád kontra elektromosság: XXI.század
- sziku69: Fűzzük össze a szavakat :)
- sziku69: Szólánc.
- Luck Dragon: Asszociációs játék. :)
- gerner1
- gban: Ingyen kellene, de tegnapra
- Mr Dini: Mindent a StreamSharkról!
- Boss81: Halott Torrentek keresése, törlése egyszerűen.
- oriic: A TOP 10 legtöbb hozzászólással rendelkező PH! felhasználó
Új hozzászólás Aktív témák
-
S_x96x_S
addikt
válasz
Kristof93
#37
üzenetére
a vram tényleg fontos ( mind a mennyiség / sávszélesség / és az ár is )
> Olyan szerver cpu amiben van egy gyors igpu pedig nem létezik.
~ attól függ, hogy mit nevezünk igpu-nak;
vagyis nem árt a pontosítás - mert mindenki mást ért alatta;
( AMD Instinct™ MI300A ; NVIDIA GH200 Grace Hopper Superchip; .... )Amúgy az AI gyorsítók fogalma elég tág;
az Intelnek is van - AMX ( CPU-s ) esettanulmánya - amikor az A100 -nál jobb.
"Performance: 17x Faster Than NVIDIA* A100 Tensor Core GPUs"
és ott van még a régi "Xeon Phi" próbálkozás is.Amúgy ha nincs más - egy 12-csatornás Epyc -el 400 - 460.8 GB/sec - et ki lehet hozni.
-
S_x96x_S
addikt
> O RLY?
( ahelyett hogy kérdeznél,
túl sok előfelvetésed van, amelyeket nem validálász.
a félreértések oka leggyakrabban ez. )Ezt te irtad: #28
"Hiaba latsz benne fantaziat ha nincs olyan MoE ami belefer a 128 vagy a 192GB-ba a most mar lassan matuzsalemnek nevezheto Mixtral-on kivul. Az hogy inference kozben kevesebb az aktiv az a memoriameret igenyeknel lenyegtelen mert a komplett cuccot be kell olvasnod."Az én FANTÁZIÁMBAN a lokális Deepseek R1 futtatása a cél.
Ami egy MoE - és nem árt hozzá több 128GB-os Strix Halo> Foleg ugy hogy nem cluster-rol volt szo.
~ a fantáziámról volt szó ..
-
S_x96x_S
addikt
> Az hogy inference kozben kevesebb az aktiv
> az a memoriameret igenyeknel lenyegtelen mert a komplett cuccot be kell olvasnod.A clustert erre találták ki. (+ exo, zml és társai )
És az nvidia Digits -nek is hasonló memória sávszélje lesz 128GB -al. ( ~ 260 Gb/s ; legalábbis meglepő lenne ha többet tudna )
és amit szintén lehet clusterezni:
"High performance networking enables connecting two Project DIGITS systems together to work with AI models up to 405 billion parameters."
Persze a Digits -ről csak márciusban lesz pontosabb infó.Ami te mondasz hogy csak a 64 GB-nak van értelme
az főleg a Laptopokra lehet igaz - mert azokat nem szokták clusterezni
( persze kivétel mindig van )a Strix Halo - a 16 full Zen5-ös AVX-512 -CPU -val tudományos számításokra is
jó, De még játszani is lehet vele ..
Vagyis egy mindenre is jó univerzális workstation lehet.-----------
Vagyis a 128GB Mem előnye, hogy könnyebb skálázni.
https://frame.work/hu/en/desktop?tab=machine-learning
""
NEED A CLUSTER?
Framework Desktop has 5Gbit Ethernet along with two USB4 ports, allowing networking multiple together to run even larger models with llama.cpp RPC. With a Mini-ITX form factor, you can also pick up the Mainboard on its own and build it into your own mini-racks or standard rackmount server cases for high density.
""
És ha valakinek csak az alapok kellenek - akkor
6-8 db - "Ryzen™ AI Max+ 395 - 128GB" alaplap
6-8 x 829,990 Ft
összekötve már elég nagy modelleket is tud futtatni. -
-
S_x96x_S
addikt
> 64GB-nal van ertelme mert a nagyobb modelleknel ahol
> a 128GB RAM (96GB VRAM) kene ott nem kapsz
> normalis sebesseget a limitalt savszel miatt.a Mixture of Experts (MoE) vagy (MoTE) modelleknél
( mint amilyen DeepSeek R1 , GPT-4, Mistral ...)
sokkal kevesebb paraméter aktiv; vagyis a sávszél kevésbé gond.vagyis én a nagyobb VRAM -ban több fantáziát látok. ( Go 128GB , 196 GB ... )
-
S_x96x_S
addikt
válasz
Kristof93
#22
üzenetére
> A legnagyobb quadro is csak 48gb
Az nvidiánál még alternativa lehet ( a Digits megjelenéséig )
a robotikára kifejlesztett
"NVIDIA Jetson AGX Orin modul, 64 GB" ~ EUR 2 676,00 (Áfával együtt)
- 64GB 256-bit LPDDR5 ~ 204.8GB/s
- 12-core Arm® Cortex®-A78AE v8.2 64-bit CPU
- 2048-core NVIDIA Ampere architecture GPU with 64 Tensor Cores> a strix halo, elég meglepő.
> Egy erős, desktop szintű igp, de hozzáfér akár 128gb memóriához.mindenfélét irtnak - úgyhogy nemárt pontosan utánanézni.
- valahol - hogy csak 96GB címezhető az RDNA 3.5 -el a 128GB -ból
- valahol - meg azt, hogy ennél több is lehet ..
Talán a 96GB a hivatalos. -
S_x96x_S
addikt
És ez az a Proci - amit Januárban - az AMD úgy reklámozott,
hogy lenyomja az RTX 4090 ( 24GB ) -ot
*** minden olyan dologban - amire 24GB nem elég ***
( minden más dologban meg nem )
az Nvidia Digits ( ami arm-os ) akkor lehet jó,
ha valakinek fontos a CUDA és az nvidia szoftveres ökoszisztéma . -
S_x96x_S
addikt
> Lehet már a Framework cuccokat kapni itthon vagy legalább EU-ból rendelve?
pár hónapja már lehet Magyarországra is rendelni.
és azóta Ft -ban vannak az árak ( + magyar áfa )A Laptopokban is sok fantázia van - főleg akkor, hogyha a szerelhetőséget többre becsülöd.
És már látom a Strix Point -os Ryzen AI 300 -as Framework-13 előrendelését is.
( amibe 96 GB DDR5 RAM -ot lehet tenni, de később várható a 128GB SO-DIMM -is )
vagyis akinek sok RAM / SSD -kell, az jobban jár, hogyha itthon veszi meg
és ha maga szereli be.
https://frame.work/hu/en/products/laptop13-diy-amd-ai300/configuration/new
( itt még nem hozza fel a magyar billentyűt az előrendelésnél - de van olyan is nekik ) -
S_x96x_S
addikt
> Képzelem mekkora piaca lehet az otthoni használatra szánt DeepSeek-klasztereknek.
napról napra egy nagyobb.
ez hasonló - mintha egy kis cég
( ~ a saját dokumentumainak a feldolgozására )
saját DeepSeek -et szeretne futtatni
És a fejlesztőnek kell egy saját konfig - Home Office -ban.![;]](//cdn.rios.hu/dl/s/v1.gif)
-
S_x96x_S
addikt
Egy M2 Ultra - 800 BW [GB/s] memória sebességgel és 60-core os GPU -val
azért még jelentősen erősebb ( AI-ban ) mint a FrameWork desktopA FrameWork desktop - előnye az Apple konfigokkal szemben:
- erős X86-64 CPU magok és AVX-512 támogatás
- Windows és Linux kompatibilitás
- a lehetőségekhez képest jobb bővítés. ( sok olcsó M.2 -es diszk. )
- és az M.2 Oculunk-en keresztül lehetővé teszi akármilyen külső GPU csatlakoztatását is. ( pl. egy RTX 5090 -es -t is )
És valószínüleg lesz más gyártónak is ( pl. HP )Hátránya:
- az AMD ROCm - még döcögős egy kicsit - nem árt huppanókra számítani.
- az NPU linux alatt - még döcögösebbb (saját tapasztalat
)
De van remény - hogy sokkal jobb lesz !------------------
A 4800 USD - konfig tartalma: ( és hamarosan jöhet az M4/M5 -ös Ultra !! )
"Apple M2 Ultra with 24‑core CPU, 60‑core GPU, 32‑core Neural Engine
128GB unified memory
1TB SSD storage
Front: Two Thunderbolt 4 ports, one SDXC card slot
Back: Four Thunderbolt 4 ports, two USB-A ports, one HDMI port, one 10Gb Ethernet port, one 3.5 mm headphone jack"és 192GB memóriával $5,599. 800 BW [GB/s] !
Performance of llama.cpp on Apple Silicon M-series:
https://github.com/ggml-org/llama.cpp/discussions/4167------------------
Ha valakit komolyabban is érdekel az AI
- Prohardver: "Mesterséges intelligencia topik"
- https://www.reddit.com/r/LocalLLaMA/ ( helyi LLM-ek futtatása )
- https://www.reddit.com/r/ChatGPTCoding/ ( LLM programozásra )-------------------
Ha valakinek még olcsóbb megoldás kell,
akkor lehet, hogy az EU -van is megjelenik egy kínai alternativa:Orange Pi AI Studio Pro mini PC - Kínai GPU -val ( Ascend 310s )
[ 352 TOPS + 192GB LPDDR4X ]
"Orange Pi AI Studio Pro Mini PC target Nvidia Jetson Orin Nano with up to 352 TOPS"
----------A jó hír - hogy lesz egy kis verseny !
![;]](http://cdn.rios.hu/dl/s/v1.gif)
)
Új hozzászólás Aktív témák
ph Futtatni kellene a 671 milliárd paraméteres DeepSeek R1-et? Nem probléma!
- Új szintre emelnéd a géped sebességét? Ne várj tovább!
- BESZÁMÍTÁS! GIGABYTE Z370 i7 8700 16GB DDR4 512GB SSD RX 5700XT 8GB Rampage SHIVA Zalman 600W
- Külföldi csomagszállítás Packeta csomagpontokon keresztül!
- DELL PowerEdge R640 rack szerver - 2xGold 6150 (18c/36t, 2.7/3.7GHz), 512GB RAM,10G, H740p 8GB, áfás
- ASUS 18W USB ADAPTER
Állásajánlatok
Cég: Laptopszaki Kft.
Város: Budapest
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest