Hirdetés

2024. július 27., szombat

Gyorskeresés

Hozzászólások

(#2) Low Noise


Low Noise
senior tag

Ezeket, meg az Nvidia kartyáit hadi ipari fejlesztésekre hasznalják, vagy mi ez a nagy MI veseny es őrület mostanában?

[ Szerkesztve ]

(#3) lezso6 válasza Low Noise (#2) üzenetére


lezso6
HÁZIGAZDA

A "nagy MI verseny" és az "őrület" kifejezései általában a mesterséges intelligencia (MI) területének gyors fejlődésére és a világ különböző részein zajló versengésre utalnak az MI terén. Az MI olyan számítástechnikai terület, amely az emberi intelligenciát utánozó rendszerek és algoritmusok fejlesztésével foglalkozik. Az MI alkalmazásai széles skálán mozognak, beleértve az autonóm járműveket, az egészségügyi diagnosztikát, a pénzügyeket, az oktatást, a robotikát és számos más területet.

Az "őrület" részben az MI technológiák és alkalmazások iránti nagy érdeklődést jelenti, valamint a vállalatok, kutatóintézetek és kormányok versenyét a legújabb és legfejlettebb MI megoldásokért. Ebben a versenyben az országok és vállalatok a vezető szerepre törekednek az MI kutatásban, fejlesztésben és alkalmazásban annak érdekében, hogy előnyhöz jussanak a technológiai versenyben.

A nagy MI verseny mögötti egyik fő dinamika az, hogy az MI képes nagy mennyiségű adatot feldolgozni és tanulni a tapasztalatokból. Az MI alkalmazások széleskörű elfogadása és alkalmazása potenciálisan jelentős gazdasági, társadalmi és technológiai változásokhoz vezethet.

Fontos megjegyezni, hogy a "nagy MI verseny" kifejezése számos kontextusban használható, és a konkrét hírek és események nélkül nem lehet pontosan megmondani, melyik aspektusra vagy eseményre utal a kérdés.

Üdv,
ChatGPT

A RIOS rendkívül felhasználóbarát, csak megválogatja a barátait.

(#4) lezso6 válasza S_x96x_S (#1) üzenetére


lezso6
HÁZIGAZDA

Nem gondoltam volna, hogy az AMD valaha beéri AI számítási kapacitásban az NV-t. Már csak szoftver kell.

A RIOS rendkívül felhasználóbarát, csak megválogatja a barátait.

(#5) KaszkóPalkó válasza lezso6 (#4) üzenetére


KaszkóPalkó
kezdő

Az nvidia nem a H200-nál jár? [link] Évre ha nem évekkel van az amd előtt.

(#6) Jesus_Shaves válasza lezso6 (#3) üzenetére


Jesus_Shaves
aktív tag

Szia! Elérhető valahol adat arról, hogy ennek a szövegnek a legenerálása mennyi CO2 kibocsátással járt? ;]

(#7) lezso6 válasza KaszkóPalkó (#5) üzenetére


lezso6
HÁZIGAZDA

Az kicsit később jön, egyelőre még specifikációit sem hozta nyilvánosságra az NV.

A RIOS rendkívül felhasználóbarát, csak megválogatja a barátait.

(#8) S_x96x_S válasza KaszkóPalkó (#5) üzenetére


S_x96x_S
őstag

> Az nvidia nem a H200-nál jár? [link]

VRAM szempontjából még mindig versenyképes:
H200 : "141 GB of memory at 4.8 terabytes per second,"
MI300X (up to) : "192 GB HBM3 at 5.3 terabytes per second,"

> Évre ha nem évekkel van az amd előtt.

Kb egy időben jelenik meg ( MI300 és a H200 )

NVIDIA:
"""
H200-powered systems from the world’s leading server manufacturers and cloud service providers are expected to begin shipping in the second quarter of 2024.

Availability
The NVIDIA H200 will be available from global system manufacturers and cloud service providers starting in the second quarter of 2024.
"""


De legalább lesz egy kis verseny!
A Verseny jó! :K :R

#4lezso6 > Már csak szoftver kell.
igen ..
de hátha az új (dec.5) https://thealliance.ai/ -is besegít, aminek az AMD-is a tagja:
"The AI Alliance seeks to:
- Build and support open technologies across software, models and tools.
- Enable developers and scientists to understand, experiment, and adopt open technologies.
- Advocate for open innovation with organizational and societal leaders, policy and regulatory bodies, and the public."

https://thealliance.ai/focusareas persze ebben az nVidia nem érdekelt:

Diversified AI Hardware
Foster a vibrant AI hardware accelerator ecosystem.
AI Alliance members will collaborate on the benchmarking, optimization, and adaptation of AI workloads to advance a diverse set of hardware. This work will focus on scalability, platform adaptation, and advanced power, energy, and carbon modeling. Benchmarks and metrics developed for model inference, fine-tuning and energy consumption of large-scale AI workloads will be contributed to the open-source community.

Lisa Su, AMD CEO and Chair: “At AMD, we are committed to advancing technology through collaboration. The history of our industry highlights how open, standards-based development leveraging the capabilities of the entire industry both accelerate innovation and ensure technology advances have the largest positive impact. By embracing open standards and transparency across all aspects of the rapidly developing AI ecosystem, we can help ensure the transformational benefits of responsible AI are broadly available. We are proud to join with other industry leaders as a founding member of the AI Alliance and look forward to working together to ensure the rapid advances in AI are a force for positive change.”

Mottó: "A verseny jó!"

(#9) lezso6 válasza Jesus_Shaves (#6) üzenetére


lezso6
HÁZIGAZDA

Az OpenAI, a szervezet, amely az én modelljeimet, például a GPT-3.5-öt fejlesztette, nem publikálta pontos adatokat arról, hogy egyes modelljeik pontosan mennyi CO2-t bocsátanak ki a kifejlesztésük során. A modellképzés során azonban jelentős számítási erőforrásokat használnak fel, amelyek magukban foglalják a nagy teljesítményű számítógépek működtetését és az adatközpontok energiafelhasználását. Az ilyen nagy erőforrásigényű számítási folyamatok általában járhatnak CO2-kibocsátással.

Az informatikai szektorban az utóbbi években növekedett a tudatosság a fenntarthatóság iránt, és számos vállalat és kutatócsoport törekszik az energiahatékonyság növelésére és az üvegházhatású gázok kibocsátásának csökkentésére. Az OpenAI is elkötelezett a fenntarthatóság iránt, és a jövőben várhatóan folytatja az erőforrások hatékonyabb felhasználására irányuló erőfeszítéseit.

Fontos megjegyezni, hogy a CO2-kibocsátás pontos mérésének kihívásaival és a modellképzési folyamat összetettségével kapcsolatban a pontos adatok megszerzése nem mindig egyszerű.

A RIOS rendkívül felhasználóbarát, csak megválogatja a barátait.

(#10) Low Noise válasza lezso6 (#3) üzenetére


Low Noise
senior tag

Köszi, én azért egy hadi versenyt erzek e mögött, a cikk amit talaltam az a Kínai állam szociális erzékénységeről írt kk, hogy van ingyenes orvos MI, de a második bekezdésben már erezhető volt a hadiipar.

[ Szerkesztve ]

(#11) S_x96x_S válasza Jesus_Shaves (#6) üzenetére


S_x96x_S
őstag

> hogy ennek a szövegnek a legenerálása mennyi CO2 kibocsátással járt? ;]

sokat:

"Google’s use of AI alone could use up as much electricity as a small country — but that’s an unlikely worst-case scenario, a new analysis finds."
https://www.theverge.com/2023/10/10/23911059/ai-climate-impact-google-openai-chatgpt-energy

AI Is Hurting the Climate in a Number of Non-Obvious Ways
https://themarkup.org/news/2023/07/06/ai-is-hurting-the-climate-in-a-number-of-non-obvious-ways

Carbon Emissions and Large Neural Network Training
https://arxiv.org/abs/2104.10350

Amúgy az egyik összeesküvés elmélet szerint az a Bitcoint időutazók azért terjesztették el, hogy értékes erőforrásokat vonjon el a készülő AGI-tól.

Mottó: "A verseny jó!"

(#12) racskobalazs


racskobalazs
senior tag

@S_x96x_S: Mindig van valami ilyesmi. Eddig a virtuális pénz bányászata tette tönkre a világot, evett meg városnyi energiát magában, meg az élővilágot pl a tómelegítős bitcoin bánya:
Bitcoin Mining Makes Seneca Lake 'Feel Like Hot Tub' (businessinsider.com)
Most meg az AI használata... SZVSZ ez még mindig jobb/hasznosabb mint ugyanezen hatásokkal virtuális pénzt bányászni...

@Low Noise: Ha belegondolunk, elég sok mai mindennapokban használt technológia volt először katonai célú.. Ha azt vesszük az Internet is, GPS, mobiltelefon stb... Úgyhogy teljesen valid és lehetséges, hogy először ezt is hadiparban fogják tovább fejleszteni (sőt valószínű a katonaságnak már most sokkal szofisztikáltabb dolga van mint amit a publikus közösség lát).

[ Szerkesztve ]

Az elmélet az, amikor mindenki tudja, de semmi sem működik. A gyakorlat az amikor minden működik, de senki se tudja miért. Az informatika az, amikor semmi nem működik és senki se tudja miért.

(#13) S_x96x_S válasza KaszkóPalkó (#5) üzenetére


S_x96x_S
őstag

> Az nvidia nem a H200-nál jár?

Az AMD-nek talán jobban integrált APU megoldása van
( egységes memória , infinity fabric, ... )
és ha az XDNA-t is be tudja integrálni,
akkor bizonyos feladatoknál kifejezetten erős versenytársa lesz az nVidiának.

""""
While it may be tempting to draw comparisons between that chip, now called the GH200, to AMD's MI300A, there are a couple of notable differences worth pointing out.

The way the two chips CPUs and GPUs are interconnected is very different.
Rather than the silicon-to-silicon die stacking we see on the MI300-series parts, Nvidia's GH200 uses its 900GB/s NVLink-C2C interconnect to bridge the two chips. While NVLink is fast, it's not even close to the TB/s of bandwidth AMD is pushing through its dies on MI300. With that said, for off-package communications, NVLink is still a hair faster at 900 GB/s vs the 896GB/s enabled by the MI300-series parts.

Another key difference relates to memory domains. Nvidia's GH200 uses DRAM for the CPU and HBM for the GPU. This provides the advantage of capacity, data still has to be copied from one to the other before it can be processed. The MI300A, on the other hand, shares its memory between the CPU and GPU seamlessly. Both processors can read, write, and operate on the same pool of HBM eliminating the need for costly copy operations.

The cost of this approach, as we've already explored, is complexity. MI300 is without a doubt a more complicated chip, at least in terms of packaging. Nvidia's GH200 is simpler, but potentially less efficient when it comes to data movement. Which approach is inherently better isn't clear, and will likely depend on the situation the hardware is used for.
Looking at the broader GPU and AI accelerator market MI300X will have to compete with Nvidia's recently announced H200 GPU, which offers higher memory bandwidth than the H100 thanks to the shift to faster HBM3e kit. According to Nvidia's roadmap, that chip is really a placeholder for Nvidia's next generation B100 coming out in 2024.

The MI300X will also compete with Intel's long-awaited Gaudi 3 AI accelerator in 2024. While details are thin, Intel claims it will deliver a 4x improvement in brain float 16 performance and 50 percent increase in memory capacity and bandwidth.
"""
https://www.theregister.com/2023/12/06/amd_mi300_gpu/

Mottó: "A verseny jó!"

(#14) S_x96x_S


S_x96x_S
őstag

linkek:

1.) AMD CDNA 3 White paper ( created: 2023-dec-5 ; PDF 27 oldal )
https://www.amd.com/content/dam/amd/en/documents/instinct-tech-docs/white-papers/amd-cdna-3-white-paper.pdf

2.) PDF: Programming the AMD Instinct MI300 APU Or everything you wanted to know about APU programming but were afraid to ask", Nicholas Malaya, AMD, ESPM2 2023 (SC23), Nov 13 : PublicSC23ESPM2ProgrammingAMDInstinctMI300A.pdf

3.) https://ryzenai.docs.amd.com/en/latest/
Release Information - Version 1.0 : https://ryzenai.docs.amd.com/en/latest/relnotes.html

Mottó: "A verseny jó!"

(#15) Bici


Bici
félisten

Ezek ag OAM tokozású gyorsítók belerakhatók asztali pci-e lapba valamilyen átalakítóval?
(ha már a kommunikáció pci-e szabványú)

Eladó régi hardverek: https://hardverapro.hu/apro/sok_regi_kutyu/friss.html

(#16) S_x96x_S válasza Bici (#15) üzenetére


S_x96x_S
őstag

> OAM tokozású gyorsítók belerakhatók asztali pci-e lapba

ITX ;] ?

De amúgy szerintem az integrátor partnerek
csinálnak majd WorkStation-ön modelleket is, gurulós szekrény formájában ..

-----------

Elméletileg ( fél évvel ezelőtti pletyka )
talán lesz MI300P -is ( 64GB ), ami PCIe -s verzió is
De ez CDNA3, vagyis nem ideális Gaming-re.

JUN 12, 2023:
https://www.semianalysis.com/p/amd-mi300-taming-the-hype-ai-performance
"MI300P is like a half sized MI300X. It is one that can come in at a lower power in PCIe cards. This again requires host CPUs. This would be the easiest one to get to start developing with, although we think that’s more of a 2024 release."

Mottó: "A verseny jó!"

(#17) Bici válasza S_x96x_S (#16) üzenetére


Bici
félisten

Kössz!

3D render terén ezek vajon hogy szerepelnek?
Amióta mindenki AI-ról beszél, a hagyományos feladatok már nem nyernek publicitást.
Az RDNA3 karik csúnyán elmaradnak ilyen téren az nV-től, ezért jött a cdna-s ötlet.

Eladó régi hardverek: https://hardverapro.hu/apro/sok_regi_kutyu/friss.html

(#18) S_x96x_S


S_x96x_S
őstag

AMD MI300 Performance - Faster Than H100, But How Much?
MI400 Broadcom + AMD Anti-Nvidia Alliance Coming With UEC and Open XGMI
( A paywall -os cikk első fele - elérhető , pár információ van benne .. )
https://www.semianalysis.com/p/amd-mi300-performance-faster-than

------------
és egy videó a ROCm-ről.
... In this session learn more about the AMD ROCm software stack
Building Powerful Cloud Systems for AI with Open Source Software | BRKFP301H
Microsoft Ignite videó: 2023Nov16:
https://www.youtube.com/watch?v=7jqZBTduhAQ&t=72s

Mottó: "A verseny jó!"

(#19) Bici válasza S_x96x_S (#18) üzenetére


Bici
félisten

:R

Még valami felötlött bennem.
Olvasom, hogy a CCD-k és az XCD-k összeköttetése memóriakoherens.

Ez ugyanazt jelenti, mint anno a Kaverinél bevezetett "közös címtér"?

Talán kicsit off, de a Zen óta megjelent APU-k esetén megmaradt ez a közös címtér?

Kössz! :R

[ Szerkesztve ]

Eladó régi hardverek: https://hardverapro.hu/apro/sok_regi_kutyu/friss.html

(#20) Busterftw válasza S_x96x_S (#8) üzenetére


Busterftw
veterán

"> Évre ha nem évekkel van az amd előtt."

Úgy érti a versenyben, komplett csomaggal a piacon, az AMD előtt.
Nem pedig megjelenési dátummal.

(#21) S_x96x_S válasza Busterftw (#20) üzenetére


S_x96x_S
őstag

> Úgy érti a versenyben, komplett csomaggal a piacon, az AMD előtt.

(szerintem)
Az AMD MI300 -as bejelentés lényege, hogy
most már van reális alternatívája az nVidiának - AI terén.
Mert eddig komoly kihívója nem volt.
És emiatt verseny se volt.
És az erős verseny - szükséges feltétele a piacbarát áraknak. :R

Természetesen az AMD MI300 ajánlatának vannak gyengéi és erősségei,
és mivel ez nem a consumer piac és nem is olcsó ..
eleve csak alapos megfontolások után rendelnek ilyen kütyü-parkot,
és nagyjából tudják mivel kezdenek ki.

Pesze aki konzervatív vagy kisebb a fejlesztői erőforrása - de van pénze
az marad a jól bevált nVidia megoldásoknál - és kifizeti a felárat, ami ezzel jár.
Vagyis a reális alternatívát így kell érteni ..
Például a Linux is "reális alternatívája" a Windows-nak, főleg ha hiszel a nyilt fejlesztői modellben de az is biztos, hogy nem mindenkinek ideális.

Most AI aranyláz van, és túlkereslet ..
és ilyenkor az alapján kell dönteni, ami elérhető.

(spekuláció)
Az (Ár) + (Elérhetőség) + (Alternativa megteremtése) miatt
lehet, hogy a piac közel ~ 2/3 erőteljesen el fog gondolkodni az MI300-on.
és talán a jövőben(2-5 éves időtáv)
a piac 1/3 -a az AMD megoldása mellett dönt,
ami akkor már az MI400, MI500 lehet - sokkal kiforrottabb szoftveres ökoszisztémával.

Mottó: "A verseny jó!"

(#22) S_x96x_S válasza Bici (#19) üzenetére


S_x96x_S
őstag

> Olvasom, hogy a CCD-k és az XCD-k összeköttetése memóriakoherens.

Ez már egy továbbfejlesztett - Unified Memory megoldás

Mottó: "A verseny jó!"

(#23) Busterftw válasza S_x96x_S (#21) üzenetére


Busterftw
veterán

Jó hát azt majd meglátjuk és a piac is, hogy mennyire reális alternatíva. Számokat durrogtatni slide-okon eddig is ment az AMD-nak.

(#24) S_x96x_S válasza Busterftw (#23) üzenetére


S_x96x_S
őstag

> Számokat durrogtatni slide-okon eddig is ment az AMD-nak.

A partnerek közül sokan a nevüket és az arcukat adták az eseményhez.
- Lenovo, Supermicro, Dell, Meta, Microsoft, OpenAI, Oracle, HPE, ...
És mivel az EPYC és a HPC terén az AMD elég komoly teljesítményt letett ..
sokan bíznak abban, hogy az MI300 is sikeres lesz.
A piac ki van éhezve az nVidia alternatívára és kedvezőbb árért elnézik hogyha pár területen még nem teljesen tökéletes.

Másképpen:
Ha arra hegyezzük ki, hogy az nVidia piacvezetőként kényelmesen hátradölhet-e,
( mert egyesek szerint :"majd meglátjuk és a piac is, hogy mennyire reális alternatíva. Számokat durrogtatni slide-okon eddig is ment az AMD-nak." )
Akkor az én válaszom, hogy NEM.

Mottó: "A verseny jó!"

(#25) Busterftw válasza S_x96x_S (#24) üzenetére


Busterftw
veterán

"A partnerek közül sokan a nevüket és az arcukat adták az eseményhez."
Ami ugye nem jelent semmit. De visszamehetsz akar MI60-hoz is.

Az Nvidia nem arrol hires, hogy kenyelmesen hatradol. Ezert vannak ott ahol, es nem catch-upot jatszanak.

(#26) S_x96x_S válasza Busterftw (#25) üzenetére


S_x96x_S
őstag

> Ami ugye nem jelent semmit.

Valószínüleg mást értünk a "semmi" alatt;
Mert a semminél azért többet

és már most vannak megfogható dolgok ..
pl. A befektetők a hírekre az AMD részvény árfolyamát
+9.89% -al megtolták ( +11.55 (9.89%) today )
Eközben az nVidia-t csak +2.4%. -al ; az Intel : +2.13%

Mottó: "A verseny jó!"

(#27) Busterftw válasza S_x96x_S (#26) üzenetére


Busterftw
veterán

Az Nvidia/Intel ma milyen gyorsitokat mutatott be?
Illetve a részvény emelkedés miképpen javítja a MI300-t, mint reális alternatívát a piacon?

[ Szerkesztve ]

(#28) S_x96x_S válasza Busterftw (#27) üzenetére


S_x96x_S
őstag

> Az Nvidia/Intel ma milyen gyorsitokat mutatott be?

ezt arra fel irtam, mikor elkezdted bizonygatni, hogy >> "Ami ugye nem jelent semmit."

Az AI bejelentés + a partnerek kiállása és jelzése, hogy használni fogják az AMD AI megoldását, egy konkrét és megfogható üzenet, aminek van súlya.
Legalábbis olyan szinten, hogy a befektetői elvárások reménykeltőek lettek
és sokan tőkével is beszálltak az AMD-be.

> Illetve a részvény emelkedés miképpen javítja a MI300-t,
> mint reális alternatívát a piacon?

Nem fordítva ?
a reális alternatíva ténye/reménye/várakozása/lehetősége emelte meg a részvényárakat.
Vagyis hogy az AMD -nek sikerül kiharapnia egy jelentős szeletet az AI piaci tortából.

Mert a kulcs szereplők beálltak az AMD mögé (is)
és jelezték,hogy használni fogják az AMD AI megoldását (is).
És az újságírók ez alapján kikürtölték, hogy az AMD AI chip --> nVidia Alternativa !

CNBC: Meta and Microsoft say they will buy AMD’s new AI chip as an alternative to Nvidia’s
"Meta, OpenAI, and Microsoft said they will use AMD’s newest AI chip, the Instinct MI300X — a sign that tech companies want alternatives to the expensive Nvidia graphics processors that have been essential for artificial intelligence."

Mottó: "A verseny jó!"

(#29) Busterftw válasza S_x96x_S (#28) üzenetére


Busterftw
veterán

Én meg azért kérdeztem, mert témát váltottál.

A nagy neveket hoztad fel a slide-okon, én meg hoztam példát, hogy nagy nevek voltak már az MI60 slide-okon is, aztán látjuk mennyit ért el valójában az AMD a piacon.
Remélem így már érthetőbb a mit akartam mondani.

A te válaszod ehelyett kb az volt, hogy az AMD felvett 10 új alkalmazottat, lám-lám a gyorsítók piacán elért eredmények több mint a semmi.

"Mert a kulcs szereplők beálltak az AMD mögé"
Lásd fentebb.

"Vagyis hogy az AMD -nek sikerül kiharapnia egy jelentős szeletet az AI piaci tortából."
Ezt milyen market share adatokra alapozod?
És mit jelent a jelentős?

"És az újságírók ez alapján kikürtölték, hogy az AMD AI chip --> nVidia Alternativa !"
Nézd vissza az MI60 eventet, ott is voltak pontosan ugyanezek a media/customer commentek, hogy "toe-to-toe with Tesla" ésatöbbi. Aztán látjuk, hogy mire mentek a kommentek.

(#30) S_x96x_S válasza Busterftw (#29) üzenetére


S_x96x_S
őstag

> A nagy neveket hoztad fel a slide-okon, én meg hoztam példát,

Én azt hittem,
- hogy láttad az eseményt ( videót ),
- olvastad a híreket
és az alapján kommentálsz.

Amúgy érdemes megnézni az eredeti AMD videót,
vagy legalább átfutni az Anandtech live blog közvetitését - képekkel ..
https://www.anandtech.com/show/21181/the-amd-advancing-ai-live-blog-starts-at-10am-pt1800-utc

:R

Mottó: "A verseny jó!"

(#31) sb válasza Busterftw (#29) üzenetére


sb
veterán

Már nem azért, de ettől még nettó kötekedésnek tűnik amiket írtál.
Ilyen alapon az sem jelent semmit, hogy ha X gennel ezelőtt nem lett semmi a tervekből. Most simán lehet... és bár én csak fél szemmel olvasom a híreket, nem úgy néz ki mintha ne hype, óriási kereslet és viszonylagos hw-hiány - legalábbis átmeneti, mikor várni kell rájuk - lenne most ezen a piacon.

Ez pedig nem arra mutat, hogy ha itt egy úgy tűnik potens új hw és mellé gőzerővel haladó sw fejlesztés is, akkor a piacnak ne lenne érdeke az AMD felé is nyitni.

Kb. annyira logikus ezzel párhuzamba állítani egy X évvel ezelőtti szituációt mint megfordítani a részvényár-hw teljesítmény okozatot. Az volt a legviccesebb.

@S_x96x_S
Néztem a perf grafikonokat én is, nem tűnt annyira bizalomgerjesztőnek elsőre de nyilván csak a H100-hoz képest lehet nézni jelenleg. Azt is írták valahol, hogy sw oldalon ugyan nagyokat ugrálnak előre de még mindig gyengébb a hatékonyság a nyers perf-hez képest. A fentiek alapján viszont ahol a játékos gpu-k helyett is gyorsítókat gyártó nv-re várnak a vevők szvsz a szintre hozás is igen jó. Itt meg azért vannak már valós mérések is a yners számok mellett ahol lenyomta a H100-at.

H200/GH200 vonalon pedig már korábban pedzegettem, hogy talán nem volt véletlen nyáron a HBMe-re váltás. Kísértetiesen az MI300-hoz hasonló sávszélességre és ami még lényeg trainingnél, kapacitásra ugrottak jóval kisebbről.

Szummázva: nem tűnik rosszan, jók a számok, előjelek. A piac meg olyannak tűnik ahol epekedve várnak bármilyen alternatívát.

Egy dolog árnyalhatja airől viszont semmi érdemi infót nem láttam csak 1-2 cikket, hogy az MS és pl. az Amazon is saját gyorsítókat fejleszt. Mondjuk a jelenlegi állapotot látva ez még nem biztos, hogy jelent bármit.

(#32) Abu85


Abu85
HÁZIGAZDA

Igazából itt két termékről van szó. Az MI300X az nem rossz, de annyira nem is jó. Tipikus egál szituáció. Viszont akkora a megrendelés az AI-ra, hogy így is el fogják adni az összeset.

Az MI300A viszont masszívan jobb a GH200-nál. Pont ott jelentős az előnye, ahol a GH200-nak problémája van, a lapkák összeköttetésénél. Ez azért gond, mert nehéz lesz meggyőzni a cégeket, hogy írjanak át mindent ARM-ra, ha az MI300A-n meg minden fut on-the-fly, és még jóval gyorsabban is. Pedig a GH200 pont ezért született meg. Egy nulladik generációs termék, hogy meggyőzze a váltásról a piacot, de úgy nem fogja, hogy van nála gyorsabb x86/AMD64 alapokon.

Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.

(#33) S_x96x_S válasza sb (#31) üzenetére


S_x96x_S
őstag

> Szummázva: nem tűnik rosszan, jók a számok, előjelek.

Az XDNA ( FPGA, AIE ) be-integrálása lesz még érdekes.
És kiváncsi leszek, hogy a Chipsetes(legós) fejlesztés, meglátszik-e majd a gyors iterációban ..

> Egy dolog árnyalhatja airől viszont semmi érdemi infót nem láttam
> csak 1-2 cikket, hogy az MS és pl. az Amazon is saját gyorsítókat fejleszt.

Szerintem mindegyik nagy Cloud -nak kell olcsó+saját AI megoldás is ..
--> mert a Google-nek már van, sőt .. az 5. verzió ..
December 7, 2023: Google TPU v5p AI Chip Launches Alongside Gemini
Az AMD és az nVidia szempontjából az a kérdés,
hogy ezek a cégek árulják-e másnak, vagy csak bérelni lehet.
Egyenlőre szerintem az utóbbi jellemző.

Ami viszont érdekes, hogy egyik Cloud -os cég (MS, AWS, Google)
se tagja az új https://thealliance.ai -nak ,
pedig saját AI chipet fejlesztenek ..
Én azt feltételezem, hogy nem akarják (ezzel is) provokálni az nVidiát ..
A gazdasági élet kényes egyensúlyra és kompromisszumokra épül
és felesleges konfliktus nem igazán racionális itt ..
Szerintem később valami külső tagként csatlakoznak.

[ Szerkesztve ]

Mottó: "A verseny jó!"

(#34) ddekany


ddekany
veterán

Egy nagy kérdés ez lesz, hogy a PyTorch modellek jobbára "maguktól" hatékonyan futnak-e már, vagy még mindig szívás nVidia-hoz képest. Azaz, a szoftver rész jó-e már.

[ Szerkesztve ]

(#35) S_x96x_S válasza ddekany (#34) üzenetére


S_x96x_S
őstag

> a PyTorch

igéret van rá ( ROCm 6 )

Persze a PyTorch + AMD ROCm 5.7 is relative elég friss hír ..
October 31, 2023 : https://pytorch.org/blog/amd-extends-support-for-pt-ml/

Amúgy a "PyTorch on ROCm" projek tlistája elég komoly.
https://github.com/orgs/pytorch/projects/38

Mottó: "A verseny jó!"

(#36) sb válasza S_x96x_S (#33) üzenetére


sb
veterán

Az XDNA ( FPGA, AIE ) be-integrálása lesz még érdekes.
És kiváncsi leszek, hogy a Chipsetes(legós) fejlesztés, meglátszik-e majd a gyors iterációban ..
+1

Szerintem mindegyik nagy Cloud -nak kell olcsó+saját AI megoldás is ..--> mert a Google-nek már van, sőt .. az 5. verzió ..
Őket azért nem írtam mert régebbi a sztori. Nekem az említettek voltak újak az utóbbi 1-2 hónap cikkeiből. Az MS főként érdekes volt mert elég erősnek tűnt az AMD-s kooperáció, AI-n kívül is és itt is több az összefonódás.

Ami nekem fura, hogy annyira nem egyszerű ezt házon belül összerakni szvsz, majd még gyártatni is nagyobb mennyiségben. Kicsit erőltetett megoldásnak tűnik a szolgáltatók felől. Mintha az elérhetőség miatt (gyártó=nv és mennyiségi alapon is) próbálnának függetlenedni. Oké, hogy saját+olcsóbb, de megoldani nem kis feladat. Ha elő tudná húzni bárki más a kalapból rövid időn belül az AMD-n kívül akkor nem itt tartanánk, hogy az NV-nél állnak sorban, pk pedig a profitot sem győzik számolni.
Aztán lehet, hogy totál hülyeség és csak én látom bele.

(#37) ddekany válasza sb (#36) üzenetére


ddekany
veterán

Talán félnek, hogy amikor nagyon fontossá válik nekik az AI, akkor elkezd nagyon vastagon fogni az nVidia ceruzája, mert hiszen ki vannak szolgáltatva neki. AMD persze most bekavarhat. De még úgy is csak 2 szereplő, aztán még összekacsintanak...

(#38) sb válasza ddekany (#37) üzenetére


sb
veterán

Nyilván nem akarnak rossz helyzetbe kerülni. Az NV profitján most is látszik, hogy azt írnak rá az árcédulára amit akarnak.
És van itt egy nagyobb félelem is most szvsz... ha teljesen kimarad/lemarad valaki az AI versenyben attól talán még jobban tartanak, mintha drága lenne hw beszerzés.

Viszont saját megoldást építeni azt meg inkább hosszú távra látnám megoldásnak. Most hirtelen nem lemaradni, erre talán kevésbé jó megoldás.

[ Szerkesztve ]

(#39) Busterftw válasza S_x96x_S (#30) üzenetére


Busterftw
veterán

Láttam a videót, ennek mi köze bármihez is?

Te azt próbáltad érvként felhozni, hogy a videón megjelenő nevek sokat jelentenek.
Én meg hoztam konkrét példát (kettőt is), hogy ott is voltak nevek a slide-okon. Ha ismered a híreket és a piaci viszonyokat gyorsítók piacán, akkor láthatod, hogy sokat nem értek.

Aztán erre azzal jöttél, hogy mennyit ugrott a részvény, bezzeg mennyit az Intel/Nvidia, miközben ott nem is volt gyorsító launch.

Aztán utána elkönyvelted az AMD (mi300) sikerét és hogy mennyit harap ki az AI piacból, miközben még piacon sincs kb a termék, kb nincs teszt és nincs market share adat.

Szerintem teljesen világos, hogy mi a gond a whisfulthinkingjósgömb logikáddal.

(#40) S_x96x_S válasza Busterftw (#39) üzenetére


S_x96x_S
őstag

> Aztán utána elkönyvelted az AMD (mi300) sikerét és hogy mennyit harap ki az AI piacból, > miközben még piacon sincs kb a termék, kb nincs teszt és nincs market share adat.

????
Nem a sikerét könyveltem el, ( mint biztos esemény a valószinűségszámítás szerint )
hanem a siker lehetőségének adtam 0-nál nagyobb esélyt!
Persze nem biztos, hogy sikerült érzékeltetni a finomságokat
.. és az eltérést a bináris gondolkodástól.

És akkor pontosan fogalmazzuk át:

Én: "A partnerek közül sokan a nevüket és az arcukat adták az eseményhez."
Te: Ami ugye nem jelent semmit

vagyis neked nem jelentett semmit, és ez normális ..
de sokaknak igen .. ( lásd befektetők, fejlesztők, újságirók, bloggolók, stb . )
és ezekre hoztam példát is, és az is normális ..

és ezzel rövidre zárhatjuk a vitát ..
nem kell mindenben mindenkivel egyetérteni ..
és ebben akkor nem értünk egyet ..
:R

Mottó: "A verseny jó!"

(#41) S_x96x_S válasza sb (#36) üzenetére


S_x96x_S
őstag

> Oké, hogy saját+olcsóbb, de megoldani nem kis feladat.
> Ha elő tudná húzni bárki más a kalapból rövid időn belül az AMD-n
> kívül akkor nem itt tartanánk,
Szerintem:
Annyira erős a Cloud piacon a verseny, hogy csak egyedi hw-res customizációval lehet versenyelőnyt és valami profitot elérni. Az AWS -ből én ezt a tanulságot szűrtem le.

Amúgy az nVidia/AMD/Intel termékei az általános felhasználást célozza meg
olyan mint a konfekció ..
Ha jó a méret, akkor szerencséd van , egyébként lötyögni fog a megoldás.

És ahogy CPU fronton is igény van a licenszelhető ARM-re ..
talán AI fronton is lesz valami hasonló megoldás.

Mottó: "A verseny jó!"

(#42) Busterftw válasza S_x96x_S (#40) üzenetére


Busterftw
veterán

Én is hoztam példát a MI60-MI200-ról, ott is volt hype, customer video, fejlesztők nyilatkoztak, cikkek stb. Vissza lehet nézni.
Ahogy 2 éve szintén nagyot ugrott a részvény MI200 bejelentéskor.

"vagyis neked nem jelentett semmit"
Nem, a piaci részesedés alapján valójában senkinek.
De ugye azt is kérdeztem tőled, hogy mennyi az a szerinted "jelentős".

[ Szerkesztve ]

(#43) S_x96x_S válasza Busterftw (#42) üzenetére


S_x96x_S
őstag

> Nem, a piaci részesedés alapján valójában senkinek.

Szerintem a véleménykülönbség oka,
hogy másképp nézzük az eseményt.
és mást értünk alatta ..

A "siker"[1] ( befejezett múlt ) és a "siker lehetősége"[2] ( várható jövő )
között szerintem nagyon nagy különbség van.

Én a [2] -s ről beszélek ..

Te amikor mindig a piaci részesedést hozod fel,
akkor jellemzően [1] -est kéred számon rajtam. és [1] fókusszal nézed.

Ami azt is jelenti, hogy te MÁR nem bízol az AMD -ben ..
és meg adok nekik esélyt ..

Mottó: "A verseny jó!"

(#44) lezso6 válasza S_x96x_S (#43) üzenetére


lezso6
HÁZIGAZDA

Egyébként méri egyáltalán valaki az AI-ra kihegyezett chipek market share-jét? :F

A RIOS rendkívül felhasználóbarát, csak megválogatja a barátait.

(#45) Busterftw válasza S_x96x_S (#43) üzenetére


Busterftw
veterán

A siker lehetőségére olyan érveket és példákat hoztál, amik már megvoltak az előző Instict gyorsítók bejelentésekor is.

Csupán ezeket soroltam fel, hogy nincs ebben semmi új, ezek nem garanciák a sikerre, hiszen eddigi tényleges tapasztalat alapján nem volt az. Aztán majd az idő elődönti, csak gondoltam tisztázzuk mielőtt túl belemerülsz a jósgömbbe.

(#46) S_x96x_S válasza Busterftw (#45) üzenetére


S_x96x_S
őstag

> A siker lehetőségére olyan érveket és példákat hoztál,
> amik már megvoltak az előző Instict gyorsítók bejelentésekor is.

Már megint a múlt ...

A "Siker lehetősége" == (valószínűségi) Lehetőség és NEM BIZTOS ESEMÉNY.
ÉS nem Bináris érték
vagyis nem : TRUE vs. FALSE.
És szerintem az biztosan kijelenthető,
hogy a SIKER Lehetősége > 0.00 % ebben az esetben.

És az is biztos, hogy a siker esélye több mint az MI60-MI200 esetén:
- Az AMD sok tapasztalatot szerzett a korábbi termékekkel
- és végre a Szoftverre is sokkal több figyelmet szán, mert kezd rájönni, hogy szoftvertámogatás nélkül nem megy.

Ezen kivül az AMD is kezd bízni a sikerben
mert berendelt hatalmas nagy kapacitást a TSMC-től.
Valószínüleg a kapacitás negyedére már van megrendelése is.
DigitTimes: AMD to ship up to 400,000 new AI GPUs in 2024, say sources

Egyes sajtó úgy kommentálja az egészet:
AI Chip Market: Nvidia Leads, but New Competitors Emerge

Az AMD-nél már az is siker, hogyha őt komoly tényezőnek tekintik (az nVidia mellett )
és el tudja adni az összes kapacitását amit berendelt a TSMC-től.
Az hogy NvIdia alternativa - nem jelenti azt is hogy piacvezető,
csak azt, hogy már nem csak egy szereplős a piac ..

------------------------------------------------

Valószínűségről:
Ez olyan mint a Tűzijáték esete a meterológusokkal;
valószínűségi százalékban célszerű gondolkodni, de sajnos nem mindenki ért a valószínűségekhez ..

Mérő L:
"A meteorológusok ugyanis azt mondták, hogy augusztus 20-án este a vihar valószínűsége 75-80%. Más szavakkal: a vihar elmaradásának valószínűsége 20-25%."

"Pedig sok esetben valóban ez a helyes válasz. Pontosabban (és itt kapcsolódik a dolog a majdani előadásomhoz) a legszakszerűbb válasz a vihar (vagy az államcsőd, vagy bármi más esemény) előrejelzésére egy tól-ig, hogy hány százalék a dolog valószínűsége. Szerencsés esetben ez a tól-ig lehet 0-0 vagy 100-100, ilyenkor a politikus boldog lehet. De ha nem ez a helyzet, mert a (meteorológiai, gazdasági, hadi stb.) helyzet olyan, hogy ilyen biztosat korrekt szakember nem mondhat, akkor marad a valószínűségi százalék, a tól-ig."

https://telex.hu/velemeny/2022/08/23/dr-mero-laszlo-ha-rossz-dontes-volt-a-tuzijatek-lefujasa-az-a-politikusok-rossz-dontese-volt

Mottó: "A verseny jó!"

(#47) S_x96x_S válasza lezso6 (#44) üzenetére


S_x96x_S
őstag

> Egyébként méri egyáltalán valaki az AI-ra kihegyezett chipek market share-jét? :F

nehéz, definiálni .
- mivel már a legtöbb mobiltelefonban is van NPU szerűség ..
- és a CPU -val is lehet AI feladatokat végezni ( pl. intel AMX utasítás , AVX-512 )
- és GPU-val is ( CDNA )
- ráadásul ott a XILINX is az AIE+FPGA megoldásaival ( XDNA Adaptive Computing Solutions )

piac egyre csak bővül ..
de eddig jellemzően egyszereplős volt a high-end Data Center AI piac - az nVidiával ..
ez bővülhet most az AMD-vel meg talán később az Intellel ..
A long tail -be meg rengeteg futottak még startupból/cégből áll
szerintem több százas a lista ..
de nagy részük a piac egy adott szegmensére specializálódik.
és nem szállítanak általános megoldást ..

---------------

"The AI chip market’s potential for growth is reflected in AMD’s CEO Lisa Su’s prediction of it exceeding $400 billion by the year 2027, signifying an annual growth rate of over 70% in the next four years. This optimism is resonating within the sector, with tech companies like Braze and C3.ai already reporting mixed reactions to their financial outcomes."
( link )

Mottó: "A verseny jó!"

(#48) Busterftw válasza S_x96x_S (#46) üzenetére


Busterftw
veterán

Igen, a mult, mert a mostani lam-lam hype/reszvenynovekedest/"nagy nevek"/cikkek/beszelnek rola semmi uj es mas, hiszen ugyanez volt az tobbi launchkor is.

Eredmenyek nelkul pedig ez nem mas, mint wishfulthinking.

(#49) lezso6 válasza S_x96x_S (#47) üzenetére


lezso6
HÁZIGAZDA

Ha nem tudjuk mennyit adnak el, akkor honnan tudjuk, hogy sikeres-e? :D

A RIOS rendkívül felhasználóbarát, csak megválogatja a barátait.

(#50) Abu85 válasza lezso6 (#49) üzenetére


Abu85
HÁZIGAZDA

Kérdés mit tekintesz sikernek. Amúgy jelenleg az AI GPU-eladásokat az korlátozza, hogy a TSMC mennyit tud gyártani a CoWos dizájnokból. Mert jelenleg konkrétan minden egyes darabot felvásárol a piac. Legyen az NV vagy AMD. Most jelen pillanatban mindenki elad mindent. És valószínűleg a következő két évben is a TSMC kapacitása lesz a limit, nem az, hogy a piacnak kell-e a termék.

Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.

Copyright © 2000-2024 PROHARDVER Informatikai Kft.