Hirdetés

AI rig építés - Milyen PCIe risert válasszak?

ÚJ bejegyzés

Most csak idemásoltam egy privát válaszomat egy 6x RTX 3090 AI rig építése kapcsán, ahol azt érzékeltem, hogy a GPU-k bekötési topológiájának kapcsán még hiányzik némi alaptudás.

Tehát...

Az RTX 3090 PCIe gen 4.0-t támogat.
Mivel az általad választott alaplap csak PCIe 3.0-t támogat, ezért Tensor Parallel AI futtatáshoz (és traininghez is) szükséged lesz lehetőleg mind a 16 PCIe lane-re minden slotban.

Az a riser, amit kinéztél, a 16-ból cak egyetlen 1 sávot köt össze!!
Ez a típus NEM VALÓ AI-hoz, mert x1 PCIe kapcsolatot létesít csak.

Milyen risert használj akkor, ami kihasználja a PCIe sávokat....?

1. szalagkábeles riser - ez létezik x16 és x8 és x4 kivitelben is
Cooler Master Masteraccessory Riser Kábel PCIE 4.0 x16 0, 3m Kábel, Fekete - eMAG.hu

2. slimsas kábeles riser, ami x8 és x16 is lehet (egy slimsas kábel x8-at visz át)

3. riser board

4. PCIe switch - ez egy külön témakör, ebbe most nem megyek bele részletesen, de sokan nem ismerik és nagyon sok olyan szituáció van, amikor EZ A LEGJOBB megoldás

És van még ott, ahonnan ez jött...

Ez pl kombinálhaó a fenti 10 slotos riser boarddal és akkor akár
EGYETLEN x16 PCIe slotra beköthetsz 10db GPU-t is!

A switchek egy külön cikket érdemelnének, mivel pl TP LLM inference esetén általában jobb decode sebességet eredményeznek, mint egy többezer Euros sok slotos sok processzoros szerverbe helyezve.
A varázsszó itt a latency és nem is feltétlen a sávszél. És ebben a switchek SOKKAL jobbak a natív PCIe sávoknál!

Ha a P2P DMA-t bekapcsolod a kártyákon, akkor ez azt jelenti, hogy a GPU-k közötti kommunikáció, (ami pl TP inference esetén elsődleges) DIREKTBEN történik a switchen keresztül és nem kolbászol a CPU felé, ahol semmi keresnivalója!

Lehet, hogy folyt köv...

Még van hozzászólás! Tovább