Hirdetés

2024. április 26., péntek

Gyorskeresés

Hozzászólások

(#301) inf3rno válasza #25954560 (#300) üzenetére


inf3rno
nagyúr

Na erre nem is gondoltam, akkor megnézem 9000-el is később az FTP-t.

[ Szerkesztve ]

Buliban hasznos! =]

(#302) #25954560 válasza inf3rno (#301) üzenetére


#25954560
törölt tag

ftp sem hiszem h kulonosen profital belole. inkabb olyan esetben erdekes, mint pl szoftveres NAT, jelentosen tudhat gyorsitani vagy ha nem a halokartya ellenoriz es/vagy szamol pl checksum-ot (tcp cksum, mert ip cksumnal szinte mindegy, az egesz csomagra kell). igy direkt gep-gep kommunikacioban nem hiszem. azert irtam h ez mar csak szorszalhasogatas :)

[ Szerkesztve ]

(#303) inf3rno válasza #25954560 (#302) üzenetére


inf3rno
nagyúr

Hát lesz majd fenn pfsense a szerveren, úgyhogy talán annál számítani fog. Most az a terv, hogy felteszek egy ESXI-t, aztán arra megy egy pfsense vagy OpenBSD+PF a routernek és egy FreeBSD vagy OpenBSD szervernek. Talán még azon felül is lesz más, egyelőre nem tudom. Egyelőre ezt javasolták, hogy legalább a routert és szervert szedjem külön virtualizációval, mert biztonsági szempontból nem az igazi, ha ugyanaz a kettő, meg ha leterhelem a szervert, akkor az túlságosan hatna a routerre is és belassulhat tőle a net. Később majd építek egy külön gépet a routernek, esetleg veszek külön SFP+ switch-et, hogy ne kelljen annyira combos gép neki, még nem döntöttem el, hogy hova tovább, attól függ, hogy mennyire jön be ez a hálózatozás.

[ Szerkesztve ]

Buliban hasznos! =]

(#304) #25954560 válasza inf3rno (#303) üzenetére


#25954560
törölt tag

a negyportos mikrotik nagyon allat :) azt vettem volna, de vegul a 8portos lett :DDD (elszamolhattam home office-ra...)
igen, pfsense-et azert is erdemes kulonszedni h a tipikus forgalomtol es beallitasoktol fuggoen tudj neki eroforrast adni.

[ Szerkesztve ]

(#305) inf3rno válasza #25954560 (#304) üzenetére


inf3rno
nagyúr

Az mennyire igaz, hogy a FreeBSD+PF jóval lassabb, mint az OpenBSD + PF? Valahol olvastam, talán redditen, de sehol máshol nem írják, hogy lenne ilyen gond. Nálam pl van arra is lehetőség, hogy jails-be teszem mindkettőt, az nagyjából olyasmi, mint egy docker container, és akkor kevesebb erőforrás megy el rá, mintha virtualizációval csinálnám. Elvileg be lehet osztani ezzel is jól az erőforrásokat, de nincs tapasztalatom vele. Ami biztos, hogy 4 mag és 8 szál van, és a lehető legtöbbet akarok meghagyni a szerver részének. Ha lehet 1 magból oldanám meg ezt a routing problémát. Amíg csak 0.5 Gbps netem van, addig ez nem szempont. Ahogy nézem egy 10 Gbps netnél sem lesz hatalmas terhelése a routingnak 1500 csomagmérettel, talán még azt is elbírja egy mag.

Ja csak hogy témába is vágjak kicsit, közben sikerült megtákolni a PC-n és a szerveren is a FreeBSD-t, és újra működik minden, úgyhogy majd tudok wrk-t is csinálni. Egyelőre most fontosabb dolgom van szerdáig, de majd utána lesz egy kis időm megint tesztelni. Weboldalnak mit ajánlasz? Valami alap hello world, vagy esetleg nézzem meg egy komolyabbal, hogy mennyire bírja a CPU? Még amin dolgozok az, hogy legyen CUDA is a gépen, aztán tudjak gépi tanulást csinálni itthon egyszerűbb projektekre.

[ Szerkesztve ]

Buliban hasznos! =]

(#306) #25954560 válasza inf3rno (#305) üzenetére


#25954560
törölt tag

nem ismerem az xBSD-ket, sajnalom :N
virtualizacio nem kell h fajjon, csak jol kell felkonfigolni. nalam qemu vm-ekben futnak a tuzfalak es nem igazan lassabbak, mint nativban. (pinelve, izolalva, hugepage-ekkel, pci passthrough-val)

a wkr teszteket ugy szoktuk csinalni, hogy siman beizzitunk egy apacsot v nginx-et (vagy lighttpd-t, ki mit szeret) es dd-vel generalunk pl 64k-s es 1M-s meretu fajlokat. (a tartalmuk szamit, ha van valami tartalombogaraszas utkozben akar a forgalom tipusanak azonositasara vagy rosszindulatu kodok ellenorzesere), de legegyszerubb /dev/zero-bol.
es utana a wrk-val siman ezt a fajlt kered le a webszervertol. ha nincs meg a 10G, akkor kellhet nezegetni a szerver oldalt is, mert az alapbeallitasok nem mindig elegendoek, kell finomhangolni. de az 1M-s fajllal nem kene problemak legyenek.

(#307) inf3rno válasza #25954560 (#306) üzenetére


inf3rno
nagyúr

Ezeknél mennyire számít a háttértár? Jobban járnék, ha létrehoznék valamilyen RAM disket neki a tesztek erejéig, aztán mondjuk 1GB RAM disk, 1000x 1MB-os fájl, és cache nélkül ezt az ezret rántaná le a WRK? Biztos, hogy jó a /dev/zero, nem lenne jobb a /dev/random a tömörítés miatt vagy kapcsoljam le simán a gzip-et a webszerveren, aztán kész?

Buliban hasznos! =]

(#308) #25954560 válasza inf3rno (#307) üzenetére


#25954560
törölt tag

attol fugg mit akarsz tesztelni. a zerot a legkonnyebb tomoriteni, ha engedelyezni akarod, de szerintem nem kell. egyetlen fajl eleg, azt fogja sokszor lekerni a wrk. talan kesselve marad, nem erdemes jatszani ramdisk-kel. ha a webszervert akarod tesztelni, akkor persze maskepp kell, arra vannak komolyabb eszkozok, de ahhoz meg kevesbe ertek.

[ Szerkesztve ]

(#309) inf3rno válasza #25954560 (#308) üzenetére


inf3rno
nagyúr

Hát úgy gondoltam, hogy megnézem úgy, hogy a hálózat mit tud egy nodejs webszerverrel és utána, hogy az SSD mennyiben korlátoz, és mit érnék mondjuk egy M2 kártyával. Bár nem tudom, hogy van e még lane hozzá abban az alaplapban, gyanítom nincsen, de akár még a mostaninál komolyabb SATA3-as SSD is tudna dobni rajta.

Buliban hasznos! =]

(#310) inf3rno válasza #25954560 (#306) üzenetére


inf3rno
nagyúr

Úgy néz ki, hogy nekem is Qemu lesz, mert CUDA is kell. Eddig néztem OpenBSD+VMM, FreeBSD+bhyve, ESXi leírásokat ezzel kapcsolatban, de úgy néz ki, hogy egyikkel sem megoldható, hogy legyen CUDA az egyik virtuális gépen, sőt a BSD-k esetében a GPU passthrough sem valami stabil. Az alternatíva, hogy OpenCL-t használok, de az lassabb, és nincsenek igazán jó gépi tanulós eszközök hozzá, mint pl a Tensorflow. Így az év első felében muszáj, hogy legyen valami gépi tanuláshoz, amin tudok dolgozni. Később ha ez lemegy, akkor esetleg eladom a videokártyát aztán átgondolom az egészet újra.

Nézegettem még az SSD-ket, de nem igazán jutottam előrébb. Ugye az előző lapban volt PCIEv2 x2-nek megfelelő foglalat, és csak 6 Gbps-el ment a Mellanox az elméleti 8 helyett. Ha ebből indulok ki, akkor egy PCIE x1 -> M2 kártyával is csak 6 Gbps-ig jutnék egy NVMe SSD-vel, ami a SATA3 elméleti sebessége, szóval nem nyerek rajta valami sokat. Aztán lehet, hogy lenne az 7 vagy 8 közelében is, ha esetleg olcsón látok ilyen kártyát, akkor kipróbálom. A másik, ami van ezen a lapon az egy SATA Express foglalat, ami elvileg tud 16 Gbps-t is, az már ígéretesebb, csak nem gyártanak hozzá SSD-t. Ahhoz is van SATA Express -> M2 kártya, ami már bonyolultabb, ritka és drága is, és ki tudja mennyire megbízható. Ami még eszembe jutott, hogy RAID-el esetleg meg lehetne növelni az írási és olvasási sebességeket. Igazából csak a szerveren számít ez, és az olvasás fontosabb, mint az írás, úgyhogy majd arra koncentrálok.

[ Szerkesztve ]

Buliban hasznos! =]

(#311) #25954560 válasza inf3rno (#310) üzenetére


#25954560
törölt tag

ez mar nagyon off, de szerintem a 8Gbps az a fizikai savszel ami atfer a gen2 x2-n. ami azt jelenti, hogy a kodolas nincs beleszamolva, tehat nem a hasznos adat tud ennyit. gen2 8b/10b kodolast hasznal, ami azt jelenti durvan h az atvitt 10bitbol 8bit a hasznos adat, tehat az kb 8Gpbs teljes forgalombol 6.4Gbps hasznos adat. na ahhoz mar igencsak kozel voltal.

(#312) inf3rno válasza #25954560 (#311) üzenetére


inf3rno
nagyúr

Köszi! Akkor bepróbálkozok egy ilyen x1-es kártyával, aztán meglátjuk. Van itt elfekvőben egy M2-es SSD, nem tudom mire képes.

Buliban hasznos! =]

(#313) inf3rno


inf3rno
nagyúr

Nincs most valami best buy kártya 2-portos SFP+? Ezt [link] nézegetem, de elég régi lehet az alapján, hogy PCIE 2.0 x16, valszeg nem éri meg. Én inkább PCIE 3.0 x8-ra gondoltam hasonló árban, esetleg egy kicsit olcsóbban, azzal többet lehetne kezdeni.

[ Szerkesztve ]

Buliban hasznos! =]

(#314) jerry311 válasza inf3rno (#313) üzenetére


jerry311
nagyúr

Igazából bármi, amihez van driver, és nem a magyar használtpiacon akarod beszerezni arany áron.

(#315) inf3rno válasza jerry311 (#314) üzenetére


inf3rno
nagyúr

Hát HP-t biztosan nem vennék. Lehet, hogy 2 portos helyett veszek megint 2 Mellanoxot. Úgyis most megint uATX vagy ITX alaplapot nézek bifurkációval. Sajnos olcsóbbak nem lettek, de akkor is jobb lenne, mint ATX alapon megoldani.

Buliban hasznos! =]

(#316) inf3rno


inf3rno
nagyúr

PCIE bifurkáció szempontjából eddig azt hittem, hogy csak Z,X, esetleg C chipsetek támogatják. Most nézem, hogy B550-es lapokon is már elérhető. Nem tudom még milyen chipsetek vannak vele, de pl egy Gigabyte B550M DS3H már megfizethető áru lap, van rajta 2x16 slot, támogatja a 4x4 bifurkációt, szóval legalább 4db Mellanox kártyát bele tudok tenni. Nem tudom a második x16 hány lane-t támogat rajta. Mindenesetre most ez tűnik a jó iránynak a két portos kártyák helyett. Jobban örülnék egy mITX lapnak, de dupla ennyibe kerül, és talán az uATX is elég kompakt egy ilyen router gépnek. A keret is megvan rá azt hiszem, úgyhogy még egy kicsit nézelődök lapok terén, és lassan elkezdem az építését. Olyan 100-150k között remélem, hogy megúszom. Kezdésnek csak két SFP+ kártyát teszek bele, plusz egy 2 portosat az AP-knek. Később majd bővítem tovább. A ház és táp lesz érdekes, abból jó lenne kifogni valami olcsó minőségit, illetve remélhetőleg meg tudom oldani, hogy a router és a szerver egy UPS-ről menjen. Valszeg az lesz majd, hogy a router szól a szervernek a hálózaton, hogy kapcsoljon ki, mert elment az áram.

Buliban hasznos! =]

(#317) inf3rno


inf3rno
nagyúr

Ezen láttok valami nyilvánvaló buktatót? [link] Alin lehet kapni 30k-ért [link], és egy ilyennel meg tudnám oldani kis méretben bifurkáció nélkül ami most nekem kell. Néztem még vannak olcsón Intel chipes kártyák is, szintén valami noname, de ebben egy fokkal jobban bízom. Kinézetre nagyon hasonló, mint a két MCX311A, amit vettem, szóval akár még el is hiszem, hogy működik, csak review nem nagyon van róla.

[ Szerkesztve ]

Buliban hasznos! =]

(#318) inf3rno


inf3rno
nagyúr

Ami még érdekel, hogy ez az M2 -> PCIE x4 konverzió tényleg lehetséges e? [link]

Ha igen, akkor megint bővül a használható ITX alaplapok száma, mert akkor M2 foglalatos bifurkáció nélküli lapokba is tudnék plusz egy x4 kártyát tenni, még ha gagyi a chipset A320, H310 akkor is, pl [link] [link] Alapvetően az a cél, hogy legyen 3 SFP+ portom, egy megy a PC-be, egy a szerverbe egy pedig a modemből bejövőt kapja majd, ha 1 Gbps feletti lesz a netem, de lehet a szerver Mellanox kártyáját kicserélem egy olyanra, ami WOL-t támogat, és az kerül bele már most. Ha nem működik ez az M2 -> PCIE konverzió, akkor viszont ITX alapon a B450 a legolcsóbb [link], ami már tud 2x8-at riser kártyával. Ha viszont nem találok olcsó és jó dual portos kártyát, akkor inkább teszek bele 3db 1-portos Mellanoxot, és akkor viszont már kell a 4x4 bifurkáció vagy 1x8+2x4 valahogyan és ott már csak az uATX lapok jöhetnek szóba az olcsók közül. Szóval még egyelőre nem tiszta, hogy mi lesz, de viszonylag kompakt lesz, és a lehető legkevesebbet akarok költeni rá s1151 vagy AM4 alapon, és inkább az utóbbi lesz valszeg.

Buliban hasznos! =]

(#319) inf3rno


inf3rno
nagyúr

Még a Chelsio T440, ami nagyon érdekes, 4-portos SFP+ kártya, 30k körüli áron lehet kapni néhol, és ha működik, akkor mindent elvisz, ami nekem kell a megfelelő transcieverekkel, és nem kell egy második vagy egy harmadik kártya hozzá. Az egyedüli baja, hogy hazudnak, mert PCIE gen2-ről van szó, és x8-as a kártya. Na most a gen2-nél x1-en 4 Gbps mehet csak, x8-on tehát maximum 8*4 = 32 Gbps utazhat egyszerre, és akkor már a technológia határait feszegetjük, a tényleges valszeg kisebb lesz ennél. Szóval ez inkább olyan 5 Gbps-re jó kártya, ha sok adat megy át egyszerre párhuzamosan. Jónak attól még jó lehet arra, amire nekem kell, mert a jelenlegi felállásban maximum 25 menne át rajta, szóval ha el tudja osztani, és egy porton tényleg tud 10 Gbps-t, akkor ez is egy jó kártya. Még utána olvasok, hátha valaki le is mérte, hogy mit tud.

Buliban hasznos! =]

(#320) #25954560 válasza inf3rno (#319) üzenetére


#25954560
törölt tag

nem hazudnak :) a doksija is irja h 32Gbps a host fele.
tobb esetben is van ertelme ennek a fajta 'oversubscribe'-nak:
- legtobb esetben nem fog mind a negy port maxon porogni
- sokfele hardveres offload lehet, amikor kihasznalhato nagyobb savszel (pl mcast)
- a pcie x8 gen2 az full duplex (pontosabban dual simplex) 32Gbps, valos forgalomban tipikusan az egyik irany a nagyobb savszel-igenyu (pl letolteskor felfele csak az ack-ok mennek, keves es pici csomag), tehat ha pl ket lukon 10-10G letoltes megy, a masik ketton meg 10-10 feltoltes, akkor is megoldja a kartya.

(#321) inf3rno válasza #25954560 (#320) üzenetére


inf3rno
nagyúr

Szóval akkor mindkét irányba tudja a PCIE a 32 Gbps-t egyszerre? Az jó, mert az nekem bőven elég. Hát elgondolkodtató, hogy rövidre zárjam e vele a témát, de alapos vagyok, úgyhogy inkább körbejárom döntés előtt rendesen. Nézegettem közben vagy ezer lapot meg hogy melyik mit tud, de még nem értem a végére. Ami szinte biztos, hogy bifurcation riserrel nekem nem éri meg, mert 20-30k többlet kiadás lenne egy olyan kártya és a sallangok, akkor meg már inkább veszek egy komolyabb uATX lapot 2x16-al és egy picit nagyobb mérettel. A 3x4 persze így sem jönne össze, de nem ragaszkodom annyira az 1 portos Mellanoxhoz, jó a dual vagy a quad is, ha van belőle hasonló árban és minőségben. Ha a QSFP+ kompatibilis lenne, akkor már találtam volna. :-)

Erről az M2 -> PCIE átalakítóról te hallottál már? Elvileg amit fentebb linkeltem apróról, abból a fajtából a fele selejt és volt, aki leégetett vele Z chipsetes lapot, úgyhogy rendesen megszívta. [link] De van 4k körül már egész jónak kinéző is ilyenből: [link] Ez már egész elfogadhatónak tűnik. A dolog buktatója mégis az lehet, hogy működik e simán M2 PCIE x4 mode-ba rakva, vagy ehhez valami speciális mode-kel. Amit eddig láttam, hogy a lapok egy része x2-t támogat vagy x4 gen2-t, és csak az egy fokkal jobbak x4-et, de azok közül is csak egynél láttam amit említettek, hogy "PCIE x4 only mode", és az a még annál is drágább kategória...

[ Szerkesztve ]

Buliban hasznos! =]

(#322) #25954560 válasza inf3rno (#321) üzenetére


#25954560
törölt tag

meg videokartyat is szoktak hajtani ilyesmin keresztul :) nekem is van egy a fiokban, de javasolni nem tudok konkret tipust, az enyem is adt-link.
az alaplap leirasaban benne van h hany pcie savot hasznal az m.2, annyit tudsz kivezetni te is.
tobb alaplap tud fogadni sata es nvme m.2-t, a pcie x4 only sztem csak annyit jelent h ott mar nincs sata tamogatas. nyilvan sata only lapot ne vegyel erre a celra.

(#323) inf3rno válasza #25954560 (#322) üzenetére


inf3rno
nagyúr

Csak az érdekelne, hogy a "PCIE x4 mode" vajon azonos a "PCIE x4 only mode"-al, mert valaki írta amazonon, hogy az kell.

Na mindjárt kikeresem:
"Now if you are getting something like this there are 2 things to keep in mind , 1.- Your m.2 slots has to be NVME PCIEx4, 2.- Bios options to switch from NVME SSD to PCIE only, otherwise this converted won't work."

Azt hiszem azonos lehet a kettő, és gyártó függő, hogy kiírják e az "only"-t. Legalábbis így tűnik logikusnak, főleg ha nálad is működik. Legolcsóbb 2 kártyás kompakt megoldásnak most ez tűnik a bifurkáció helyett.

Még azért újra megnézem amit írtál régebben, hogy a házba van építve a bifurkáció, de gondolom az is 20-30-al több, mint egy sima ház. Nincs rá nagy keret, és igyekszem a CPU-ra és a hálókártyákra koncentrálni, ami a lényeg, a többit meg elhanyagolni amennyire lehet.

[ Szerkesztve ]

Buliban hasznos! =]

(#324) #25954560 válasza inf3rno (#323) üzenetére


#25954560
törölt tag

o azt irja, hogy amikor az m.2 foglalat tudja a sata-t es az nvme-t is, akkor allitsd at csak nvme-re h tuti menjen az atalakito. nyilvan hianyzik belole valami, ami miatt az alaplap magatol tudna valtani a ketto kozott.

valami zavart erzek az eroben: nem irtam olyat (remelem) h gyarilag a hazba van epitve a bifurkacio :) nem tudok ilyen hazrol, amiben gyarilag lenne pcie eloszto, nehany szerver rack haztol eltekintve.
azokban a hazakban tudod jo esellyel szepen megoldani, amik eleve pcie riser-es hasznalathoz vannak tervezve, mert azok tipikusan dual-slot (vagy akar tripla slot) vga-khoz vannak tervezve, tehat hely is van ket egyhelyes kartyanak es a splitter is elferhet.
pl egy TT core g3 vagy SS milo ml08 olyasmi.
ha low profile halokartyakat veszel, akkor splitterrel egyutt is beferhet hagyomanyos hazban a teljes magassagu helyre, de az mar inkabb a barkacs kategoria.

[ Szerkesztve ]

(#325) inf3rno válasza #25954560 (#324) üzenetére


inf3rno
nagyúr

Ja akkor ezekben csak a riser rész van benne és a bifurkáció nincsen. Jó, akkor ez is tisztázódott. Akkor szinte biztosan nem ez a költséghatékony út nekem. Ha 3x ennyit költenék rá, akkor fontolóra lehetne venni, mert akkor már elveszne az a +30k, így viszont több értelme van többet költeni a lapra vagy uATX-et csinálni inkább. A holnapot még rászánom, hogy körülnézzek milyen uATX lapok vannak, aztán döntök erről.

Csak hogy tényleg 100%-ra tudjam. Egy x16 -> 2x8 bifurkációs riser kártya mellé még ugye kell az is, hogy az alaplap támogassa a 2x8-at az első x16 sloton? Szóval ez nem úgy megy, hogy csak ráduguk 2 x8 PCIE kábelt arra a slotra, aztán kész, hanem még kell hozzá plusz elektronika ugye? Nem igazán értem, hogy így mi értelme van az egésznek, mármint akkor tulképp a lap csak valami fél szolgáltatást nyújt, és még egy lap árát el kell költeni az olcsóbbaknál, hogy tényleg meglegyen a feature. Bányászatra esetleg jó, vagy valami sok videokártyás film vágásra, ilyesmi, de az én esetemre nagyon nem. Láttam még olyat, hogy PCIE 1x16 -> 4x M2 kártya, esetleg arra kellhet az alaplapon az x16 -> 4x4 támogatás?

[ Szerkesztve ]

Buliban hasznos! =]

(#326) #25954560 válasza inf3rno (#325) üzenetére


#25954560
törölt tag

"Egy x16 -> 2x8 bifurkációs riser kártya mellé még ugye kell az is, hogy az alaplap támogassa a 2x8-at az első x16 sloton"
valamelyik sloton, igen. komoly lapoknal kulon-kulon lehet allitgatni.

"Láttam még olyat, hogy PCIE 1x16 -> 4x M2 kártya, esetleg arra kellhet az alaplapon az x16 -> 4x4 támogatás?"
igen. ezert van sok rossz ertekeles rola, mert ez nem eleg egyertelmu sokaknak.

(#327) inf3rno válasza #25954560 (#326) üzenetére


inf3rno
nagyúr

Ahogy nézem egy márkás ilyen x16 -> 4x4 M2 30k-ba kerül, szóval ha még teszek rá M2 -> x4 PCIE adaptereket, és ilyen dupla konvertálós mókolással oldom meg, akkor még drágábban jövök ki, mint a PCIE x16 -> 4x4-el, de legalább Asus, és nem valami totál noname a gyártó. Van ezekből x16 -> 2x4 M2 is, gondolom az x16 -> 2x8 bifurkációval is elmegy, azt esetleg érdemes lehet megnéznem, mert akkor egy ilyen kártyával és három M2 -> x4 adapterrel megoldható, hogy három PCIE x4 hálókártyát dugjak a gépre viszonylag olcsó alaplappal is, mint pl ez: [link].

Buliban hasznos! =]

(#328) inf3rno válasza #25954560 (#326) üzenetére


inf3rno
nagyúr

A QNAP az micsoda? Valaki kérdi redditen, hogy a Chelsio Quad (T440-CR) kompatibilis e vele...

Buliban hasznos! =]

(#329) #25954560 válasza inf3rno (#328) üzenetére


#25954560
törölt tag

QNAP egy marka. foleg NAS-okban jok. tobb is cserelheto halokartyas, gondolom erre iranyul a kerdes.

(#330) inf3rno válasza #25954560 (#329) üzenetére


inf3rno
nagyúr

Ja ok, köszi!

Buliban hasznos! =]

(#331) inf3rno válasza #25954560 (#329) üzenetére


inf3rno
nagyúr

Az itt előforduló 3-4 betűs rövidítésekről: iSCSI, iSER, SRP, RDMA tudnál írni pár sort, hogy melyik miért számít? [link] Szemezek a QSFP+-al, mert azt hittem, hogy sokkal drágább, de látok elérhető áron is kártyákat.

Buliban hasznos! =]

(#332) inf3rno válasza inf3rno (#331) üzenetére


inf3rno
nagyúr

Közben utánanéztem, az RDMA nagyjából az, hogy távolról lehet írni egy másik gép memóriájába közvetlenül. Azt mondják, hogy kell ahhoz, hogy 10-15 fölé menjen az ember. A másik három eltérő protokollok, amik erre építenek, és nagyjából ugyanaz a céljuk amennyire ki tudtam venni. A cikk már 5 éves, de az a konklúzió, hogy SRP helyett iSER-t érdemes választani, mert már elérte azt a szintet, és könnyebb működésre bírni, mint az SRP-t, az iSCSI gondolom a base line, elvileg ahhoz kapcsolódik az iSER, az SRP meg ezektől független. Máshol is azt olvasom, hogy az iSER szünteti meg a TCP/IP overhead-et úgy, hogy közben megfelel az iSCSI-nek. Az iSCSI valami hálózati tárolási protokoll. Ahogy nézem itt is van initiator és target, ami kb kliens és szervernek felel meg más nyelvezetben. FreeBSD-nél úgy olvasom, hogy néhány éve még csak initiator támogatás volt, mostanra talán már van target is. Gondolom a Linux ebben fejlettebb lehet.

Nézegettem, hogy miket árulnak a nagyobb oldalakon, és egy kicsivel drágábban össze lehet hozni QSFP+-al, mint SFP+-al. Olyan 70k vs 80k a négy kártya, nem nagy különbség, talán még a transceiverekben van eltérés, mert olcsóbbak az SFP+-hoz valók. Ha engedek egy kicsit és SFP+-t ConnectX-2-vel csinálom, akkor 55k-ból kijön, úgy viszont már van különbség. Most szerintem ez lesz, alin lehet kapni MNPH29D-XTR-et 25k körül, az csak connectx-2, de elvileg nincs olyan nagy hátránya, tudni fogja a 10-et. Később meg ha látok valami jót QSFP+-ban, akkor váltok. Érdekes módon SFP+-nál inkább a 2-portos kártyák a drágák, sokszor 3db 1-portos árába kerülnek, a QSFP+-nál meg az 1-portosak majdnem ugyanannyiba fájnak, mint a 2-portosak, és alig találni olcsót. Szóval egyik sem az igazi egyelőre. A MHQH19B-XTR, ami szintén connectx-2-es QSFP+, ami megéri 1-portos, és melléje be lehet tenni egy connectx-3-as 2-portosat, úgy kihozható jó áron. Amire még érdemes figyelni, hogy van HP és Dell féle kollaboráció a Mellanoxal, ezeknél firmware csere kell, és figyelni kell, mert a Dell amit láttam pl csak ETH-n tudott 40-et, az IB-t nem is támogatta. Meg persze lehet brickelni is, ha valaki nagyon mókolja a firmwaret.

[ Szerkesztve ]

Buliban hasznos! =]

(#333) inf3rno


inf3rno
nagyúr

No végül rendeltem két HP 764736-001-et a csehektől ebayről. 10k per darab (normál esetben olyan 25-35k per darab áron szokott lenni), a szállítás nevetséges, összesen így 30k körül volt. Két hónapon belül ideér elméletileg. Aztán meglátjuk, hogy ideér e, és ha igen, akkor nem e egy fél tégla lesz a dobozban vagy valami hibás alkatrész. Ez a HP elvileg a MCX354A-QCBT-nek felel meg, és állítólag rá lehet mókolni MCX354A-FCBT firmware-t is. Láttam még olyat, hogy MCB194A-FCAT, az x16-os, nem csak x8-as, úgyhogy biztosan tudná a 2x56-ot, de az Connect-IB, és driver gondok lehetnek vele, illetve a 40-et sem tudja azt hiszem. Azt 30k-ért árulják, de ott érzésre jobban benne van a pakliban, hogy nem érkezik meg, legalábbis nem rendes fotók vannak a hirdetéseknél, hanem a Mellanox oldaláról letöltöttek. Ha ez a HP működik, akkor még kell majd vennem rá profilt, mert az hiányzik róla, de úgyis az alaplapon és a házon fog múlni, hogy milyen profil lesz, úgyhogy az is ráér. Ha lesz működő 2 portos kártyám, akkor folytatom, és veszek majd két 1 portosat is, az egyik 2 portosat meg eladom aprón. Az 1 portosoknál a Fujitsu CA05954-2101 tűnik a nyerőnek, abból 20k alatt kicsivel már lehet szerezni, de még nem tudom, hogy lehet e rá Mellanox firmwaret tenni. Valaki azt írta egy fórumon, hogy megpróbálta és brickelte, másnak állítólag sikerült, de még az sem biztos, hogy melyik firmware kell rá. Megpróbálom megérdeklődni. A HP-t amit vettem sokkal többen csinálják, van is rá leírás, hogy melyik firmware kell és milyen lépésekből áll a flashelése, szóval annál nincs különösebb veszélye a mutatványnak. Na meglátjuk. Nem annyira sürgős nekem, ebben a tempóban talán az év végére készen lesz a gép.

Buliban hasznos! =]

(#334) #25954560 válasza inf3rno (#333) üzenetére


#25954560
törölt tag

szuper.
ha mennek 40G ethernet modban is a HP-k, akkor azert az nem rossz biznic. elmeletileg tamogatja a 10G-s uzemmodot is, gondolom vagy qsfp breakout DAC v qsfp-sfp+ atalakitoval szembe tudod dugni 10G-s halokartyakkal is.

nem hiszem h akarsz infiniband-del jatszani, de ha megis, akkor majd meselj :)

[ Szerkesztve ]

(#335) inf3rno válasza #25954560 (#334) üzenetére


inf3rno
nagyúr

A breakoutról azt olvastam, hogy csak switch-el működnek, ilyen kártyákkal sajna nem. De aztán lehet, hogy hülyeséget írtak. A 10-eseket eladom majd, és veszek azoknak a helyére is QSFP+ kártyákat, hogy teljesen legyen a kép. Azért vettem most 2 dual portosat, hogy tesztelni tudjak meg úgy voltam vele, hogy dupla vagy semmi. Ha jók, akkor az egyiket el tudom adni dupla áron, ha nem, akkor meg elúszott a pénzem. Persze, hogy akarok IB-vel játszani, azért is erőltetem ezt a Mellanox vonalat. :-) Nem tudom ETH-val mit tudnak, majd kiderül, ha ideérnek.

[ Szerkesztve ]

Buliban hasznos! =]

(#336) inf3rno


inf3rno
nagyúr

Azt mondják, hogy a MCX311A-XCAT, amit aliról kapni igazából nem is eredeti Mellanox gyártmány, hanem copy-paste. Működni mondjuk működik ugyanúgy, mint az eredeti Mellanox, de gyanúsan újnak nézett ki egy 10 éves szerver parkban futott kártyához képest... Igazából a mi szempontunkból nincs nagy jelentősége, de megvan rá az esély, hogy beletettek a kínaiak saját backdoort is, és így már nem csak az izraeliek törnek fel rajta keresztül. Olyan szempontból jó tudni, hogy erről akartam a WAN-t csinálni RJ45 transceiverrel, de egyelőre nem sürgős, mert csak 0.5-ös a net, úgyhogy eladom inkább mindkettőt, aztán ha lesz komolyabb net, akkor majd veszek egy hozzá való kártyát. Az is lehet, hogy az már 10GBASE-T lesz, ha kiforrja magát addig a technológia, és akkor nem kell transceiverezni. Olyan szempontból érdekes még ez, hogy LR-Link néven látni kínai gyártót, akik ConnectX-3-as kártyákat hirdet alin. [link] Elképzelhető, hogy az is lemásolt technológia, és a Mellanox nincs is velük semmilyen kapcsolatban. Írtam már a Mellanoxnak tegnap, hogy most akkor ez hamisítvány e vagy mi van, de nem válaszoltak még.

Buliban hasznos! =]

(#337) #25954560 válasza inf3rno (#335) üzenetére


#25954560
törölt tag

eleg gyakran hasznalom direktben a breakout-ot, de intellel. persze azon is mulik h a mellanox hogy csinalta meg: ha a qsfp negy csatornajabol ott is csak az egyiket elesiti es az a 10g jon ki az egyik laban a breakout-nak, akkor jo.
intel xl710-eim vannak 4x10G-re konfigolva, ilyenkor 4 kulon 10g-s portnak latszik a kartya, siman muxik a breakout polippal :)

(#338) inf3rno válasza #25954560 (#337) üzenetére


inf3rno
nagyúr

Az király, akkor igazából 2x40-ből lehet 8x10-et csinálni. Ha nem drága egy ilyen breakout kábel, akkor kipróbálom, hogy működik e Mellanox-nál is. Fórumon azt mondták, hogy nem, de sosem lehet tudni...

Na néztem pár review-ot rá: [link]

"Perfect Quality. Works as expected. I used this cable to link a mellanox Connect-x 3 card with a QSFP ending (40gpbs) in my workstation to a standard SFP+ switch at 10gbps. Only the first link works (you have to leave 3 sfp+ endings hanging) but saves you from buying a QSA (QSFP to SFP+ adapter) and a SFP+ DAC cable instead."

Szóval működik Mellanox-nál, de csak az első port, a maradék három kuka. Annyiból jó, hogy nem kell QSA-t venni, ami $70 körül van itt, és $50 alatt már ritka bárhol. [link]

[ Szerkesztve ]

Buliban hasznos! =]

(#339) inf3rno válasza #25954560 (#337) üzenetére


inf3rno
nagyúr

Amúgy kábelt és transceivert honnan érdemes venni? Jók ezekből a használtak is, vagy inkább fs.com-ról vagy ilyen oldalakról?

off:
Amit rendeltem MCX354A-QCBT jellegű HP-s cucc az 10/40, viszont állítólag lehet cross-flash-elni FCBT-re, ami 40/56, és működik is rajta az 56 egyeseknél, úgyhogy nagyok a reményeim. :-) [link] Aztán persze a pofáraesés is nagy lehet, ha megérkezik egy félig működő hamisítvány... Kb. mintha Karácsonyt várnám. :-)

[ Szerkesztve ]

Buliban hasznos! =]

(#340) #25954560 válasza inf3rno (#338) üzenetére


#25954560
törölt tag

hat en ebay-en $26-ert vettem 100G-s breakout-ot hasznaltan, szoval sztem $70-ert az uj 40G-s eleg sok :)

[ Szerkesztve ]

(#341) inf3rno válasza #25954560 (#340) üzenetére


inf3rno
nagyúr

Ha a használt is működik, akkor tényleg az. :-) Sokan rendelnek új cuccokat fs.com-ról, mert garantáltan működnek. Úgy látszik, hogy a tripla árban fizetik meg.

Mi a tapasztalatod, érdemes már most kábelt is vennem ezekhez, vagy várjam meg, amíg megérkezik, mert ha hibás vagy hamis, akkor úgyis kiderül a beszerelés után, pl nem ismeri fel a rendszer, vagy ilyesmi? Egyáltalán ehhez a QSFP+-hoz milyen kábel való? Van olyan, ami elvisz 40-et és 56-ot is, vagy muszáj kockáztatni, ha 56-ot ki akarom próbálni? Itt most DAC kábelre gondolok elsősorban, mert a szervert azzal kötöm rá, a PC-hez meg optikai fog kelleni. Az LC-LC lesz valszeg OM3-al, de ott még nem tartok, egyelőre csak tesztelni akarom őket 1-1 porton egy DAC kábellel.

[ Szerkesztve ]

Buliban hasznos! =]

(#342) #25954560 válasza inf3rno (#341) üzenetére


#25954560
törölt tag

nemtom. ha mar ugyis elindult a vezerhangya es ugyis lesz valami qsfp-s osszekottetesed, akkor nem vesz karba a jo aron vasarolt dac. en folyamatosan szoktam nezegetni es amikor latok nagyon olcson, akkor megveszem. lassan osszegyulnek igy a kabelek.
intel oldalon az a baj h vagy intel gyartmanyu dac kell vagy olyan, amit annak ismer fel vagy amit tamogat. es ezekbol kevesebb van, mint a nem mukodokbol. mellanoxot nem ismerem, de amit hozzajuk lehet kapni 'ipolex' markaju dac-ot, az eddig nalam mindennel ment.

(#343) inf3rno válasza #25954560 (#342) üzenetére


inf3rno
nagyúr

Én már leragadtam a Mellanoxnál. Az a baj, hogy a fele kínai hamisítvány, valszeg ami nálam van az is. Működni szépen működik, de securityt tanulok épp, és olyan szempontból aggályos, hogy nincs e benne hardveres sebezhetőség. Lehet, hogy a LAN-on belül annyira nem számít, de pont a WAN részére tenném pl 10GBASE-T transceiverrel. A QSFP+-nál annyi zavaró dolog van, hogy ott nincs lehetőség ilyen RJ45-ös átalakításra, mint az SFP+-nál, még az SFP+ átalakító is viszonylag drága, ha nem breakout-ot veszünk. Nekem ez elviselhető, de kelleni fog még másik kártya is a gépbe, hogy kompenzáljam.

Azon agyalok, hogyha működnek, akkor inkább megtartanám mindkét QSFP+ kártyát, és betennék egy 2x8 bifurcation risert egy olcsóbb ITX-es lapra, plusz M2-ről még rákötnék valamit x4-re WAN-hoz, és kéne valami RJ45 is, ami az AP-khoz megy. Így viszont már kicsi lenne hozzá egy ITX lap, hacsak nem az M2-t valahogy tovább osztom. A másik gondom az ITX-el, hogy nagyon ritka az olyan ház, amibe vertikálisan van hely 3 kártyának, és tower jellegű, nem kocka, vagy ilyesmi. Nem erre tervezik, mert abból indulnak ki, hogy max egy risert használ az ember. uATX házakból sokkal nagyobb valószínűséggel találni ilyet.

Buliban hasznos! =]

(#344) #25954560 válasza inf3rno (#343) üzenetére


#25954560
törölt tag

ha ilyen sok kartya kell, akkor felesleges itx-ben gondolkodni. atx lap kene, raadasul inteles, mert a modern asztali amd-sek alig adnak pcie csatlakozokat, tisztelet a kivetelnek. (persze a ryzen-es lapokra gondolok, nem a TRipperesekre)
az m.2-t szerintem csak aktiv osztoval tudnad tovabbosztani, ha egyaltalan. valszeg ertelmetlenul draga lenne. raadasul sok m.2 csak x2, azt meg hova osztod? :) nagyon megnottek az igenyeid, de ertheto, eves kozben jon meg...

[ Szerkesztve ]

(#345) inf3rno válasza #25954560 (#344) üzenetére


inf3rno
nagyúr

Gondolkodtam, és igazából az én esetemben van erre két megoldás is. Jelenleg a WAN-ra és az AP-re is elég 1 Gbps. Szóval van az alaplapon egy RJ45 és az M2-nél SFP+ helyett is be tudok tenni akár egy 4-portos RJ45-ös kártyát is, ha erre van szükség. A másik megoldás, hogy a QSFP+-t alakítom át SFP+-ra egy QSA-val (breakout sajnos ide nem jó), és utána teszek be egy SFP+ -> 1 vagy 10 Gbps RJ45 transceivert. Ez mondjuk nem túl költséghatékony 1 Gbps-nél, de ha az M2 nem válik be, akkor 10 Gbps-nél már csak ez működhet.

Az M2-nél gyakorlatilag minden alaplap leírásában benne van, hogy mit tud, szóval ez az x2 annyira nem akadály. Ez inkább az olcsó lapokra jellemző, amiknél nincs riser támogatás sem. Ahol már van riser támogatás ott általában van x4 M2 (az AM4, s1151-től kezdve), pl itt [link] írják, hogy "1 Ultra M.2 (PCIe Gen3 x4 & SATA3)". Általában érdemes a chipsetet is megnézni, mert abból többminden kiderül. Az szokott az M2-nek a buktatója lenni sávszél szempontjából, hogy x4-en osztozik a SATA-val és talán még az USB-vel is. Egy SFP+-nál nem gond, mert 32 Gbps az x4 és az csak 10 Gbps-t használ, de nem tudom, hogy emiatt van e még valami gebasz, pl latency-t rátesz ez pluszban vagy ilyesmi. Még arra kell figyelnem, hogy maradjak meg PCIE gen 3-nál, mert van sok drága lap, és ahelyett, hogy a gen 3-ra adnának többet, inkább gen 4-et támogatják. Ami nem baj, csak jelenleg nincs átalakító, ami gen 4 -> gen 3 átalakítást tudna. Egyébként baromi jó lenne, mert gen 4 1x16 -> gen 3 4x8 mehetne, ha lenne ilyen átalakító. Állítólag még a gen 4-nél le van tiltva ez a továbbosztás is szabvány szinten, szóval ott már megszűnik a móka, de ebben azért nem vagyok teljesen biztos.

Ami még itt bökkenő lesz, hogy az IB és ETH között hogyan fog menni a kommunikáció, mert gondolom az RJ45-el csak ETH lehetséges, az IB-ről meg az a benyomásom, hogy gyorsabb, de ennek a részének még nem néztem utána.

[ Szerkesztve ]

Buliban hasznos! =]

(#346) inf3rno


inf3rno
nagyúr

Házat úgy néz ki sikerült találni: [link] Van az a jó nagy hűtőrács rajta, ahhoz van ilyen mod: [link] Nyilván ez nem jó, de valami hasonlót lehetne tervezni, ami 3 slotos, és az én 2x8 + 1x4 felállásomat támogatja. Ránézésre 4 kártyának is van elég hely. Van 3d nyomtatós topik, ha oda jutok, hogy már a házzal kell foglalkozni, akkor megkérek valakit, hogy csináljon nekem ilyet, vagy megpróbálom összehozni magamnak műanyagból vagy fémből. Kábeleket elvileg lehet külön is venni hozzá, szóval csak egy műanyag vagy fém keret kellene, amire a kábeleket fel lehet szerelni. Nyilván a méretek különösen fontosak itt, hogy minden passzoljon. Gondolom low profile bracket vagy ilyesmi méret lehet ez, de akár abból is lehet egyedit gyártatni. Keresztapám bádogos, szerintem egy pillanat alatt meghajtja nekem lemezből ha arról van szó. Még a Lian Li házak, amik tudnak ilyet, de baromi drágák. Illetve van még egy pár ház, ahol ugyanígy két kártya támogatott, de szélesebb a hely, tehát lehetne betenni többet. Viszont ez elérhető itthonról is, és viszonylag olcsó. Szóval valami egyedi mókolás ide szinte biztosan kelleni fog. Azt hiszem láttam egy bifurkációs topikban 3 kártyát ilyen vertikális keretben, de szerintem ott ITX-et raktak uATX házba vagy ilyesmiről lehetett szó. Nagyon sok oldalt néztem már, úgyhogy nem tudom visszakeresni sajna.

[ Szerkesztve ]

Buliban hasznos! =]

(#347) inf3rno válasza #25954560 (#344) üzenetére


inf3rno
nagyúr

Milyen kábelt és transceivert tudsz ajánlani 56 Gbps QSFP+-hoz? Kelleni fog egy DAC kábel a router és a szerver közé és egy nem DAC (gondolom ezekkel is megy az OM4 LC-LC) a PC-nek, mert az másik szobában lesz. Az optikai részre majd megpróbálok betenni LC-LC keystone-t. Elvileg van valami könnyebb ,olcsóbb szerelési módszer az optikára, mint a hagyományos, de még nem néztem jobban utána.

Kivittem ezt a bifurkációs szálat inkább blogba, mert már sok volt ide.

[ Szerkesztve ]

Buliban hasznos! =]

(#348) #25954560 válasza inf3rno (#347) üzenetére


#25954560
törölt tag

azzal a masik szobaval jelentosen megnehezited a dolgodat. nalam a gepek itt figyelnek egy kupacban, ezert akar 1m-es dac is eleg. a 3m-es 40G-sbol is vaskos es nem tul hajlekony, de a 100G-s egy remalom. ket szoba kozott mar lehet okosabb optikait hasznalni, mert ha veszel is pl 5m-es dac-ot, valszeg csunya is lesz es maceras is, amennyiben nem fursz falat.

(#349) inf3rno válasza #25954560 (#348) üzenetére


inf3rno
nagyúr

Persze, mindenképp optikai lesz. Azért is, mert meg akarom tanulni az optikai kábelt szerelni.

Buliban hasznos! =]

(#350) inf3rno


inf3rno
nagyúr

No megjöttek a kártyák. Két héttel a tervezett érkezés előtt már itt voltak. A posta persze megint apám munkahelyére vitte, kezdenek már kiakasztani. Ezek is túl újnak tűnnek ugyanúgy, ahogy az SFP+-asak, lehet, hogy hamisak? Létezik az, hogy évekig egy szerverben vannak, és nincs rajtuk egyetlen porszem sem?

Majd a hónap vége fele lesz időm kipróbálni őket. Le kell cserélni a HP firmwaret Mellanoxra, aztán elvileg 40 helyett menni fog rajtuk az 56 Gbps is. Odáig szeretnék eljutni velük első körben, hogy bootol a gép, és betölti hozzájuk a drivert, és tudok IP-t adni nekik. Egyelőre transceiverem, kábelem nincsen. Esetleg 56-os QSFP+-hoz tudtok ajánlani valamit? Elsősorban optikai LC/LC érdekel. Lehetőleg olcsó, nem baj, ha használt.

Buliban hasznos! =]

Copyright © 2000-2024 PROHARDVER Informatikai Kft.