Sziasztok!

Szerettem volna építeni egy gépet demonstrációs célra, ami megfelel a következő feltételeknek:
- legyen kicsi, egy mini-ITX lap pontosan elegendő a feladatra
- legyen benne hűthető egy minimum 65W-os processzor
- fogadjon egy kicsi PCIe kártyát (low profile, half-length)
- legyen látványos, hogy a közönség emlékezzen rá

A cél egy szoftver-routerek számára kifejlesztett absztrakciós réteg és keretrendszer teljesítményének bemutatása volt. Magáról a programról nem nagyon fogok beszélni, ez az iromány a vasról szól.

Ház. Mivel úgy gondoltam, hogy a bemutató fontos, ezért nem voltam szívbajos a kiválasztásánál, nem akartam túl sok kompromisszumot kötni. És benne volt a pakliban, hogy utána a cég kifizeti (Isten tervez, ember végez. Perszehogy végül saját zsebből ment). Egyik korábbi saját gépem egy Realan E-i7 házba volt szerelve. Úgy gondoltam, hogy a legózás idejére, amíg az alkatrészek összeállnak, kiköltöztetem belőle az aktuális lakót és abban rakom össze a prototípust. Ha már minden frankó, akkor költözés a végleges kuckóba.

Tökéletesen nem reprezentatív felmérésem alapján a mini-ITX építészek tábora teljesen zakkant. Legtöbbjüknek tuti van otthon még egy, még kettő vagy még több másik mITX háza.

Szóval kell egy alaplap is. Mivel a futtatandó cucc jellemzően az Intel szerver processzorain kerül telepítésre, ezért nem volt kérdéses, hogy egy olyan lap kell, ami támogatja a 2011-es vagy 2011-v3 foglalatos procikat. Ez a kitétel nagyban megkönnyítette az alaplap-keresést, ilyet ugyanis jellemzően kettőt találtam összesen:
Asrock X99E-ITX és Asrock EPC612D4I.

Tovább szűkítette a keresést a lehetőség mind a négy memória-csatorna kihasználására, szóval az X99E-ITX kiesett. Hát ez sokkal könnyebb volt, mint gondoltam. Ebben az esetben a feltételek felállításával gyakorlatilag végeztem is a kutatással. Remek. Ha ez így megy tovább, holnap demo. Afranc. Nem egy budget lap. Nem számitottam rá, hogy olcsó lesz, de a full ATX X99-es lapom ennek kis híján a fele volt.

Memória. Mivel szerver-lap szerűségről beszélünk, logikusnak tűnt a hivatalosan támogatott memóriák halmazából választani. Ennek és a kapható moduloknak a metszetében akkoriban csakis a Kingston KVR21SE15D8/8HA csücsült. Problem solved. Kell négy. Au!

Processzor. Sok magja legyen, alacsony disszipáció, nagy teljesítmény, mindezt kevés pénzért. (Peeeeeersze! Nem gond. Hányat parancsol az Úr?)
Szó nem lehetett rendes sorozatgyártott végleges példányról, mert az megfizethetetlen. Ugyanakkor a világuralmi törekvéseimnek nem lehetett gátja egy-két ismert vagy ismeretlen hardver hiba, szóval irány a használtpiac! Ebay-en $125-ért keletkezett egy E5-2650L v4, szóval egy 14 magos (28 HT) Broadwell procim, 35M L3 cache-sel es fix 1.6GHz órajellel (nem műxik a turbo sem, aki akar utánanéz milyen procik ezek). Az eladónak jók voltak az értékelései, szóval egy életem, egy halálom, én ezt bizony megpróbálom.

Hűtés. Szóval kell egy alacsony, keskeny felfogatású (narrow-ILM) hűtőborda. Ami nekem volt, az megfelelt a prototipizálás idejére, de túl magas volt a tervezett házalhoz. Végül a Dynatron t318 mellett döntöttem, mert érdekelt a vapor-chamber felépítés és úgy gondoltam, hogy ráműtök a tetejére egy blower tipusú ventilátort. Ha elég nagy széllel 135W-os procihoz, akkor egy 65W-ost csöndesen lehetne vele hűteni.

Bejött. Másodikra, mert az alaplap régi BIOS-szal érkezett, Broadwell támogatás nélkül. Óriási szerencsémre az X99-es lapomban pont egy Haswell ES van. Igaz 120W-os, de csak kibír valahogy rendes hűtéssel egy BIOS-frissítést. Hát igen, a tudomány mázlifaktora.

Ház megint. Ennek a kiválasztása vitte el végül a legtöbb időt. Meg nem tudom mondani miért ragaszkodtam ahhoz, hogy minél kisebb legyen, talán azért, hogy nagyobb legyen a kontraszt a kicsi gép és a meglehetősen nagy teljesítmény között. Hogy miért nem volt jó a Realan? Mert azt csak hangosan tudom megfelelően hűteni moddolás nélkül, a Narrow-ILM-ben tipikusan hosszirányban vannak a lamellák, tehát a Realan-ban merőlegesen a levegő útjára, légcsatornák kialakításával pedig nem akartam sokat vesződni.

Ráadásul kezdtek izgatni a PCIe toldó kábelek (riser-ek) és az ő teljesítményük. Szóval ha kell, ha nem, riser lesz.
Innen kezdve jöttek a lapos házak, de egyszerűen az összes könnyen elérhető darab túl nagynak tűnt.
Node 202, Silverstone Raven, stb.
Belső tápok kizárva, hiába SFX vagy TFX.
Igy kerültek képbe pl a LogicSupply MC600 és az NFC S4 Mini. Az MC600 sárga-szürke kombóban számomra kívánatos, van kis ipari beütése is, szóval jó lehet. A tippet az S4 Minire ráadásul a helyi (kifejezetten magas színvonalú ) mini-ITX topikból kaptam, t72killer-től. Azt még nem döntöttem el, hogy ezért hálás vagyok-e Aztán leveleztem Josh-sal, az NFC tulajdonosával és egyetlen alkalmazottjával, mert nem volt kint akkoriban ár az S4 Mini-re a honlapon. Innen kezdve beszippantott az SFFN is, de az más tészta. NFC S4 Mini lett, mert borzasztóan jól tud kinézni, technikailag nagyon rendben van és elég sok tapasztalat van már róla. Illedelmesen lehagyom innen az árat, mert mint az elején írtam, az gyakorlatilag nem volt szempont, de nem szerény.

Az én házam színe egy kísérlet eredménye, Josh kipróbálta rajta a vakítónarancssárga Plastidip-et. Magához rántja a tekintetet, ezért lett a neve SafetyOrange.

Tápellátás. Kiskorom óta, amikor is gondosan összekuporgatott pénzecskémen vett AMD K6-2 350-em füstölt el alaplappal együtt egy Vargáné és Tsa-tól, figyelmesebben válogatom meg a kakaó biztosításáért felelős komponenseket. Szóval fel sem merült bennem, hogy majd pont ezen tudok spórolni. Proci, alaplap, memória, hálókártya, SSD, nagyságrendileg meg kell álljon 100W-ból. Amig nem kap el a gépszíj, hogy nézzük mit tud mégerősebb CPU-val. Ekkor már ugye körvonalazódott, hogy külső tápkocka és belső DC-ATX kombót fogok használni. A céges gépem egy HP nw8560 (végülis hordozható...), amihez 240W-os tápkocka van. 19.6V, szuper. Ideális lehet pl egy HDPlex 160-ashoz. Akkor ez is pipa.

Hálókártya, azaz amiértezazegészegyáltalánelkezdődött. 10Gbps az semmi. 2x10G az már valami. Na de 40G, aaaaaaz igen. A szokásos mantra: szó nem lehet teljes árú vadiúj cuccról. Akárhogyis néztem, ez nem akart összejönni netről. Itt megsegített a cégem, maradt tesztelésről Intel X710 prototípus kártya, legalább melegben és biztonságban lesz nálam.

Kész! Nagyságrendileg összeállt a hardver.

Megjöttek lassacskán az alkatrészek, elkezdett épülni a gép. Mivel az S4 Mini nem kifejezetten rendszeres szétszed-összerak üzemre lett tervezve, ezért a Realan-ban tesztelgettem. Amikor is becsapott a villám. Mivel egy újszülöttnek minden BIOS menü új, ezért megakadt a szemem a PCIE 7 Link Width beállitáson. Nocsak. Az alapbeállitás x16. Ezt értem. De mi az az x8x8 vagy x4x4x4x4? Nohiszen.

Innen kezdve két napon keresztül minden szabadidőmben a PCIe sávok szétosztásáról olvasgattam (PCIe bifurcation). Viszonylag új téma, kb 3 éve kering, Z97-es alaplapokon már felbukkant. A lényeg röviden az, hogy a PCIe slotok valamilyen módon be vannak drótozva a procihoz és/vagy a chipset-hez. Mivel a PCIe sávok száma limitált (desktop Intel procik tipikusan 16-ot tudnak, szerver processzorok pedig 40-et), ezért alaplaponként más és más lehet a kiosztásuk. Van, ahol fixen bedrótozták és van, ahol aktív switch-csel váltanak attól függően, hogy hány PCIe slot van használatban. Viszont sok eszköz teljesítményét nem befolyásolja (vagy nem nagyon), ha x16 helyett csak x8-at használ. Tipikusan a BitCoin bányászok pl x4-es hosszabbítókat használtak, hogy jobban elférjenek sok videokártyával, mivel nem a PCIe sávszélesség volt a szűk keresztmetszet. Azóta viszont már nem buli a GPU nekik.

Lehet aktív eszközökkel osztani drágán (PLX chip), vagy ha az alaplap helyből támogatja, akkor egyszerűbben és olcsóbban (elég egy clock buffer chip az elosztóra). Szeretlek, Asrock!

Nos, nálam sem kell x16, hiszen az elméleti sávszélessége a PCIe x16 v3.0-nak valahol 130Gbps körül van, míg az én hálókártyám helyből csak x8-as egyébként is. Hmmmmmmm. Viszont kettő belőlük pont beférne a kétszlotos videokártya-hely miatt... A megoldás: PCIe riser splitter.

Viszont akkor azonnal cserélnem kell a házat, mert a Realan erre alkalmatlan. "Mama! Költözünk!"

Persze a riser splitter megvásárlása sem volt egyszerű, mert az Ameri-Rack először nem akart velem szóbaállni, de aztán megenyhültek. Őszintén szólva nagyon izgultam, mikor megérkezett. Addigra már behánytam az összes alkatrészt az S4 Mini-be, csak le kellett cserélni az eredeti x16 riser-t erre. Első próba egyetlen kártyával, óperenciás rendszer szépen látta. Akkor próba kettővel is. Tadaaaaaaam! Rég örültem ennyire lspci kimenetének. Összehurkolva őket szépen feljöttek a linkek, ment ping, stb. Lehetett durvulni. Végeredményben a 40Gbps-es hálókártyákból simán kijött a 40G. Persze eléggé túl van biztosítva, mert a x8 elméleti sávszéle 64Gbps körül van, de akkor is boldogság.

Ez azt is jelenti, hogy lehetséges egyetlen x16-os PCIe szétválasztásával (ha az alaplap támogatja) a CrossFire. Szóval single-slot videokártyák, hajtsatok!

Jó-jó, vannak azért megoldásra váró problémák két videokártya esetén, de az elmélet megvan. A hűtést és a tápellátást végig kell gondolni. Sőt, a netet bújva lehet is találni rá gyönyörű projektet.

Falból mérve a fogyasztást maximum 111W-ot kaptam, terhelés nélkül pedig 35W-ot. Nem halálos, gyakorlatilag bárhova telepíthető.

A hűtés annyiban változott, hogy nem kellett blower-t szerkenteni a rézbordára. Mivel az S4 Mini-ben van hely egy 12cm-es slim ventinek, csak választanom kellett, hogy a klasszikus Scythe legyen-e, vagy adok egy esélyt a New*gg sajátmárkás termékének a bizonyításra. Nyilván az utóbbi lett. Csúcsrajáratva is 63-65 fokon tartja a procit.

Az előadásnak végül sikere volt. A közönség szerette a gépet, mivel szerverekhez vannak szokva, méret, zaj és ár szempontjából is, a SafetyOrange pedig kisebb, csendesebb és olcsóbb azonos teljesítményre vetítve. Olyannyira csendes, hogy irodai környezetben simán használható, miközben 100%-on pörög a processzor.

Egészen izmos ethernet csomag-generátornak is, a Pktgen-DPDK-t használva rengeteg teszt-esetben ki lehet váltani a fizetős cuccokat.

Ilyen összerakva:

Remélem, hogy néhány hozzám hasonló kocka talál érdekes dolgokat a cikkben. Én most kicsit furán érzem magam, hiányérzetem van. Eddig elég sokat pörögtem ezen a projekten, most meg gyakorlatilag vége. Lehetne méretrevágni a kábeleket, harisnyázni, de az most nem mozgat.
Azt tudtátok, hogy az Asrock Deskmini 110-ben PCIe x4 az M.2-es socket?...

Köszönom, hogy elolvastad.
&rew

p.s.: itt van még pár kép...