400G vs 800G NIC: Ktoré by ste si mali vybrať?

Výber medzi 400G NIC a 800G NIC je vecné rozhodnutie, nie porovnanie-stránok s pokladňou. Rýchlejší adaptér sa vyplatí len vtedy, keď server, prepínač, optika a kabeláž dokážu prenášať túto rýchlosť od konca do konca. Táto príručka sa zaoberá-odstupom z hľadiska nasadenia a obstarávania, takže sa môžete rozhodnúť ešte predtým, ako pridelíte rozpočet na adaptéry, prepínače, transceivery, DAC, AOC, AEC alebo optické vlákna.

Krátka verzia: 400G NIC je vyspelá, nákladovo{1}}efektívna predvolená hodnota pre väčšinu dnešných úloh AI, HPC, úložiska a cloudu a mapuje sa čisto na hostiteľov NDR InfiniBand a PCIe Gen5. 800G NIC získava svoju prémiu, keď vytvárate novú -generáciu umelej inteligencie s hustejšími GPU, silnejšou východnou-západnou premávkou a plánom smerom k XDR InfiniBand, 800G Ethernetu a prípadne 1,6T.

400G vs 800G NIC

Vyberte si 400G NIC, keď sú vaše servery, prepínače a optické zariadenie už štandardizované na 400G Ethernet alebo NDR InfiniBand, alebo keď pracovné zaťaženie nezasýti cestu každého GPU-do{3}}GPU. Je to tiež bezpečnejšie volanie, keď na dostupnosti, rozpočte a čase kvalifikácie záleží viac ako na špičkovej rýchlosti portu.

Vyberte si 800G NIC, keď sa sieť stáva prekážkou pre veľké-školenia, servery GPU s vysokou-hustotou alebo urýchľovače novej{3}}generácie. Zhruba na polovicu zníži počet liniek a optických modulov potrebných pre danú šírku pásma a pripraví štruktúru na ďalšiu aktualizáciu.

800G port sa oplatí kúpiť len vtedy, keď ho dokáže napájať zvyšok systému. Ak hostiteľ nemôže vystaviť adaptéru dostatok liniek PCIe, 800G NIC sa stane drahým, nedostatočne využívaným portom, a nie vylepšením výkonu.

Čo je 400G NIC?

400G NIC je sieťový adaptér, ktorý sa pohybuje rýchlosťou až 400 gigabitov za sekundu na port. V prostrediach AI a HPC sa zaoberá sieťou GPU-klastra, distribuovaným školením, prístupom k úložisku, prenosom MPI, štruktúrami RoCE a prepojeniami NDR InfiniBand. Pre väčšinu operátorov je 400G už veľkým skokom oproti 100G alebo 200G a odstraňuje zjavné prekážky bez toho, aby si vynútil prepracovanie servera a prepnutie vrstiev.

Kam sa dnes hodí 400G NIC

Adaptéry 400G sú pracovným predvoleným nastavením v rámci tréningových klastrov AI na súčasných -generáciách GPU, HPC a vedeckých{2}}výpočtových štruktúrach, vysoko-výkonných úložných sieťach, RoCEv2 Ethernet a InfiniBand, všeobecných cloudových serverových flotilách a 100G/200G{7}400G v miestnostiach zmiešanej generácie. V týchto nastaveniach je 400G zriedka kompromisom. Je to jednoducho správna rýchlostná trieda, keď veľkosť klastra, počet GPU a rozpočet neospravedlňujú pridanú zložitosť 800G.

Prečo má 400G stále zmysel

Výber sieťovej karty je problémom-vyváženia systému. Ak hostiteľ nemôže napájať 800G adaptér, ak je pracovná záťaž viazaná na výpočet- alebo úložisko-, alebo ak je chrbtica stále 400G, potom použitie 800G NIC zvyšuje náklady bez toho, aby sa zmenil výkon aplikácie. Dobre-vybudovaná štruktúra 400G s nízkym prebytkom, čistou topológiou, RDMA, kvalitnou optikou a vyladeným riadením preťaženia stále pohodlne zvláda náročné úlohy AI a HPC.

Čo je 800G NIC?

800G NIC poskytuje až 800 gigabitov za sekundu na port. Zameriava sa na dátové centrá novej{3}}generácie AI, veľké klastre GPU a hyperškálované štruktúry, kde dopyt po komunikácii prevyšuje konvenčné serverové siete. Generácia 800G je teraz štandardizovaná:štandard IEEE 802.3df, ratifikovaný v roku 2024, definuje 800 Gigabit Ethernet a podporuje čiastkové-sadzby ako 1x800G, 2x400G a 8x100G, vďaka čomu je migrácia so zmiešanou{8}}rýchlosťou praktická.

Hodnota nie je len zdvojnásobená miera nadpisov{0}}G umožňuje architektom zvýšiť hustotu šírky pásma, počet prerušených odkazov a modulov a podporovať rozsiahlejšie školiace štruktúry s agresívnejšími všetkými-pre{2}}všetku návštevnosť.

Prečo sa klastre AI presúvajú na 800G

Tréning veľkého-modelu generuje obrovskú návštevnosť GPU-k-GPU a medzi serverom-na-serverom. Výmena prechodov, všetko-zníženie, zmes-odborníkov-odborníkov na smerovanie, kontrolné body a ukladanie-ťažkých potrubí, to všetko naráža na tkaninu. Ako sa urýchľovače zrýchľujú, sieť musí držať krok alebo drahé GPU nečinne čakať na synchronizáciu{11}}G NIC na to odpovedajú zvýšením šírky pásma na uzol, na akcelerátor alebo na sieťovú koľajnicu.

800G je látkové rozhodnutie, nie len adaptér

Prechod na 800G pretvára výber prepínačov, optiku, plánovanie dosahu, tepelný dizajn, prúdenie vzduchu a rozloženie racku. Najmä optické a medené možnosti sú prísnejšie: 800G port môže používať OSFP alebo QSFP-DD modul a prepínacie-bočné a NIC-moduly sa môžu líšiť v tepelnom a mechanickom prevedení dokonca aj pri rovnakej rýchlosti. Ak váš závod používa štruktúrované vlákno, potvrďte typy modulov a konektorov včas; nášprehľad formátu QSFP-DDpokrýva tam, kde sa hodí vzhľadom na OSFP. Zaobchádzajte s 800G ako s programom na-úrovni, nie s výmenou jedného riadku-položky.

400G NIC vs 800G NIC

Kedy zvoliť 400G NIC

Vyberte si 400G NIC, ak je cieľom vysokovýkonná- sieť s vyspelým hardvérom, predvídateľným nasadením a kontrolovanými nákladmi.

Staviate na existujúcej 400G infraštruktúre

Ak sú vaše prepínače, káble, optika a serverové platformy už štandardizované na 400G, zotrvanie pri 400G NIC odstráni sériu kontrol kompatibility a umožní vám znovu použiť väčšinu súčasného ekosystému. Platí to najmä pri inovácii zo 100G alebo 200G, kde je nárast výkonu veľký a ekosystém je oveľa vyspelejší ako 800G.

Vaše pracovné zaťaženie AI nenasýti tkaninu

Nie každá úloha AI potrebuje 800G na server. Mnohé z nich sú-viazané na výpočet, úložisko-, pamäť- alebo sú obmedzené efektívnosťou softvéru a nie šírkou pásma siete. Ak profilovanie ukáže, že sieť nie je primárnym prekážkou, 400G NIC zvyčajne poskytuje lepšiu návratnosť.

Potrebujete nákladovo{0}}efektívne HPC

Mnoho pracovných zaťažení HPC je citlivých na latenciu,{0}}správanie pri odosielaní správ a preťaženie štruktúry, a nie na nespracovanú šírku pásma. Dobre-vyladená tkanina 400G často prekoná slabo integrovanú tkaninu 800G. Užitočnou otázkou nie je, ktorá sieťová karta je rýchlejšia, ale ktorý dizajn siete poskytuje najlepší výkon aplikácie za dolár.

Potrebujete rýchlejšie a nižšie{0}}rizikové obstarávanie

Adaptéry, optika a káble 400G sa ľahšie získavajú a kvalifikujú na viacerých platformách serverov a prepínačov. Keď má tím na overenie obmedzený čas, 400G je voľbou s nižším-rizikom, ktorá stále odstraňuje väčšinu prekážok.

Kedy zvoliť 800G NIC

Vyberte si 800G NIC, keď aplikácia, platforma GPU a tkanina môžu skutočne využívať dodatočnú šírku pásma.

Navrhujete ďalšiu-generáciu tréningového materiálu AI

Veľké školiace zoskupenia generujú náročnú komunikáciu medzi všetkými-{1}}všetkými a východ-západom. S rastom veľkosti modelu, počtu GPU a paralelizmu sa sieť stáva obmedzovačom. V tomto prípade 800G sieťové karty zvyšujú-šírku pásma na uzol a znižujú riziko, že tkanina bude obmedzovať GPU.

Potrebujete vyššiu hustotu šírky pásma

800G znižuje počet portov, liniek a modulov potrebných na poskytovanie danej šírky pásma. To je dôležité v hustých klastroch, kde je obmedzený priestor v stojane, počet portov na prednom-paneli, správa káblov a radix prepínača. Menej, rýchlejších prepojení môže zjednodušiť zostavenie za predpokladu, že štruktúra prepínača a plán kabeláže sú na to navrhnuté.

Plánujete platformu GPU ďalšej-generácie

Ak plán zahŕňa GPU servery ďalšej{0}}generácie, vyššiu hustotu výkonu racku, kvapalinové chladenie a väčšie klastre, 800G je silnejšia strategická výzva. Kúpa 400G dnes môže byť stále rozumná, ale tkanina by mala byť navrhnutá s migračnou cestou na 800G alebo viac.

Chcete znížiť{0}}dlhodobé prerušenie aktualizácie

Fázovaná stratégia 800G znižuje budúce bolesti pri migrácii. Najprv nasaďte 800G-kompatibilné prepínače, pripojte existujúce 400G NIC prostredníctvom prelomových alebo zmiešaných{5}}rýchlostných návrhov a potom inovujte servery na 800G neskôr. To chráni súčasné investície a zároveň pripravuje látku pre ďalšiu generáciu.

Kedy NEZvoliť 800G NIC

Toto je často užitočnejšia otázka a odfiltruje väčšinu ľutovaných nákupov. Podržte 800G, keď platí čokoľvek z nasledovného:

• Hostiteľ nemôže sprístupniť adaptéru úplnú cestu x16 triedy PCIe Gen6. Port pobeží hladný a budete platiť za šírku pásma, ktorú serverová zbernica nedokáže dodať.
• Chrbtica je prebitá alebo stále 400G. Rýchlejšia sieťová karta neopraví obmedzenú štruktúru; len posúva úzke miesto o jeden skok ďalej.
• Pracovná záťaž je viazaná na latenciu- alebo MPI-a nie na šírku pásma-. Extra priepustnosť robí málo pre úlohy hradené synchronizáciou alebo správaním malých-správ.
• Optiku, kabeláž alebo chladenie pre 800G nie je možné získať a overiť na vašej časovej osi. Nekvalifikovaný modul, ktorý sa pri zaťažení vyklápa, je horší ako pomalší spoj, ktorý zostane hore.
• Neexistuje žiadny konkrétny plán rastu, ktorý by odôvodňoval prémiu dnes.

Ak platia dve alebo viac z nich, 400G je takmer určite správnou odpoveďou pre túto zostavu, pričom 800G je v rezerve na ďalšie obnovenie.

400G vs 800G NIC pre cloudové dátové centrá

Cloudové tkaniny zriedka bežia všade jednou rýchlosťou. Segmentujú podľa triedy návštevnosti a výber NIC sleduje segment a nie dátové centrum ako celok.

• Premávka pred-/ sever-juh:400G je zvyčajne dosť pre používateľa-a úrovne rozhrania API, kde-šírka pásma na tok je skromná a dominuje počet pripojení.
• Úložisko a východ-západná premávka:odpoveď závisí od toho, do akej miery je architektúra členená. 400G pokrýva väčšinu všeobecných fondov; 800G pomáha tam, kde veľké, distribuované úložné jednotky trvalo zaťažujú východ-západ.
• AI odvodenie:400G stačí pre mnohé inferenčné mraky, zatiaľ čo 800G vyhovuje hustej zmesi--odborníkov smerujúcich alebo rozčlenených služieb, kde sa tokeny pohybujú medzi mnohými uzlami.
• Tkanina pre viacerých-nájomcov:v tomto prípade pomer nadmerných odberov a izolácia nájomníkov ovplyvňujú výkon oveľa viac, než je maximálna rýchlosť NIC. Vyvážená tkanina 400G so silnou izoláciou často porazí rýchlejšiu, ale preťaženú tkaninu.

Pretože rast cloud east{0}}west končí na štruktúrovanom vlákne, naplánujte kabeláž hlavného vedenia popri NIC; nášsprievodca MPO/MTP kmeňovou kabelážoupokrýva beh-s vysokou hustotou. Vo všeobecnosti použite 400 G pre väčšinu front-a všeobecných cloudových vrstiev a 800 G vyhraďte pre segmenty, kde dominuje husté poskytovanie AI alebo veľké východo{5}}západné oblasti.

Kľúčové faktory výberu okrem rýchlosti portu

Rýchlejšie NIC nezaručuje rýchlejšie pracovné zaťaženie, pokiaľ ho nepodporuje celá platforma. Päť faktorov rozhoduje o tom, či 800G port poskytuje alebo je nečinný.

Generovanie PCIe a šírka pásma hostiteľa

NIC dosiahne hostiteľa cez PCIe a toto prepojenie je tvrdý strop. Port s rýchlosťou 400 Gb/s potrebuje približne 50 GB/s v smere, čo môže preniesť slot PCIe Gen5 x16 s rýchlosťou približne 63 GB/s v smere. Port 800 Gb/s potrebuje približne 100 GB/s v smere, za slotom Gen5 x16, čo je dôvod, prečo adaptéry 800G vo všeobecnosti očakávajúšpecifikácia PCIe 6.0 od PCI-SIG(64 GT/s, až 256 GB/s obojsmerne na x16) alebo neobvyklý dizajn x32. Pred potvrdením 800G potvrďte:

• generácie PCIe
• Počet jazdných pruhov a štrbinové vedenie
• Umiestnenie NUMA a cesta GPU -do{1}}NIC
• Overenie{0}}dodávateľa servera pre adaptér
• Podpora systému BIOS a firmvéru

V serveroch GPU rozhoduje o čistote pohybu údajov umiestnenie NIC vzhľadom na CPU a GPU. Sieťová karta triedy Gen6- vložená do slotu Gen5 x8 je najbežnejšou prekážkou v tejto oblasti, ktorú si človek môže sám spôsobiť.

Switch Fabric a Oversubscription

Rýchlosť NIC sa musí zhodovať s tkaninou. 800Adaptéry G nerobia nič, ak je listová-chrbtica nadmerne predplatená alebo uplinky sú tenké. Skontrolujte rýchlosti listových a chrbticových portov, pomer nadmerného odberu, počet sieťových koľajníc, východný-západný vzor, ​​neúspešný{4}}návrh domény a požadovanú šírku pásma. Pri tréningu platí, že nižší pomer nadmerného predplatenia zvyčajne robí viac pre výkon ako rýchlejší NIC.

RoCE, InfiniBand a Ultra Ethernet

AI a HPC tkaniny sa opierajú o RDMA, aby znížili réžiu CPU, a protokol formuje NIC, prepínač, riadenie preťaženia a operácie. Dnes NDR InfiniBand beží rýchlosťou 400 Gb/s na port aXDR InfiniBand dosahuje 800 Gb/s na port, ktorý je priamo v súlade s úrovňami 400G a 800G NIC. Na strane Ethernetu je

Ultra Ethernet Consortium 1.0 špecifikáciadefinuje RDMA-over{1}}zásobník ethernetu zahŕňajúci sieťové karty, prepínače, optiku a kabeláž, zameraný priamo na AI a HPC-.

Vyberte si InfiniBand pre úzko integrovanú štruktúru HPC alebo AI s nízkou{0}}latenciou, keď váš tím pozná tento ekosystém. Vyberte si Ethernet alebo RoCE pre širší výber dodávateľov a cloudovú integráciu. Zvážte Ultra Ethernet, ak chcete štandardizovanú, otvorenú cestu pre ďalšiu-generáciu vysokovýkonného-ethernetu.

Optika, tvarové faktory a kabeláž

Pri 400G a 800G je fyzická kompatibilita dôležitá rovnako ako rýchlosť. Dva moduly môžu zdieľať rýchlosť, ale líšia sa tvarovým faktorom, tepelným dizajnom a požiadavkami na hostiteľa. Overte požiadavky na modul OSFP vs. QSFP112 vs. QSFP-DD, plochý-horný verzus rebrovaný-horný OSFP, prepínač{8}}bočný modul verzus NIC-, DAC, AEC, AOC alebo optický dosah, podporu prelomenia a kódovanie a firmvér dodávateľa. Nepredpokladajte, že 800G OSFP, ktorý funguje v prepínači, bude správne sedieť a chladiť v NIC; mnohé prepínače a moduly NIC používajú rôzne tepelné a mechanické konštrukcie.

Výkon, prietok vzduchu a tepelná validácia

800G komponenty spotrebúvajú viac energie a bežia teplejšie. Overte sieťovú kartu, optiku, porty prepínača a cestu prúdenia vzduchu pri trvalom zaťažení, nie pri nečinnosti. Potvrďte výkon sieťovej karty a optického-modulu, smer prúdenia vzduchu a výšku chladenia, maximálnu vstupnú teplotu, hustotu kábla a zablokovanie prúdenia vzduchu a predpoklady- proti kvapalinovému{5}}chladeniu. Tepelná nestabilita sa prejavuje ako klapky spojov a zvyšujúca sa chybovosť, čo je druh občasnej chyby, ktorú je vo výrobe pomalé a nákladné.

Bežné chyby, ktorým sa treba vyhnúť

Nákup 800G len preto, že je rýchlejší

800G nie je automaticky lepšie. Ak pracovné zaťaženie, server alebo tkanina nemôžu využiť šírku pásma, dodatočné náklady sa nepremenia na výkon aplikácie. Priraďte port k prekážke, ktorú skutočne máte.

Ignorovanie šírky pásma PCIe

NIC môže presúvať dáta len tak rýchlo, ako to umožňuje hostiteľská zbernica. Overte si generovanie PCIe, počet pruhov a topológiu servera pred výberom rýchlostnej triedy, nie po príchode hardvéru.

Výber nesprávneho optického modulu

Pri týchto rýchlostiach je rozhodujúci faktor tvaru modulu a tepelný dizajn. Nesprávny variant OSFP nemusí pasovať do danej klietky, alebo môže pasovať, ale prehrieva sa pri trvalej prevádzke, čo spôsobuje chyby, ktoré vyzerajú ako problém s tkaninou.

Zabudnite na dosah kábla

DAC, AEC, AOC, multimódová optika a optika s jedným{0}}režimom poskytujú rôzne vzdialenosti a rôzne druhy vlákien prenášajú rôzne vzdialenosti. náščlenenie OM1 až OM5 dosiahne limityukazuje, kde má každý stupeň vrchol. Výber nesprávneho prepojenia zvyšuje latenciu, náklady alebo prepracovanie.

Zaobchádzanie s NIC, prepínačmi a optikou ako so samostatnými nákupmi

Objednajte si adaptér, prepínač, optiku a kabeláž ako jeden overený kusovník. Nezhoda zistená po nasadení znamená port, ktorý sa pripája, ale klopí, alebo hardvér, ktorý sa musí vrátiť v polovici{1}}zostavy, čo je oveľa rušivejšie ako jeho zachytenie počas kvalifikácie.

Záverečné odporúčanie

Vyberte si 400G NIC a získajte osvedčený, nákladovo{1}}efektívny adaptér, ktorý vyhovuje súčasným AI, HPC, úložiskám a cloudovým sieťam. Je to praktická voľba pre väčšinu existujúcich klastrov GPU a miestností zmiešanej{3}}generácie. Vyberte si 800G NIC vtedy, keď hustota šírky pásma, veľkokapacitná-komunikácia GPU a pripravenosť na inováciu prevážia počiatočné náklady a keď je na to celá cesta postavená.

Rozhodnutie nikdy nie je len rýchlosť. Ide o to, či vaše servery, prepínače, optika, kabeláž, napájanie a chladenie dokážu premeniť túto rýchlosť na výkon aplikácie. Disciplína, ktorá chráni rozpočet, je jednoduchá: pred zadaním objednávky overte NIC, prepínač, optiku a kabeláž ako jeden systém.