Návrh siete AI Cluster: Spine{0}}Leaf, RoCE a NIC

Návrh klastrovej siete s umelou inteligenciou je proces dimenzovania sieťových adaptérov GPU serverov, šírky pásma{0}}hlavnej časti, pomeru nadmerného predplatenia, nastavení RoCE, optiky a kabeláže, takže distribuovaná tréningová prevádzka zostáva predvídateľná pri škálovaní klastra. Pomýlite sa a prekážkou sa stane sieť -, nie GPU -.

Prečo je sieť klastrov AI iná

V tradičnom podnikovom dátovom centre sieť spracováva kombináciu severnej{0}}južnej používateľskej prevádzky, prístupu k úložisku, virtualizácie a správy. Premávka z východu-západu existuje, ale zriedka je dominantnou záťažou. V klastri AI sa situácia obráti. Servery GPU, na ktorých bežia distribuované gradienty školení, a synchronizujú parametre počas každého kroku úlohy. Táto komunikácia je súčasťou výpočtu, nie jeho vedľajším účinkom.

Ak GPU za 30 000 USD strávi 30 % svojho času čakaním v sieti počas všetkých-redukovaných operácií, klaster efektívne zaplatí 30 % svojej výpočtovej kapacity nečinnosti. To je ekonomický dôvod, prečo sa umelej inteligencii venuje toľko pozornosti.

Dizajn riadia tri charakteristiky pracovného zaťaženia:

• Prudká východná{0}}západná premávka.Operácie kolektívnej komunikácie, ako sú všetky{0}}zníženie, všetky{1}}zhromažďovanie a znižovanie-rozptylu, vytvárajú synchronizované zhluky medzi mnohými uzlami súčasne.
• Citlivosť chvosta-latencie.Jediný pomalý uzol oneskorí celý tréningový krok. Predvídateľná latencia je dôležitá viac ako priemerná latencia.
• Škálujte-rast.Klastre, ktoré začínajú na 32 GPU, sa často rozrastú na 256 alebo 1 024 v priebehu 18 mesiacov. Tkanina musí mieriť bez zmeny dizajnu.

Prečo Spine-Leaf vyhovuje klastrom AI

Chrbtový-list je štandardná štruktúra pre hyperškálové dátové centrá, pretože poskytuje každému serveru-k{2}}serveru rovnaký počet skokov a rovnakú teoretickú šírku pásma. Pri pracovných zaťaženiach AI sa táto jednotnosť priamo premieta do predvídateľnejších časov tréningových krokov.

V topológii chrbtového{0}}listu sa servery GPU pripájajú k prepínačom listu a každý list sa pripája ku každej chrbtici. Akákoľvek komunikácia medzi GPU-k-GPU prechádza presne cez jeden list, jeden chrbát a jeden ďalší list. Neexistujú žiadne agregačné vrstvy, ktoré by zavádzali variabilnú latenciu alebo škrtiace body.

Predvídateľná latencia

Rovnaké{0}}nákladové-cestné smerovanie (ECMP) rozširuje toky medzi prepínačmi chrbtice. Pri správnej konfigurácii s adaptívnym smerovaním alebo dynamickým vyvažovaním záťaže to zabráni kolíziám hash, ktoré spôsobujú, že niektoré toky sú oveľa pomalšie ako iné -, čo je známy problém v statických štruktúrach ECMP, ktoré nesú málo, ale veľké toky, čo je presne to, čo generuje školenie AI.

Vysoká šírka pásma

Šírka pásma bisekcie je priepustnosť dostupná medzi akýmikoľvek dvoma rovnakými polovicami klastra. Tréning AI ťaží z neblokujúcich alebo takmer{2}}neblokujúcich{3}} dizajnov, kde kapacita odskoku od -k{5}}spinu sa rovná alebo takmer rovná kapacite zostupnej linky smerujúcej k serverom. IETF definuje a diskutuje tieto pojmy vRFC 7938, ktorá pokrýva BGP-smerované štruktúry Clos, ktoré sa bežne používajú vo veľkých-dátových centrách.

Jednoduchšie škálovanie-Von

Pridajte ďalšie listy a pridajte ďalšie servery. Pridajte viac chrbtov, aby ste pridali väčšiu šírku pásma. Pre klastre s viac ako niekoľkými tisíckami GPU rozširuje super-chrbtica (5-stupňový Clos) alebo topológia optimalizovaná pre koľajnice rovnaký princíp o jednu vrstvu ďalej.

Hlavné komponenty klastrovej siete AI

Servery GPU a NIC

NIC je miesto, kde sa tkanina stretáva s hostiteľom. V klastroch AI sa výberom sieťovej karty riadi rýchlosť portu prepínača -, výber optiky a hustota káblov.

Kritériá výberu pre pracovné zaťaženie AI:

• Rýchlosť portu:200G, 400G alebo 800G na port. Prispôsobte sa generácii GPU a šírke pásma PCIe.
• Generácia PCIe:Sieťová karta 400G potrebuje PCIe Gen5 x16, aby sa zabránilo-obmedzovaniu na strane hostiteľa. PCIe Gen4 x16 limituje pri ~256 Gbps použiteľných.
• Podpora RDMA a RoCEv2:Vyžaduje sa pre jadro-obídenie komunikačných knižníc GPU, ako je NCCL.
• GPUDirect RDMA:Umožňuje priamemu GPU-na-NIC DMA, odstraňovanie kópií hostiteľskej pamäte.
• Schopnosť viacerých-koľajníc:Mnoho serverov AI používa 4 alebo 8 NIC na uzol, jednu na pár GPU, pre železničné-optimalizované topológie.

Typický 8-GPU server dnes používa buď 4× 400G NIC (jedna na dva GPU) alebo 8× 400G NIC (jedna na GPU) v závislosti od pracovného zaťaženia a rozpočtu. Referenčné architektúry zDokumentácia NVIDIA Networkingpodrobne pokryť dizajnové kompromisy.

Listové a chrbtové spínače

Kritériá výberu prepínačov pre umelú inteligenciu sa líšia od podnikového výberu. Veľkosť vyrovnávacej pamäte, správanie pri kontrole preťaženia a telemetria sú dôležitejšie ako šírka funkcie.

• Na-rýchlosť portu a radix:Prepínač ASIC s rýchlosťou 51,2 Tb/s poskytuje 64× 800G porty alebo 128× 400G porty. Radix určuje, aká plochá môže byť látka.
• Architektúra vyrovnávacej pamäte:Hlboké vyrovnávacie pamäte absorbujú incast výbuchy, ale zvyšujú latenciu. Plytké vyrovnávacie pamäte znižujú latenciu, ale vyžadujú presnú kontrolu preťaženia.
• Sada funkcií RoCE:Označenie ECN, PFC, DCQCN alebo ekvivalentné riadenie preťaženia a správne zaobchádzanie s prioritnými frontami od začiatku do konca.
• telemetria:Telemetria vnútropásmovej siete (INT), hlásenie o hĺbke za -fronty a počítadlá rozlíšenia mikrosekúnd- pre značky ECN a PFC pauzy.

Optika, DAC a kabeláž AOC

Pri 400G a 800G sa kabeláž stáva skutočným technickým problémom. Faktory tvaru, prepojovacie rozpočty a konfigurácie oddelení vyžadujú včasné plánovanie.

• DAC (Meď s priamym pripojením):Až ~3 metre pre 400G, najnižšie náklady a najnižší výkon. Ťažké a objemné v mierke.
• AOC (aktívny optický kábel):Až ~30 metrov, tenší ako DAC, ale s pevnou{1}}dĺžkou a spotrebúva energiu optiky na oboch koncoch.
• Zapojiteľná optika:Vyžaduje sa mimo vzdialenosti AOC. QSFP-Formové faktory DD a OSFP dominujú 400G/800G. Vláknové zostavy MPO/MTP zvládajú paralelné-pripojenia vlákien.

Pre inter{0}}rackové prepojenia a štruktúrovanú kabeláž pri 400G/800G je teraz štandardom paralelná optika cez MPO koncovky. Voľba medzi hlavnými káblami a prerušovacími zostavami závisí od pridelenia portu prepínača - pozrite si našeVylamovacie vedenie kábla MPOpre praktickú logiku výberu a širšiuPorovnanie kmeňa MPO vspri plánovaní behu od{0}}po{1}}chrbticu.

RoCE a Lossless Ethernet v AI Fabrics

RoCEv2 (RDMA over Converged Ethernet v2) je dominantný ethernetový prenos pre pracovné zaťaženia AI. Umožňuje sieťovým adaptérom presúvať údaje priamo medzi oblasťami pamäte GPU bez zapojenia jadra na oboch koncoch. NCCL, komunikačná knižnica GPU, ktorá je základom takmer všetkých distribuovaných tréningových rámcov, používa RoCEv2, keď InfiniBand nie je k dispozícii.

RoCE funguje dobre, keď je správne nakonfigurovaný. Pri nesprávnej konfigurácii škaredo zlyhá. TheObchodné združenie InfiniBandzverejňuje špecifikácie RoCE a väčšina predajcov sieťových kariet a prepínačov publikuje podrobné konfiguračné príručky, ktoré by ste mali{0}}do konca{1}}dodržiavať.

Prečo je dôležité bezstratové správanie

RDMA bol navrhnutý s predpokladom bezstratového prenosu. Keď pakety klesnú, obnova RDMA je drahá - vráťte sa-späť-Opätovný prenos N môže zastaviť tréningový krok na milisekúnd, čo je obrovské množstvo v porovnaní s mikrosekundovým-rozpočtom RDMA.

Na aproximáciu bezstratového správania na Ethernete používa tkanina dva mechanizmy, ktoré spolupracujú:

• PFC (riadenie prioritného toku, IEEE 802.1Qbb):Prepínač pozastaví prichádzajúcu prevádzku vo fronte so špecifickou prioritou, keď sa jeho vyrovnávacia pamäť naplní. Toto je mechanizmus poslednej{1}}možnosti.
• ECN (Explicitné oznámenie o preťažení, RFC 3168):Prepne označovacie pakety, keď sa fronty priblížia k prahu. NIC znižuje rýchlosť odosielania skôr, ako sa vyrovnávacie pamäte skutočne naplnia, v ideálnom prípade sa úplne vyhne PFC.

Cieľom je, aby ECN vykonávala takmer celý manažment preťaženia, pričom PFC je bezpečnostnou sieťou. Ak vidíte časté prestávky PFC v ustálenom-stave návštevnosti, vaše limity ECN sú nesprávne alebo vaša tkanina je poddimenzovaná.

Bežné zlyhania nasadenia RoCE

Ako navrhnúť sieť klastrov AI: pracovný rámec

Toto je časť, ktorú väčšina článkov o AI networkingu preskakuje. Sedem krokov nižšie vám poskytne konkrétne vstupy a výstupy v každej fáze.

Krok 1: Definujte pracovné zaťaženie a rozsah

Vstupy:Typ pracovného zaťaženia (predtréning, jemné{0}}ladenie, odvodenie, zmiešané), cieľový počet GPU dnes, cieľový počet GPU za 18 mesiacov, rozsah veľkosti modelu.

výstup:Profil pracovného zaťaženia, ktorý informuje o rýchlosti NIC a tolerancii nadmerného odberu. Veľké predtrénovanie hraničných modelov si vyžaduje-neblokujúce látky 400G+. Jemné{5}}vyladenie pracovného zaťaženia môže tolerovať nadmerný odber 2:1. Inferenčné klastre často potrebujú nižšiu šírku pásma, ale nižšiu latenciu chvosta.

Krok 2: Vyberte rýchlosť NIC a počet na server

Logika rozhodovania:

• Predtrénovanie veľkých modelov, 8-GPU servery → 4–8× 400G NIC na server, alebo 4× 800G
• Stredné{0}}školenie, 8 serverov GPU → 2–4 × 400G NIC na server
• Inferencné poskytovanie → 1–2× 200G alebo 400G NIC na server, v závislosti od paralelizmu modelu

Overte šírku pásma PCIe na hostiteľovi. Jeden 400G port vyžaduje PCIe Gen5 x16, aby fungoval rýchlosťou linky; zdvojnásobenie na 800G vyžaduje Gen6 alebo rozdelenie medzi dva sloty.

Krok 3: Veľkosť listovej vrstvy

Fungovaný príklad - 32-klastra uzlov, 8 GPU na uzol, 4 × 400G NIC na uzol:

• Celkový počet{0}}serverových potrebných portov: 32 × 4=128 portov pri 400G
• Šírka pásma sťahovania na uzol: 4 × 400=1.6 Tb/s
• Celková šírka pásma downlinku klastra: 32 × 1.6=51.2 Tb/s

Pomocou 64-portového 400G listového prepínača (celková kapacita 25,6 Tbps) môže každý list pripojiť 32 serverových portov a zvyšných 32 portov použiť ako uplinky. So 4 listami pokryjete všetkých 128 serverových portov. Každý list prispieva 32 × 400 G=12.8 Tbps uplinku smerom k chrbtici.

Krok 4: Veľkosť vrstvy chrbtice

Pri neblokujúcom (1:1) návrhu sa musí celková uplinková kapacita rovnať celkovej downlinkovej kapacite. Od kroku 3:

• Celkový požadovaný uplink listu: 4 listy × 12,8 Tb/s=51.2 Tb/s
• Ak má každá chrbtica 32 × 400G portov=12.8 Tb/s, potrebujete 4 chrbtice
• Každý list sa pripája ku všetkým 4 chrbtom pomocou 8 uplinkov na chrbticu (8 × 400G × 4=12.8 Tbps na list - sa zhoduje)

Ak používate 64-portové 400G chrbticové prepínače, každá chrbtica má voľnú kapacitu na rozšírenie klastra, čo je užitočné pre 18-mesačný plán od kroku 1.

Krok 5: Nastavte pomer nadmerného odberu

Krok 6: Oddeľte prevádzku výpočtov, ukladacieho priestoru a správy

Tri možnosti v poradí zvýšenia izolácie:

• Zdieľaná štruktúra s triedami QoS:Výpočet, ukladanie a správa na samostatných prioritách DSCP. Najnižšie náklady; vyžaduje starostlivú konfiguráciu QoS.
• Logicky oddelené siete VLAN/VRF:Rovnaký hardvér, oddelené riadiace roviny. Užitočné pre klastre viacerých-nájomcov.
• Fyzicky oddelené tkaniny:Vyhradené sieťové karty, prepínače a kabeláž pre výpočty vs. úložisko. Najvyššie náklady; bežné v skupinách hraničných{2}}modelov, kde je akýkoľvek spor neprijateľný.

Prevádzka úložiska pre AI je sama osebe ťažká - zápisy kontrolného bodu pre veľký model môžu presunúť stovky gigabajtov v krátkych dávkach. Explicitne si to naplánujte. Závod na výrobu štruktúrovanej kabeláže s vysokou-kabelážouHlavné káble MPO/MTPzjednodušuje spustenie paralelných štruktúr v rovnakej fyzickej infraštruktúre.

Krok 7: Overenie pred výrobou

Testy na{0}}úrovni siete zachytávajú určité problémy. Testy na{2}}úrovni pracovného zaťaženia zachytia zvyšok.

• šírka pásma:iperf3 alebo ib_send_bw medzi každým párom uzlov; by mala dosiahnuť 90 %+ rýchlosti linky NIC.
• Latencia:ib_read_lat alebo podobne; skontrolujte distribúciu, nielen priemernú. P99,9 záleží viac ako priemer.
• Strata paketov:Spustite 24-hodinový test nasiaknutia pri záťaži; akákoľvek nenulová strata v prevádzkovej triede RoCE je problém.
• Správanie ECN označovania:Pred spustením PFC skontrolujte, či sa objavia značky; ak sú pauzy PFC v ustálenom stave časté, prelaďte.
• Kolektívna komunikácia:Spustite testy NCCL (all_reduce_perf, all_gather_perf) pri plnej veľkosti klastra. Porovnajte s referenčnými číslami predajcu.
• Test na{0}}úrovni práce:Vykonajte reprezentatívnu školiacu úlohu po dobu 4–6 hodín. Sledujte trvalé hodnoty využitia GPU - pod 50 % na modeli správnej{5}}veľkosti zvyčajne indikujú problém so sieťou.

Tradičná sieť dátových centier vs AI Spine-Leaf Fabric

Ethernet RoCE vs InfiniBand: Sprievodca rýchlym rozhodnutím

Táto otázka sa objavuje takmer v každom klastrovom projekte AI. Obidve fungujú. Voľba zvyčajne závisí od prevádzkyschopnosti, nie podľa čistého výkonu.

• Vyberte InfiniBand, ak:Váš tím už používa štruktúry InfiniBand, chcete najjednoduchšiu cestu k bezstratovej preprave alebo si kupujete plne -integrovanú referenčnú architektúru dodávateľa.
• Vyberte Ethernet RoCE, ak:Váš operačný tím je ethernetový-natívny, chcete možnosti prepínania od viacerých{1}}dodávateľov, potrebujete integrovať štruktúru AI s existujúcimi sieťami dátových centier alebo očakávate rozšírenie nad rámec toho, čo aktuálne topológie InfiniBand čisto podporujú.

Konzorcium Ultra Ethernet, ktoré vzniklo v roku 2023, aktívne pracuje na štandardizácii vylepšení Ethernetu špeciálne pre pracovné zaťaženie AI. Pre väčšinu nových klastrov v roku 2026 je Ethernet RoCE obhajiteľným predvoleným nastavením, pokiaľ neexistuje konkrétny dôvod zvoliť si inak.

Bežné chyby, ktorým sa treba vyhnúť

Aktualizácia prepínačov bez kontroly NIC

Prepínač 800G za vás neurobí nič, ak vaše NIC bežia na 400G alebo ak vášmu hostiteľskému PCIe dôjde šírka pásma. Najprv navrhnite stranu hostiteľa, potom stranu prepínača. PCIe Gen5 x16 obmedzuje jeden port na približne 504 Gb/s v reálnom svete-priepustnosti - pohodlnej pre 400G, marginálne pre 800G.

Optimalizácia rýchlosti portu, ale ignorovanie hustoty kabeláže

Pri 64{4}}porte 400G sa kabeláž pod každým prepínačom môže stať fyzicky neovládateľnou bez plánovania. V prípade potreby použite prerušovacie káble, veďte vlákna cez štruktúrované cesty a štandardizujte typy konektorov. Pri vysokých rýchlostiach záleží na kvalite konektora a zakončení – našaSprievodca typmi konektorov z optických vlákienpokrýva kompromisy medzi LC, MPO a vznikajúcimi-formnými faktormi s vysokou hustotou.

Považovať RoCE za Plug-and{1}}Play

Najväčšou chybou v dizajne v skutočných klastroch AI je nevybratie nesprávneho prepínača -, ale podceňovanie toho, koľko práce na konfigurácii RoCE je potrebné od začiatku do konca. Rozpočtový čas na ladenie prahových hodnôt ECN, priorít PFC a konzistentnosti MTU. Pred spustením akéhokoľvek pracovného zaťaženia naplánujte vyhradenú fázu overovania.

Miešanie celej premávky na jednej látke bez QoS

Replikácia úložiska, monitorovací agenti a prevádzka správy môžu narušiť časy tréningových krokov, ak zdieľajú vyrovnávacie pamäte s výpočtovou prevádzkou. Buď ich fyzicky oddeľte, alebo vynucujte prísne triedy QoS so samostatnými prioritami a konfiguráciou ECN.

Budovanie len pre dnešný klaster

Väčšina klastrov AI narastie 4–8× do dvoch rokov od počiatočného nasadenia. Vyberte si prepínač a kapacitu chrbtice, ktorá umožňuje-nerušivé rozšírenie. Ťahanie káblov v živom dátovom centre AI je drahé; plánovanie kapacity vedenia a opravy v čase nasadenia je lacné.

Kedy zvýšiť zo 400 G na 800 G

800G NIC a prepínače sú k dispozícii, ale drahšie na port. Zvážte zvýšenie, keď:

• Na-požiadavky na šírku pásma GPU presahujú to, čo môže poskytnúť 400G -, napríklad H100 a novšie GPU s NVLink 5 očakávajú vyššiu externú šírku pásma
• Všetky NCCL-znižujú časové rozpätie s veľkosťou klastra, čo naznačuje saturáciu siete
• Hustota káblov pri 400G sa stáva fyzicky nezvládnuteľnou - menej 800G portov môže nahradiť viac 400G portov
• Očakáva sa, že ďalšia generácia GPU vo vašej cestovnej mape ju bude potrebovať v rámci odpisového okna klastra
• Vytvárate hraničný-výcvikový klaster, v ktorom každý nečinný výpočtový čas stojí výrazne viac ako inovácia optiky

Pre väčšinu produkčných klastrov v roku 2026 zostáva 400G správnou rovnováhou medzi nákladmi, vyspelosťou ekosystému a schopnosťou. 800G má zmysel v najvyššom segmente a ako investícia do budúcnosti pre klastre, ktoré sa budujú dnes a očakáva sa, že budú fungovať 4 až 5 rokov.

Záver

Najsilnejšia klastrová sieť AI nie je tá s najrýchlejšími prepínačmi. Je to ten, kde sa výber NIC, veľkosť listu/chrbta, nadmerné predplatné, konfigurácia RoCE, oddelenie prevádzky a fyzická kabeláž navzájom podporujú a podporujú pracovné zaťaženie, pre ktoré boli vybrané.

Začnite od pracovného zaťaženia a 18-mesačného plánu rastu. Vypočítajte potrebu šírky pásma v každej vrstve pomocou reálnych čísel, nie iba orientačných pravidiel. Nakonfigurujte RoCE end-na{6}}koniec a overte to pomocou skutočných štandardov kolektívnej komunikácie. Rozpočet na kabeláž – pri 400G a 800G už fyzická vrstva nie je triviálna.

Všetkým týmto vrstvám venuje pozornosť klaster, ktorý zaneprázdne svoje GPU pri 95 %+ využití počas každého tréningového kroku. Klaster, ktorý sa dodáva s rýchlejším prepínačom a pomalšou štruktúrou, bude roky vysvetľovať, prečo sú GPU nečinné.

Ďalšie čítanie

• RFC 7938 - BGP vo veľkých{1}}údajových centrách
• InfiniBand Trade Association - špecifikácie RoCE
• Dokumentácia siete NVIDIA
• Sprievodca inštaláciou kábla z optických vlákien
• Vysvetlenie straty vloženia verzus straty návratu