InfiniBand vs RoCE pre siete AI Inference Networks

Vyberte siInfiniBandkeď vaša inferenčná pracovná záťaž žije alebo zaniká podľa predvídateľnej latencie chvosta a vyberte siRoCE(RDMA over Converged Ethernet), keď chcete výkon triedy RDMA-na ethernetovej látke, ktorú môžete škálovať, zdieľať a prevádzkovať s tímom, ktorý už máte. Ani jedna možnosť nevyhráva všade. Správne volanie závisí od vášho odvodeného vzoru, cieľových hodnôt latencie p99 a p999, škály GPU, rozpočtu a od toho, koľko bezstratových{5}}odborností na ladenie ethernetu skutočne je vo vašom tíme.

Prečo na sieti záleží viac, ako tímy inferencie očakávajú

Celé roky sa dedukcia považovala za ľahkú polovicu príbehu o GPU: model načítaný na jedinom uzle, požiadavky boli vybavované nezávisle, veľmi malá východo{0}}západná návštevnosť. Tento obrázok je už zastaraný. Moderná inferencia je čoraz rozšírenejšia a niekoľko vzorov vytvára skutočný tlak na tkaninu.

• Tenzorový paralelizmusrozdeľuje jednu vrstvu medzi GPU, takže každý krok tokenu spúšťa všetky{0}}redukčné alebo všetky{1}}zhromažďovacie operácie medzi nimi. To je častá, na latenciu -citlivá, krížová{4}} prevádzka GPU, ktorú GPU blokujú počas čakania.
• Paralelnosť potrubiaodovzdáva aktivácie z jednej fázy do druhej, často naprieč uzlami, čím sa pridávajú závislosti medzi uzlami ku každému prechodu dopredu.
• Rozčlenené predvyplnenie a dekódovanieoddeľuje výpočtovú-fázu ťažkej predvyplnenia od latencie-citlivej dekódovacej fázy a potom medzi nimi presúva vyrovnávaciu pamäť KV. Tieto prenosy sú veľké a nárazové a akékoľvek oneskorenie sa priamo prejaví ako pomalší čas-do-prvého{5}}tokenu a medzi-latencie medzi tokenmi.
• Získavanie-rozšírenej generácie (RAG)pridáva do vektorových a vyhľadávacích služieb východ{0}}západnú návštevnosť. Je to zvyčajne menej latencia-kritická ako kolektívne operácie, no stále načítava štruktúru, najmä pri veľkom objeme dopytov.
• Poskytovanie-viacerým nájomníkomstavia mnoho modelov a používateľov na rovnakú látku, kde sa dominantným rizikom stávajú mikrovýbuchy a hlučné-efekty susedov.

Keď je prekážkou sieť, symptómy sú drahé: dlhší čas-do-prvého{2}}tokenu, zastavenie grafických procesorov, kým čakajú na dáta, priepustnosť, ktorá sa zrúti a nestabilné p95 a p99. A tu je časť, ktorá prekračuje referenčné hodnoty: priemerná latencia to všetko skrýva. Inferencia produkcie sa posudzuje na chvoste, nie na priemere.

InfiniBand vs RoCE: Súhrnná tabuľka pre odvodenie AI

Čo je InfiniBand?

InfiniBand je účelovo{0}}vytvorená sieťová štruktúra navrhnutá od začiatku pre nízku latenciu, vysokú priepustnosť a bezstratovú komunikáciu. Nejde o rýchlejšiu verziu Ethernetu. Dodáva sa s vlastnými adaptérmi hostiteľského kanála, prepínačmi, správcom podsiete, ekosystémom kabeláže a modelom-kontroly preťaženia. Jeho definujúcou hodnotou je deterministické správanie: mnohé GPU dokážu komunikovať s prísnymi požiadavkami na časovanie a štruktúra sa správa konzistentne, aj keď je hromadná prevádzka hustá.

Moderné platformy InfiniBand orientované na AI- rozširujú túto základňu o možnosti zamerané priamo na veľké klastre GPU. Pridáva sa napríklad rad Quantum InfiniBand od NVIDIAadaptívne smerovanie,{0}}sieťové výpočty a telemetria{1}}riadenie preťaženia, ktoré pomáhajú tkanine inteligentne rozložiť premávku a izolovať záťaž jedného nájomcu od nákladu iného. Na záver, InfiniBand si zasluhuje svoje miesto, keď pracovná záťaž nedokáže tolerovať chvenie alebo keď si niekoľko uzlov GPU musí vymieňať dáta rýchlo a konzistentne.

Kompromis-sú cena, koncentrácia ekosystému a prevádzková špecializácia. Vyhradená tkanina InfiniBand znamená vyhradené prepínače, adaptéry, káble alebo optické moduly a inžinierov, ktorí sú spokojní so správou tkaniny InfiniBand. Organizácii, ktorá už prevádzkuje veľké ethernetové komplexy, priskrutkovanie samostatnej štruktúry zvyšuje zložitosť obstarávania, plánovanie náhradných{3}}dielov a réžiu monitorovania.

Čo je RoCE (RDMA over Converged Ethernet)?

RoCE prináša RDMA, priamu pamäť-k{1}}premiestňovaniu údajov do pamäte s nízkou réžiou procesora, do ethernetových sietí. RoCEv2, verzia používaná v moderných dátových centrách, je smerovateľná cez siete IP vrstvy 3 a bola štandardizovanáObchodné združenie InfiniBand. Táto smerovateľnosť umožňuje RoCE prirodzene zapadnúť do ethernetových{1}}konštrukcií chrbtice a zároveň opätovne používať známe sieťové karty, prepínače, optiku a monitorovacie nástroje.

Háčik je v tom, že prenosy RDMA predpokladajú takmer -bezstratovú sieť. Odhoďte paket a prenos sa vráti späť na správanie pri opakovanom prenose, ktoré poškodí koncovú latenciu. RoCE teda potrebuje, aby sa Ethernet pod ním správal ako bezstratová tkanina, a to závisí od starostlivej konfigurácie najmä dvoch mechanizmov:Prioritné riadenie toku (IEEE 802.1Qbb), ktorá pozastaví jednu triedu premávky, aby sa zabránilo poklesu, aExplicitné upozornenie na preťaženie (ECN), ktorý včas signalizuje preťaženie, takže odosielatelia spomalia skôr, ako sa preplnia vyrovnávacie pamäte. Pridajte k tomu správu frontov, prideľovanie vyrovnávacej pamäte a mapovanie QoS a je jasné, že vysoko{1}}výkonný RoCE nie je obyčajný Ethernet.

Robené dobre, RoCE poskytuje dostatočnú latenciu a priepustnosť pre širokú škálu produkčných inferenčných služieb a mnohé inferenčné pracovné zaťaženia sú menej synchronizované ako distribuované školenia, čo je v prospech RoCE. Ak sa to robí zle, spôsobuje stratu paketov, blokovanie-hlavnej{2}}linky, šírenie preťaženia a nestabilné chvosty, čo všetko sa priamo prejavuje zníženou kvalitou služieb.

Latencia InfiniBand vs RoCE: Čo je lepšie pre odvodenie p99?

Obe štruktúry môžu poskytovať siete s vysokou{0}šírkou pásma a nízkou{1}}latenciou. Líšia sa tým, ako sa tam dostanú. InfiniBand je svojou konštrukciou deterministický, takže chvenie zostáva nízke aj pri zmiešanom zaťažení. RoCE sa mu môže rovnať pri mnohých pracovných zaťaženiach, ale výsledok závisí od štruktúry Ethernetu a od toho, ako dobre je vyladený.

Z hľadiska nasadenia je skutočným problémom vo výrobe len zriedka špičková šírka pásma. Je nervózny pri zmiešanej, nárazovej prevádzke s viacerými-nájomníkmi. Tkanina RoCE, ktorá je úspešná v čistom teste priepustnosti v štýle iperf-, môže stále minúť svoj cieľ p99 v momente, keď do obrazu vstúpia mikrobursty a spory. Táto priepasť medzi laboratórnym benchmarkom a produkčnou SLA je miestom, kde žije väčšina prekvapení.

InfiniBand má tendenciu mať výhodu, keď:

• Služba má prísne ciele latencie p99 alebo p999.
• Inferencia zahŕňa viacero uzlov GPU s paralelizmom tenzora alebo potrubia alebo používa rozčlenené predvyplnenie a dekódovanie.
• Využitie GPU je veľmi citlivé na oneskorenie siete, takže prestoje sú drahé.
• V klastri prebieha malý počet úloh s vysokou{0}}prioritou, kde predvídateľnosť prevažuje nad flexibilitou.

RoCE je zvyčajne dosť dobrý, keď:

• Žiadosti sú väčšinou nezávislé alebo je spojenie voľné.
• Práca prebieha v rámci uzla alebo malého počtu uzlov.
• Dávková priepustnosť je dôležitejšia ako ultra{0}}nízka latencia.
• Tím už Ethernet prevádzkuje a prioritou je flexibilita nákladov alebo dodávateľa.
• Klaster podporuje viacerých nájomníkov alebo zmiešané pracovné zaťaženia.

Náklady na RoCE vs InfiniBand: Čo v skutočnosti poháňa TCO?

RoCE sa často nazýva lacnejšia možnosť, ale cena prepínača je malá časť obrazu. Realistické porovnanie sa pozerá na celý balík: sieťové adaptéry alebo HCA, prepínače, optické moduly, DAC, AOC a optická kabeláž, racková topológia, napájanie a chladenie, sieťový operačný systém, monitorovanie a telemetria, čas inžinierstva, náhradné diely, podpora dodávateľa a cesta k 400G alebo 800G.

InfiniBand zvyčajne nesie vyššie počiatočné náklady, pretože vyžaduje špeciálnu tkaninu a špecializované komponenty. V prostrediach, kde je deterministické správanie najvyššou prioritou, môže znížiť úsilie o ladenie a odstraňovanie problémov, ktoré si bezstratová sieť Ethernet vyžaduje. RoCE znižuje náklady na hardvér, keď je možné opätovne použiť existujúce ethernetové zariadenie so správnou podporou premostenia dátového centra, ale presúva úsilie na navrhovanie, overovanie, monitorovanie a riešenie problémov bezstratovej štruktúry. Nízko-nákladový dizajn RoCE sa rýchlo predraží, ak spôsobí nestabilnú latenciu a opakované hasenie.

Náklady a riziká sa s rastúcou rýchlosťou sústreďujú na fyzickú vrstvu. Pri 400G a 800G dominuje optika v účtovnom aj poruchovom režime. Väčšina vysokorýchlostných-portov pristávaQSFP-DD alebo porovnateľné tvarové faktorya zodpovedajúca dopravajedno{0}}režimová alebo viacrežimová optikak vášmu skutočnému dosahu je jedným z najjednoduchších spôsobov, ako sa vyhnúť nadmerným výdavkom na látku, ktorá nepotrebuje diaľkové-moduly.

Na rovinu: RoCE nie je lacnejšia možnosť, ak vášmu tímu chýbajú bezstratové{0}}odborné znalosti siete Ethernet. Úspory na hardvéri sa dajú rýchlo zjesť technickými nákladmi na udržanie stability látky.

Škálovateľnosť a operácie

Škálovateľnosť je viac ako počet portov. Zahŕňa to, ako ľahko sa tkanina nasadzuje, monitoruje, rozširuje a obnovuje, keď niečo zlyhá.

InfiniBand je silný, keď je klaster od prvého dňa navrhnutý ako špecializovaná-výkonná štruktúra. Poskytuje konzistentné správanie vo veľkom rozsahu, ale očakáva-špecifické nástroje InfiniBand, ako je napríklad správca podsiete a jednotná správa štruktúry a zamestnanci, ktorí sú spokojní s konceptmi InfiniBand. Vďaka tomu sa prirodzene hodí pre centralizované klastre AI postavené na pracovných zaťaženiach GPU.

RoCE zapadá do návrhov dátových centier Ethernet: topológie list{0}}spine, smerovanie IP, ECMP a známe postupy monitorovania. To je presne dôvod, prečo oslovuje cloud-štýl a multi{3}}nájomnú infraštruktúru GPU. Disciplína, ktorú vyžaduje, je dôslednosť. PFC, ECN, QoS, správa vyrovnávacej pamäte a kontrola preťaženia musia byť navrhnuté koherentne na celej ceste, pretože malá nesprávna konfigurácia v jednom rohu štruktúry môže rozšíriť a znížiť množstvo pracovných záťaží naraz. Fyzická vrstva musí tiež škálovať čisto; vysoká-hustotaMPO a MTP trunk a breakout kabelážudrží rastúcu listovú-látku chrbtice zvládnuteľnú namiesto toho, aby sa každá expanzia zmenila na puzzle s kabelážou.

Za zmienku stojí zrkadlový{0}}obrázok: InfiniBand je ťažké odôvodniť, keď odvodenie zostáva väčšinou v rámci jedného uzla a tkanina sa sotva uplatňuje.

Ktorá sieť pre jednotlivé odvodené úlohy

Keď je RoCE dosť dobrý a keď sa stáva riskantným

RoCE je dosť dobrý pre nezávislé alebo voľne prepojené požiadavky, dávkovú{0}}činnosť orientovanú na priepustnosť a klastre s viacerými{1}}nájomníkmi, v ktorých môžete vyladiť izoláciu, najmä ak tím ovláda ethernetové prepojenie dátového centra. Stáva sa rizikovým špecifickými, rozpoznateľnými spôsobmi:

• PFC búrky.Pozastavené rámce sa šíria proti prúdu a zmrazujú prevádzku, ktorá nemá nič spoločné s pôvodným preťažením.
• Blokovanie vedúceho-riadenia-.Mapovanie hrubej priority umožňuje jednej preťaženej triede zastaviť ostatné zdieľajúce front.
• Chybné nastavenie ECN.Označte príliš neskoro a dostanete kvapky; značka príliš agresívne a zbytočne škrtíte priepustnosť.
• Microburst preťaženie.Sub{0}}sekundové zhluky pretečia medzipamäte, ale zostávajú neviditeľné pre monitorovanie týchto vzoriek v-sekundovom rozlíšení.
• Nekonzistentná konfigurácia.Nezhodné nastavenia naprieč listom a chrbtom spôsobujú, že preťaženie sa skôr šíri, než aby zostalo lokálne.

Žiadny z týchto dôvodov nie je dôvodom, prečo sa vyhnúť RoCE. Sú to dôvody, prečo navrhnúť bezstratovú tkaninu koherentne od začiatku do konca, a investovať do jemnozrnnej telemetrie s mikrotrhlom-pred škálovaním.

Keď sa InfiniBand oplatí a keď prekupujete

InfiniBand si zaslúži svoju prémiu pre prísne ciele p99 a p999, úzko prepojené viac{2}}poskytovanie uzlov a kritické{3}}pracovné zaťaženie, pri ktorom sú vysoké postihy SLA, najmä na vyhradenom klastri GPU navrhnutom okolo štruktúry. Pravdepodobne nakupujete nadmerne, keď odvodenie zostáva v rámci uzla, keď je práca orientovaná na priepustnosť-dávky, keď potrebujete rovnakú štruktúru aj na prenos úložiska, správy a prevádzky v cloude pre viacerých-nájmov, alebo keď vám jednoducho chýba prevádzková kapacita na dobré fungovanie InfiniBand.

Náklady, ktoré sa neobjavia v cenovej ponuke prepínača, sú skutočné: koncentrácia ekosystému, režijné náklady na prevádzku druhej štruktúry paralelne s vašou ethernetovou sieťou a samostatné plánovanie náhradných dielov, optiky a monitorovania.

Ako otestovať InfiniBand vs RoCE predtým, ako si vyberiete

Nerozhodujte o reputácii protokolu alebo hárku so špecifikáciami. Rozhodnite sa pre benchmark, ktorý sa podobá výrobe. Praktická postupnosť:

• Definujte SLA v chvostoch.Nastavte p50, p95, p99 a p999 na čas-do-prvého-latencie tokenu a medzi-tokenu, nie len priemeru.
• Prehrajte si realistickú premávku.Namiesto jedného čistého streamu používajte hromadné, zmiešané veľkosti modelov a súbežné{0}}rovnanie viacerých nájomníkov.
• Zaťaženie do preťaženia.Zatlačte tkaninu, kým nebude skutočne napnutá, a potom zmerajte využitie GPU. Ak sa GPU v sieti zastavujú, prekážkou je tkanina.
• Sledujte správne počítadlá.Sledujte rámce pozastavenia, značky ECN, zanechanie paketov, opakované prenosy, počítadlá chýb portov a pri 400G a 800G chyby FEC.
• Overte fyzickú vrstvu.Dôležité je čisté, správne nainštalované vlákno;starostlivá inštalácia vláknazabraňuje občasným, ťažko{0}}{1}}diagnostikovateľným chybám, na ktoré sú vysokorýchlostné-linky náchylné.

Ak si RoCE udrží svoj cieľ p99 pod realistickým, náročným, multi-nájomníkom so stabilnými počítadlami, je to silná a nákladovo-efektívna voľba. Ak prejde iba čistými testami jedného{4}}streamu, ešte ste netestovali vec, ktorá rozhoduje o vašej zmluve SLA.

Bežné chyby, ktorým sa treba vyhnúť

• Za predpokladu, že všetky závery sú ľahké siete.Niektoré závery sú jednoduché a nezávislé; niektoré sú distribuované, sú citlivé na{0}}latenciu a sú náročné na{1}}šírku pásma. Zaobchádzať so všetkým ako s jednoduchým vedie k nevybudovanej infraštruktúre.
• Porovnanie len priemernej latencie.Inferencia produkcie závisí od chvosta. Vždy vyhodnocujte p95, p99 a p999 pri reálnej prevádzke.
• Zaobchádzanie s RoCE ako s Ethernetom typu plug{0}}and{1}}play.Vysoký-výkon RoCE si vyžaduje zámerný bezstratový{1}}látkový dizajn, kontrolu preťaženia a nepretržitú pozorovateľnosť.
• InfiniBand si vyberiete len preto, že je rýchlejší.Najlepšia možnosť výkonu nie je vždy najlepšou obchodnou možnosťou. Ak pracovné zaťaženie nevyžaduje deterministické správanie, RoCE môže poskytnúť lepšiu hodnotu.
• Ignorovanie fyzickej vrstvy.Pri 400G a 800G vytvárajú káble, optika, konektory a čistota vlákien občasné chyby, ktoré sa ťažko hľadajú a ich oprava je nákladná.

Zrátané a podčiarknuté

Pre odvodenie AI sú InfiniBand a RoCE platné a slúžia rôznym prioritám. Vyberte si InfiniBand, keď potrebujete najkonzistentnejšiu sieť s nízkou{1}}latenciou v reálnom-čase, citlivú na SLA-alebo úzko spojené odvodenie. Vyberte si RoCE, keď potrebujete škálovateľnú, ethernetovú-a nákladovo{6}}efektívnu štruktúru pre dávkové odvodzovanie, služby GPU pre viacerých{7}}nájomcov, pracovné zaťaženie RAG a flexibilnú infraštruktúru.

Rozhodnutie by sa malo začať pracovným zaťažením, cieľom latencie, škálou klastra, vašimi prevádzkovými schopnosťami a plánom aktualizácie, nie protokolom. Ak váš klaster musí držať prísny p99 pri veľkej záťaži, InfiniBand si zaslúži vážnu pozornosť. Ak je vaším cieľom ekonomické škálovanie záverov v ethernetovom dátovom centre, RoCE je zvyčajne praktickejšia cesta. Tak či onak, pred potvrdením urobte porovnanie v rámci produkcie-ako zaťaženie.