100G QSFP28 Spine-Dizajn listu: Vyhnite sa chybám v porte

100G chrbticová-látka je jedným z najspoľahlivejších spôsobov pripojenia 25G serverov, 100G uplinkov, klastrov úložísk a východného-západného{5}}ťažkého pracovného zaťaženia v modernom dátovom centre. Príťažlivosť QSFP28 spočíva v jeho flexibilite: jeden port môže prenášať natívne 100G spojenie alebo sa rozdeliť na štyri 25G serverové pripojenia, takže jeden prepínač môže slúžiť ako prístupová hrana, tak aj jadro tkaniva.

Rýchle prepínače sú tá jednoduchá časť. 100G dizajn žije alebo umiera na rozhodnutiach urobených pred nákupnou objednávkou: ako je pridelený každý port, ako vyzerá pomer nadmerného odberu za normálnych a poruchových podmienok, ktorá optika zodpovedá skutočným káblom, koľko tepla táto optika pridáva a či môže tkanina narásť na 400G bez upgradu vysokozdvižného vozíka.

Táto príručka je{0}}neutrálnym referenčným materiálom pre plánovanie pre sieťové a infraštruktúrne tímy. Údaje uvedené nižšie zodpovedajú aktuálnym špecifikáciám siete Ethernet IEEE 802.3 a príslušným dohodám o viacerých optických zdrojoch-, ale každý prepínač a transceiver má svoj vlastný údajový list, takže si overte presné čísla pre hardvér, ktorý kupujete.

Ako čítať príklady v tejto príručke.Ak nie je uvedené inak, predpokladajú jeden{0}}umiestnený server s jednou 25G NIC, 48 hostiteľskými portami na list, 100G list-na{5}}spine uplinks, úplnú sieť, v ktorej sa každý list pripája ku každej chrbtici, a povolenú doprednú korekciu chýb tam, kde to optika vyžaduje. Dvojité{7}}navádzanie, rýchlejšie NIC alebo rôzne počty portov zmenia každé nasledujúce číslo.

Čo je to 100G Spine-Leaf Network?

Spine-leaf je dvojvrstvová architektúra dátového centra vytvorená z listových a spine switchov. Listové prepínače sú umiestnené v hornej časti každého stojana a poskytujú porty-smerujúce k serveru plus uplinky do chrbtice. Chrbticové spínače tvoria-vysokorýchlostnú chrbticu. Každý list sa pripája ku každej chrbtici, takže premávka medzi stojanmi posúva list k chrbtici k listu po rovnakej dĺžke-.

Dizajn je obľúbený, pretože prináša:

• Predvídateľná, rovnaká dĺžka cesty medzi akýmikoľvek dvoma stojanmi
• Natívna podpora pre hustú východo{0}}západnú premávku
• Všetky uplinky sú aktívne cez ECMP a nie sú blokované spanning tree
• Jednoduché horizontálne škálovanie - pridajte listy pre porty, pridajte chrbty pre kapacitu

V 100G látke bežia medzi-to{2}}spine linky pri 100G, zatiaľ čo porty smerujúce k serveru-fungujú pri 10G, 25G, 50G alebo 100G v závislosti od pracovného zaťaženia. Dnes je najbežnejšou podnikovou kombináciou 25G prístup so 100G uplinkmi.

Fyzický dizajn verzus logický dizajn

„Sieťový dizajn“ pokrýva dve vrstvy, ktoré sa dajú ľahko spojiť. Táto príručka sa zameriava na porty fyzickej a kapacitnej vrstvy -, optiku, nadmerné predplatné, kabeláž -, pretože k tomu sa zaväzujete pri kúpe hardvéru. Logická vrstva však rozhoduje o tom, ako tkanina napreduje premávku, a formuje niekoľko fyzických možností.

Na fyzickej strane sedí prepínač a výber portu, rýchlosti NIC, nadmerné predplatné, optika, kabeláž, napájanie a chladenie. Na logickej strane je zaťaženie ECMP-vyvažovanie medzi uplinkmi; prekrytie, ako napríklad VXLAN s riadiacou rovinou BGP EVPN pre vrstvu 2 a vrstvu 3 s viacerými nájomníkmi cez smerovanú podložku; duálne-navádzanie pomocou MLAG alebo MC-LAG a LACP na prístupovej hrane; a neúspech{7}}veľkosť domény. Pre tkaniny RDMA musíte tiež vytvoriť takmer-bezstratovú sieť, ktorá je popísaná nižšie. Stanovte logický model včas, pretože ovplyvňuje počty uplinkov, koľko chrbtov chcete pre šírku ECMP a či sú listy nasadené ako páry MLAG.

Krok 1 - Definujte rýchlosť a pracovné zaťaženie servera

Začnite pracovným zaťažením, nie optikou. Všeobecný virtualizačný klaster, úložná štruktúra a tréningový modul AI majú veľmi odlišné potreby a správny dizajn sleduje prevádzku.

25G servery so 100G uplinkmi

Pre väčšinu podnikových a súkromných-cloudových prostredí je 25G prístup so 100G listovým-k-spine uplinks ideálnym miestom: veľký skok cez 10G pri zachovaní primeraných nákladov na NIC, kábel a prepínač. Typická zostava spája 25G zostupné linky, 100G uplinky a pomer 2:1 až 3:1 pre všeobecné výpočty, s nižším nadmerným odberom vyhradeným pre úrovne citlivé na úložisko a latenciu{13}}. Hodí sa pre virtualizáciu, súkromný cloud, webové vrstvy a väčšinu podnikových dátových centier.

Natívnych 100G pre úložisko, AI a HPC

Niektoré úlohy vyžadujú natívne 100G servera: distribuované úložisko a úložisko NVMe-oF, umelá inteligencia a strojové učenie-školenia, HPC, rozsiahla-analýza a RDMA s nízkou{4}}latenciou. Nadmerný odber by tu mal byť nízky -, často neblokujúci{7}} alebo sa mu blížiť -, pretože problémom nie je len objem, ale vzor návštevnosti.

Pracovné zaťaženia AI, HPC a RDMA generujú hustú, synchronizovanú premávku od všetkých{0}}do{1}}všetkých východných-západov: mnohé uzly vysielajú do mnohých uzlov súčasne, takže štatistické vyhladzovanie, ktoré vám šetrí virtualizačnú štruktúru, už neplatí. RDMA over Converged Ethernet (RoCE) pridáva druhé obmedzenie, pretože očakáva takmer -bezstratovú štruktúru, čo v praxi znamená prioritné riadenie toku (PFC) a Explicitné oznamovanie preťaženia (ECN) od začiatku do konca. Tkanina, ktorá pri preťažení upustí snímky, bude sledovať kolaps výkonu RoCE, takže tieto klastre sú zvyčajne zostavené v pomere 1:1 s opatrnou konfiguráciou vyrovnávacej pamäte a preťaženia.

Krok 2 - Ako vypočítať porty listového a chrbtového spínača pre tkaninu 100 G

Plánovanie prístavu začína na liste, nie na chrbtici. Pracujte smerom von zo serverov:

1. Počítajte{0}}porty smerujúce k serveru na stojan.
2. Rozhodnite sa, či ide o natívny 25G, natívny 100G alebo oddeľovací pruh.
3. Vyhraďte porty QSFP28 pre chrbticové uplinky.
4. Pridajte náhradné porty pre rast, redundanciu, testovanie a výmenu.
5. Prepočítať nadmerné predplatné po priradení prerušenia, nie skôr.

Počítajte{0}}porty smerujúce k serveru

Pre každý stojan uveďte počet serverov, rýchlosť NIC, NIC na server, jedno{0}} alebo duálne{1}}umiestnenie a požadované náhradné diely. Každý stojan so 48 servermi s jednou 25G NIC potrebuje 48 hostiteľských portov. Dvojité{7}}domov týchto serverov do páru listov a počet prístupových portov v tomto páre sa zdvojnásobí.

Rezervujte si uplink porty a sledujte dvojnásobný{0}}počet

Po hostiteľských portoch rezervujte porty QSFP28 pre chrbticu. Tu sa skrýva najbežnejšia chyba: ak sa na 4x25G breakout používajú rovnaké porty QSFP28, už nie sú dostupné ako uplinky. Jedinou najväčšou chybou plánovania nie je nesprávne započítanie 100G uplinkov, ale precenenie uplinkových portov, ktoré zostali po tom, čo sa do nich pretrhol. Priraďte rozdelenie pred matematiku nadmerného odberu alebo pomer, ktorý ste vypočítali, je fikcia.

Pomôže spracovaný príklad. Vezmite si spoločný list 1U so 48 hostiteľskými portami SFP28 a 8 portami QSFP28:

So šiestimi uplinkmi prenášajúcimi 1 200 G prístupovej prevádzky beží list v pomere 2:1 a dva porty QSFP28 zostávajú v rezerve. Priraďte každému portu jednu explicitnú rolu v tabuľke predtým, ako zmeníte veľkosť čohokoľvek iného.

Nechajte voľnú kapacitu

Nekonzumujte každý port v prvý deň. Vyhraďte si rezervu pre nové servery, extra spiny, dočasné testovacie prepojenia, neúspešné{1}}zámeny portov, sledovanie klepnutí a migráciu. Trochu nevyužitá kapacita je oveľa lacnejšia ako redizajn.

Krok 3 - Vypočítajte nadmerné predplatné vrátane N-1

Nadmerné predplatné porovnáva celkovú šírku pásma servera-na liste s celkovou šírkou pásma uplinku k chrbtici:

Pomer nadmerného odberu=celková šírka pásma zostupného spojenia / celková šírka pásma uplinku

Pre list vyššie 48 x 25 G=1, 200 G nadol a 6 x 100 G=600 G hore, čo dáva 1 200 / 600=2:1. To znamená, že dvojnásobná teoretická šírka pásma prístupu ako šírka pásma uplinku - je zvyčajne v poriadku pre všeobecné výpočty, kde servery zriedkakedy všetky vysielajú linkovou rýchlosťou naraz, ale predstavuje skutočné obmedzenie pre úložisko, AI, HPC a RDMA.

Vždy skontrolujte puzdro N-1

Tkanina môže pri bežnej prevádzke vyzerať zdravo a pri poruche sa môže dusiť. Predstavte si list s ôsmimi 100G uplinkmi rovnomerne rozloženými cez štyri chrbty - dva na chrbticu, celkovo 800G, takže 1200G prístupu dáva 1,5:1. Stratíte jednu chrbticu a list klesne o dva uplinky na 600G, čím sa pomer posunie na 2:1 počas trvania výpadku. Ak váš cieľ „nie je horší ako 2:1 ani pri zlyhaní“, musíte začať pri hodnote 1,5:1. Vypočítajte normálny pomer aj pomer N-1 po strate jednej chrbtice alebo uplinku; druhé číslo je to, ktoré hryzie pri údržbe.

Plánovanie sa pohybuje podľa pracovného zaťaženia

Neexistuje žiadny univerzálny pomer, takže nasledujúce berte ako rozsahy plánovania, nie štandardy, a overte ich podľa nameranej návštevnosti, kde je to možné:

Pri inovácii skontrolujte aktuálne využitie uplinku, vzory špičiek a východných{0}}západov, toky ukladacieho priestoru a zálohovacie okná predtým, než sa zaviažete k pomeru.

Krok 4 - Vyberte optiku a káble QSFP28

Rozhrania QSFP28 100G sú štandardizované IEEE 802.3 -802,3bm dodatokpridal 100 GBASE-SR4 spolu s-režimom LR4 PHY. Vyberte si optiku podľa vzdialenosti, typu vlákna, konektora, napájania a kompatibility prepínača a odolajte predvolenému nastaveniu na najdlhší dosah: dosah, ktorý nepotrebujete, zvyčajne znamená náklady a energiu, ktoré nepotrebujete. Priraďte modul k behu s rozumnou rezervou.

DAC a AOC pre krátke serverové spojenia

Pre pripojenie v -racke a priľahlých{1}}skriniach sú praktické medené káble QSFP28 s priamym{3}}pripojením (DAC) a aktívne optické káble (AOC). Pasívny DAC vyhovuje najkratším skokom - niekoľko metrov - pri najnižších nákladoch a výkone, zatiaľ čo AOC rozširuje dosah a je ľahší a flexibilnejší tam, kde sa objem medi stáva problémom. Pre 25G prístup je bežný DAC alebo AOC QSFP28-to-4x SFP28 breakout DAC alebo AOC, keď prepínač podporuje breakout.

100 GBASE-SR4 pre krátke multimódové uplinky

SR4 prenáša 100Gosem paralelných multimódových vlákienpomocou konektora MPO/MTP, čo z neho robí nákladovo-efektívnu voľbu pre krátke{1}}krížové-behy v rade. Jeho dosah závisí od kvality vlákna - približne 70 m na OM3 a 100 m na OM4 -, takže sa oplatí poznať dosah, od ktorého môžete očakávaťMultimódové vlákno OM3, OM4 a OM5vo vašej podlahe. Hlavným obmedzením plánovania je paralelná kabeláž: MPO patching a polarita musia byť vypracované vopred.

CWDM4 alebo FR pre jeden-režim beží do približne 2 km

Pre medzi-radové, medzi-izbové alebo medzi-halové prepojenia sú vhodnejšie jednorežimové optiky, ako sú CWDM4 alebo FR. The100G CWDM4 MSAdefinuje dosah 2 km cez jeden pár jedno{1}}režimových vlákien s duplexným LC konektorom a FEC. Pretože používajú duplexné vlákno namiesto paralelného MPO, optika CWDM4 a FR často spadá do jedného-režimu zariadenia čistejšie ako SR4 - a na tieto vzdialenosti sa dá vybrať medziJednorežimové vlákno OS1 a OS2-začína záležať na vašom stratovom rozpočte. Kratšie varianty s jedným-režimom, ako napríklad DR, pokrývajú približne 500 m, kde je všetko, čo potrebujete.

100 GBASE-LR4 pre kampus a DCI

LR4 je možnosť s-dlhým dosahom a nesie 100Gdo približne 10 km cez duplexné jedno-vláknopre prepojenie kampusov,{0}}od{1}}budovy alebo dátového-centra-. Používajte ho len tam, kde si to vzdialenosť skutočne vyžaduje; optika s dlhým{5}}dosahom pri krátkych prechodoch v rámci-dátových{7}}centrov jednoducho zvyšuje náklady, energiu a teplo bez toho, aby sa zlepšila štruktúra.

Porovnanie optiky QSFP28 100G

Tabuľka sumarizuje, kam sa každá možnosť hodí. S dosahmi zaobchádzajte ako s typickými plánovacími údajmi a potvrďte presné čísla, kvalitu vlákna a požiadavku FEC na údajovom liste každého modulu.

Spracované príklady: malé, stredné a veľké tkaniny

Ide o zjednodušené modely plánovania, nie plány. Počet chrbtov sa zvyčajne vyberá na rovnomerné rozdelenie uplinkov a nastavenie šírky ECMP: dva chrbty sú praktické minimum pre redundanciu, štyri poskytujú jemnejšiu zrnitosť N-1 a lepšie rozloženie záťaže a osem sa hodí na veľké tkaniny. Počet listov sa prispôsobí serverovým portom, ktoré potrebujete.

Malá tkanina

• 8 listových spínačov
• 2 chrbtové spínače
• 48 x 25G serverových portov na list
• 4 x 100G uplinkov na list
• 384 samostatných-portov servera 25G

Na list: 1 200 G nadol, 400 G nahor, teda 3:1. Funkčné pre všeobecné výpočty, ale tesné pre ťažké úložisko alebo AI. Ak potrebujete nižší pomer, pridajte uplinky alebo orezajte prístup na list.

Stredná tkanina

• 16 listových spínačov
• 4 chrbtové spínače
• 48 x 25G serverových portov na list
• 6 x 100G uplinkov na list
• 768 samostatných-portov servera 25G

Na list: 1 200 G dole, 600 G hore, teda 2:1. Pevná rovnováha pre virtualizáciu a podnikové pracovné zaťaženie a štyri chrbty šíria ECMP lepšie ako dva.

Veľká látka

• 32 listových spínačov
• 8 chrbtových spínačov
• 48 x 25G serverových portov na list
• 8 x 100G uplinkov na list
• 1 536 samostatných-portov servera 25G

Na list: 1 200 G nadol, 800 G nahor, teda 1,5:1. Viac priestoru pre uplink, ale viac optiky, optických vlákien, nákladov, napájania a kabeláže. V tomto rozsahu je dokumentácia súčasťou návrhu: označovanie, mapy portov, polarita, náhradná optika, prúdenie vzduchu a monitorovanie, to všetko sa musí naplánovať pred inštaláciou.

QSFP28 Breakout Planning (100G až 4x25G)

Breakout je najužitočnejšia a najviac nepochopená časť dizajnu QSFP28. Tam, kde to prepínač, kábel a konfigurácia umožňujú, sa jeden port QSFP28 rozdelí na štyri 25G SFP28 prepojenia, ktoré spájajú štyri 25G servery z jedného 100G portu. Svoje miesto si získava, keď potrebujete vysokú hustotu 25G, máte veľa portov QSFP28, chcete znížiť náklady na pripojenie k serveru alebo budujete prechodnú štruktúru 25G/100G pomocou QSFP28-to-4x SFP28 DAC, AOC aleboVylamovacie káble MTP/MPOv závislosti od vzdialenosti.

Háčik je v tom, že breakout spotrebúva porty QSFP28. Ak 32-portový prepínač QSFP28 vyhradí 16 portov pre 4x25G breakout, týchto 16 portov podporuje 64 serverov – ale iba 16 portov QSFP28 zostáva pre uplinky, úložisko, prepojenia a náhradné diely. Základným pravidlom je najprv spočítať breakout porty a potom spočítať, čo zostáva pre uplinky.

Predtým, ako sa zaviažete, potvrďte niekoľko vecí a včas sa rozhodnite, či by mal byť každý beh akmeň alebo vylamovacia zostava:

• Ktoré porty podporujú breakout a existujú obmedzenia-skupiny portov?
• Deaktivuje aktivácia breakout susedné porty?
• Podporuje operačný systém prepínača režim, ktorý potrebujete?
• DAC, AOC alebo breakout optika pre každý chod?
• Sú potrebné všetky štyri pruhy teraz, alebo až neskôr?
• Ako výpadok ovplyvní budúci prechod na natívne 100G servery?

Napájanie, chladenie a správa káblov

Tkanina 100G produkuje viac ako len šírku pásma -, produkuje teplo, prúdenie vzduchu a hustotu káblov. Rozpočtovanie spotreby energie by malo zahŕňať šasi a ventilátory prepínača, optické moduly QSFP28 (a DAC alebo AOC, ak sa používajú), redundantný spotrebný materiál, kapacitu na úrovni stojana- a maržu rastu. Chladenie by malo zohľadňovať rozloženie horúcej- a studenej-uličky, konzistentné prúdenie vzduchu spredu{8}}vzadu-vzadu-vpredu, zaslepovacie panely, upchatie káblov, okolitú teplotu a{12}}teplotu modulu, pretože chrbtica plná optiky je skutočným tepelným zaťažením.

Kabeláž sa rýchlo mení: 16 listov na 4 chrbty je už 64 spojov medzi listami-na-chrbticu, z ktorých každý musí byť označený, smerovaný, testovaný a zdokumentovaný. Celú-sieťovinu je oveľa jednoduchšie zostaviť a udržiavať s pred-končenímMPO/MTP kmeňová kabelážako v prípade vlákna ukončeného poľom-. Tímy by si tiež mali vopred dohodnúť konvencie o konektoroch a polarite; apraktické rozdiely medzi MTP a MPOstojí za to potvrdiť pred objednávkou. Nedbalá dokumentácia nestojí nič v prvý deň a veľa počas prvého výpadku.

Navrhovanie pre 400G upgrade

Navrhnite látku s realistickou cestou upgradu. Prvý deň nepotrebujete všade 400 G, ale mali by ste sa vyhnúť rozhodnutiam, ktoré spôsobia, že presun bude neskôr bolestivý. Začnite premýšľať o pripravenosti na 400G, keď sú už chrbticové uplinky silne zaťažené, keď pridávanie ďalších 100G chrbticových začína byť nepohodlné, keď sa počty ciest ECMP blížia k limitom platformy alebo keď sa zrýchľuje rast umelej inteligencie, úložiska alebo východného{5}}západu.

Zvyčajnou stratégiou je najprv upgradovať chrbticu: listy si ponechajú svoje 100G uplinky, zatiaľ čo chrbtica s vyššou{1}}kapacitou - pomocou portov ako napr.QSFP-DD- pridáva priestor, často s portami 400G, ktoré sa rozdelia na 4x100G späť k existujúcim listom. Širšiu trajektóriu určuje odvetvie:Plán Ethernet Allianceteraz beží cez 400G, 800G a ešte viac, z veľkej časti poháňaný AI. Pri vyhodnocovaní prepínačov skontrolujte, či platforma podporuje rýchlosti, optiku, prerušovacie režimy a softvérové ​​funkcie, ktoré bude potrebná fáza aktualizácie.

Keď 100G Spine-Design Leaf nie je tou správnou voľbou

Tento dizajn nie je univerzálny a niekoľko prípadov si vyžaduje niečo iné. Hŕstka serverov v jednom alebo dvoch stojanoch len zriedka ospravedlňuje zostavenie-plnej chrbtice, kde je pár redundantných prepínačov jednoduchší a lacnejší. Veľmi veľké tréningové klastre AI môžu prekonať to, čo dobre zvláda 100G prístup a 100G chrbticová tkanina, od začiatku pristávajú na 400G alebo 800G tkaninách - alebo dokonca vyhradenej sieti InfiniBand -. A ak takmer všetka premávka smeruje na sever-juh k bráne a nie na východ{11}}západ medzi stojanmi, na východných-západných výhodách-chrbticového listu záleží menej, takže topológia by mala byť odôvodnená rastom a prevádzkovými dôvodmi, a nie predpokladom. Prispôsobte architektúru premávke a mierke, nie naopak.

Bežné chyby v dizajne listov-100G

• Počítanie portov QSFP28 dvakrát.Port je buď 4x25G breakout alebo 100G uplink, nikdy nie oboje. Dajte každému portu jednu rolu.
• Výber optiky podľa maximálneho dosahu.Dlhší dosah zvyšuje náklady a výkon; prispôsobte optiku skutočnej vzdialenosti a typu vlákna.
• Ignorovanie N-1.Skontrolujte pomer počas bežnej prevádzky a po strate chrbtice.
• Zabudnite na optickú silu a teplo.Chrbtica plná modulov QSFP28 predstavuje skutočnú tepelnú záťaž, takže do výpočtu napájania a chladenia zahrňte aj optiku.
• Zaobchádzanie s kabelážou ako s dodatočným nápadom.Smerovanie, označovanie, polarita a dokumentácia patria do návrhu, nie do inštalácie.
• Dizajn len pre dnešnú rýchlosť servera.Ak sa prístup 25G posunie na 100G, ponechajte priestor pre natívnych 100G alebo 400G chrbticu.

Záver

Dobrý 100G chrbtový-dizajn je súčtom rozhodnutí urobených pred príchodom hardvéru: definujte pracovné zaťaženie, správne spočítajte porty, vypočítajte nadmerné odbery za normálnych aj zlyhaných podmienok, vyberte optiku podľa vzdialenosti, naplánujte zámerne rozloženie, rozpočet na napájanie a chladenie a ponechajte priestor pre 400G. Pre väčšinu podnikových dátových centier zostáva prístup 25G so 100G uplinkmi QSFP28 silnou rovnováhou medzi výkonom, nákladmi a rozsahom, zatiaľ čo úložisko, AI a HPC si jednoducho vyžadujú nižšie nadmerné predplatné a prísnejšie overovanie. Spoľahlivý prístup sa nemení: navrhnite od servera smerom von, overte matematiku za normálnych podmienok a podmienok N-1 a zdokumentujte každý odkaz pred nasadením.