I. Santrauka vadovams
Šiuolaikiniai duomenų centrai turi palaikyti didelių resursų reikalaujančias darbo apkrovas, tokias kaip didelio našumo kompiuterija (DNK), dirbtinis intelektas / mašininis mokymasis (DI/MM) ir didžiųjų duomenų analitika. Šioms programoms reikalinga itin maža delsa, didelė duomenų pralaida ir minimalus procesoriaus (CPU) naudojimas. Tradiciniai tinklo protokolai, pavyzdžiui, TCP/IP, negali patenkinti šių poreikių dėl didelių pridėtinių išlaidų ir delsos.
Nuotolinė tiesioginė prieiga prie atminties (angl. Remote Direct Memory Access, RDMA) yra pagrindinė technologija, leidžianti sukurti didelio našumo jungtis. RDMA suteikia galimybę tinkle sujungtiems kompiuteriams tiesiogiai keistis duomenimis tarp savo atminties, neįtraukiant operacinių sistemų ar procesorių (angl. memory-to-memory). Šis procesas dramatiškai sumažina delsą ir procesoriaus apkrovą.
- „InfiniBand“ – tai specialiai sukurta, patentuota tinklo struktūra (angl. fabric), skirta pasiekti didžiausią įmanomą našumą ir užtikrinti veikimą be duomenų praradimo.
- „RoCE v2“ (RDMA per konverguotą eternetą) pritaiko RDMA privalumus standartiniame eterneto tinkle, siūlydama maršrutizuojamą ir ekonomiškesnį sprendimą, tačiau norint išvengti duomenų praradimo, reikalingos specialios konfigūracijos.
- „iWARP“ – tai dar vienas RDMA per eternetą sprendimas, pagrįstas TCP protokolu, tačiau jis yra rečiau naudojamas ir pasižymi mažesniu našumu nei „RoCE v2“.
Tinkamos jungties pasirinkimas yra strateginis sprendimas, priklausantis nuo našumo poreikių, biudžeto, esamos infrastruktūros ir mastelio didinimo tikslų. Šioje ataskaitoje analizuojamos šios technologijos, lyginamos su standartiniu eternetu / TCP/IP ir nagrinėjamos naujos alternatyvos, tokios kaip CXL ir NVLink, siekiant padėti priimti šį svarbų sprendimą.
II. Įvadas į didelio našumo tinklus ir RDMA
Šiandienos skaitmeniniame pasaulyje sparčiai auga duomenims imlių programų, tokių kaip didelio našumo kompiuterija (DNK), dirbtinis intelektas / mašininis mokymasis (DI/MM) ir didžiųjų duomenų analitika, skaičius. Šios darbo apkrovos reikalauja greitai ir efektyviai perkelti didžiulius duomenų rinkinius tarp skaičiavimo mazgų ir saugyklų. Pavyzdžiui, DI programos yra labai jautrios duomenų vientisumui ir reikalauja tinklų be nuostolių, kuriuose vienas prarastas pranešimas gali sugadinti visą apmokymo procesą. Didelės duomenų pralaidos srautas taip pat yra būtinas, kad šios programos galėtų efektyviai apdoroti duomenis.
Tradicinio TCP/IP eterneto apribojimai didelio našumo programoms
Nors tradicinis TCP/IP eternetas yra patikimas bendrosios paskirties tinklams, jis turi didelių apribojimų, susijusių su didelio našumo programomis:
- Didelė delsa ir procesoriaus pridėtinės išlaidos: TCP/IP architektūra siunčia duomenis per kelis programinės įrangos sluoksnius operacinės sistemos branduolyje, todėl reikalauja didelio procesoriaus įsitraukimo. Šis procesas sukelia didelę delsą (paprastai dešimtis mikrosekundžių) ir smarkiai apkrauna procesorių. Programoms, jautrioms delsai, tai tampa dideliu našumo butelio kakleliu, nes procesorius, užuot vykdęs programą, eikvoja laiką tinklo srautui valdyti. Šis „procesoriaus mokestis“, atsirandantis dėl konteksto perjungimo ir duomenų kopijavimo, yra pagrindinė priežastis, kodėl pasirenkamos RDMA technologijos, kurios perkelią tinklo apdorojimą į specializuotą aparatinę įrangą ir atlaisvina procesorių programos užduotims.
- Duomenų pralaidumo apribojimai: Keletas veiksnių riboja efektyvų TCP pralaidumą, įskaitant perdavimo lango dydį, segmento dydį ir paketų praradimą. Standartinis TCP lango dydis (dažnai apribotas iki 65 535 baitų) gali neleisti pilnai išnaudoti didelės spartos jungčių, ypač tinkluose su didesne delsa. Be to, pagrindinis TCP patikimumo mechanizmas – paketų pakartotinis siuntimas – sukelia vėlavimus ir sunaudoja papildomą pralaidumą, o tai kenkia našumui perpildytuose ar nuostolinguose tinkluose.
- Mastelio didinimo iššūkiai: Nors TCP/IP gerai pritaikomas dideliems tinklams, jo architektūroje pirmenybė teikiama bendram patikimumui, o ne grynam našumui. Dėl to jis yra mažiau efektyvus scenarijuose, reikalaujančiuose itin didelio pralaidumo ir minimalios delsos, pavyzdžiui, didelio masto DNK klasteriuose ar realaus laiko DI išvadų daryme.
Nuotolinės tiesioginės prieigos prie atminties (RDMA) pagrindai ir esminiai privalumai
Nuotolinė tiesioginė prieiga prie atminties (RDMA) buvo sukurta siekiant įveikti TCP/IP apribojimus didelio našumo aplinkose. Pagrindiniai jos privalumai kyla iš to, kad duomenų perdavimo metu apeinamas procesorius ir operacinė sistema:
- Tiesioginė prieiga prie atminties (be kopijavimo, angl. Zero-Copy): RDMA perkelia duomenis tiesiai iš vieno kompiuterio atminties į kitą, neįtraukiant nė vienos sistemos procesoriaus ar operacinės sistemos. Šis „be kopijavimo“ metodas pašalina tarpinius duomenų buferius ir konteksto perjungimus, kurie yra pagrindiniai tradicinių tinklų pridėtinių išlaidų šaltiniai.
- Sumažinta delsa ir procesoriaus apkrova: Apeinant procesorių ir operacinę sistemą, RDMA drastiškai sumažina ryšio delsą ir atlaisvina procesoriaus ciklus. Tai tiesiogiai lemia greitesnius skaičiavimus ir geresnį realaus laiko duomenų apdorojimą. Pavyzdžiui, programos delsa gali sumažėti nuo maždaug 50 mikrosekundžių su TCP/IP iki vos 2–5 mikrosekundžių su RDMA.
- Efektyvesnis duomenų pralaidumo panaudojimas: Efektyvus duomenų kelias ir sumažintos pridėtinės išlaidos, kurias suteikia RDMA, leidžia programoms geriau išnaudoti turimą tinklo pralaidumą, todėl pasiekiamas didesnis efektyvus duomenų srautas.
- Pagrindiniai įgyvendinimai: Šiandien plačiausiai naudojamos RDMA technologijos yra „InfiniBand“, „RoCE“ (1 ir 2 versijos) ir „iWARP“.
III. „RoCE v2“: RDMA per konverguotą eternetą
„RoCE v2“ yra svarbus žingsnis į priekį didelio našumo tinklų srityje, išplečiantis RDMA privalumus į plačiai paplitusią eterneto ekosistemą.
A. Architektūros principai
- Evoliucija nuo „RoCE v1“: „RoCE v1“ buvo 2-ojo lygmens protokolas (Ethertype 0x8915), kuris apribojo jį vienu eterneto transliacijos domenu ir sumažino jo mastelio didinimo galimybes. „RoCE v2“ išsprendžia šią problemą veikdamas interneto lygmenyje. Jis inkapsuliuoja RDMA srautą į UDP/IP paketus (naudodamas UDP paskirties prievadą 4791), todėl jį galima maršrutizuoti per 3-iojo lygmens IP tinklus. Šis maršrutizuojamumas yra esminis patobulinimas, leidžiantis „RoCE v2“ naudoti didelio masto duomenų centruose ir debesijos aplinkose.
- RDMA per eternetą integracija: „RoCE“ suteikia metodą, kaip atlikti RDMA operacijas standartiniame eterneto tinkle. Jis efektyviai pakeičia „InfiniBand“ tinklo lygmenį IP ir UDP antraštėmis, išsaugodamas pagrindinį „InfiniBand“ transporto lygmenį ir RDMA protokolą. Ši architektūra leidžia „RoCE“ pasinaudoti esama eterneto infrastruktūra.
- Paketo formatas: „RoCE v2“ pakete yra IP antraštė ir UDP antraštė, kurios inkapsuliuoja RDMA transporto protokolą. Nors UDP negarantuoja paketų eilės tvarkos, „RoCE v2“ standartas reikalauja, kad paketai su tuo pačiu šaltinio prievadu ir paskirties adresu nebūtų perrikiuojami.
- Kompromisas „geriausia iš abiejų pasaulių“: „RoCE v2“ architektūra yra strateginis kompromisas, siekiantis suderinti didelį RDMA našumą su lanksčia, ekonomiška ir visur paplitusia eterneto platforma. Nors šis metodas siūlo platų suderinamumą, jis sukuria esminį iššūkį: užtikrinti RDMA reikalingą našumą be nuostolių eterneto tinkle, kuris iš prigimties yra nuostolingas.
B. Našumo profilis
- Delsa: „RoCE“ šeimininko kanalo adapteriai (angl. Host Channel Adapters, HCA) gali pasiekti labai mažą delsą, siekiančią vos 1,3 mikrosekundės. Programų lygmeniu „RoCE“ sumažina delsą iki maždaug 5 mikrosekundžių, o tai yra didžiulis pagerėjimas, palyginti su 50 mikrosekundžių, būdingų TCP/IP. Nors „InfiniBand“ siūlo šiek tiek mažesnę prigimtinę delsą, „RoCE“ našumas yra puikus realaus laiko programoms.
- Duomenų pralaida: „RoCE v2“ palaiko didelę duomenų pralaidą, kurios greitis siekia iki 400 Gb/s vienam prievadui.
- Procesoriaus apkrovos perkėlimas: Kaip ir kiti RDMA protokolai, „RoCE“ apeina procesorių atliekant duomenų perdavimą. Šis apkrovos perkėlimas atlaisvina vertingus procesoriaus resursus skaičiavimams imlioms užduotims, užuot eikvojus juos tinklo apdorojimui.
- Našumas be nuostolių: Kad prilygtų „InfiniBand“ našumui, „RoCE“ priklauso nuo eterneto tinklo be nuostolių. Paprastai tai pasiekiama įdiegus Duomenų centro tiltų (angl. Data Center Bridging, DCB) funkcijas, ypač Prioritetizuotą srauto valdymą (angl. Priority Flow Control, PFC) ir Aiškų pranešimą apie perkrovą (angl. Explicit Congestion Notification, ECN).
C. Infrastruktūra ir valdymas
- Aparatinės/programinės įrangos reikalavimai: „RoCE“ veikia su standartine eterneto aparatūra, pavyzdžiui, komutatoriais ir kabeliais, leisdamas organizacijoms naudoti esamą infrastruktūrą. Tačiau galiniuose taškuose reikalingi „RoCE“ palaikantys šeimininko kanalo adapteriai (HCA). Programinės įrangos palaikymas yra brandus, su įgyvendinimais „Mellanox OFED 2.3+“ ir integruotas į „Linux“ branduolio v4.5+ versiją.
- Tinklo be nuostolių konfigūracija: Nors „RoCE“ naudoja standartinį eternetą, sukurti DCB tinklą be nuostolių gali būti sudėtingiau nei įdiegti „InfiniBand“ tinklą. Kiekvienas komponentas, nuo galinių taškų iki komutatorių, turi būti kruopščiai sukonfigūruotas. Tai apima Prioritetizuoto srauto valdymo (PFC), Patobulinto perdavimo pasirinkimo (angl. Enhanced Transmission Selection, ETS) ir pranešimų apie perkrovą mechanizmų nustatymą. Kad šios savybės veiktų 3-iojo lygmens tinkluose, jos turi būti išlaikytos per maršrutizatorius, dažnai susiejant 2-ojo lygmens prioritetų nustatymus su 3-iojo lygmens DSCP QoS nustatymais.
- Valdymo aspektai: „RoCE“ galima valdyti standartiniais eterneto įrankiais. Tačiau užtikrinti nuoseklų našumą be nuostolių ir valdyti perkrovas didelio masto „RoCE v2“ diegimuose gali būti sudėtinga ir reikalauja specializuotų žinių.
- Paslėpta „ekonomiškumo“ kaina: „RoCE“ dažnai vadinamas „ekonomišku“, nes gali naudoti esamą eterneto infrastruktūrą, tačiau tai yra per didelis supaprastinimas. Norint pasiekti „InfiniBand“ lygio našumą, reikalingas nepriekaištingai sukonfigūruotas eterneto tinklas be nuostolių. Duomenų centro tiltų (DCB) funkcijų, tokių kaip PFC ir ECN, nustatymo sudėtingumas gali būti daug didesnis nei „InfiniBand“ tinklo konfigūravimas. Šis sudėtingumas lemia didesnes eksploatacines išlaidas tinklo projektavimui, trikčių šalinimui ir valdymui, taip pat gali pareikalauti brangesnių eterneto komutatorių. Dėl to pradinės sutaupytos lėšos dėl „RoCE“ aparatinės įrangos gali būti panaikintos dėl šių didesnių eksploatacinių išlaidų. Norint tiksliai palyginti, būtina atlikti išsamią bendrųjų nuosavybės išlaidų (angl. Total Cost of Ownership, TCO) analizę.
D. Pagrindinės taikymo sritys
„RoCE v2“ yra puikus sprendimas daugeliui duomenų centrų ir įmonių programų. Jis ypač tinka aplinkoms, kurioms reikalinga itin maža delsa ir didelis pralaidumas, pavyzdžiui, DI darbo apkrovoms, aukšto dažnio prekybai ir realaus laiko analitikai. Jis taip pat pagerina programų, kurios labai priklauso nuo duomenų bazių ar failų I/O, našumą. Be to, „RoCE v2“ padeda užtikrinti veiklos tęstinumą ir atkūrimą po nelaimių, leisdamas greitai ir efektyviai atlikti duomenų replikaciją. Plačiai paplitęs jo naudojimas DI apmokymo klasteriuose pabrėžia jo svarbą šiuolaikinėje kompiuterijoje.
IV. „InfiniBand“: specializuota didelio našumo tinklo struktūra
„InfiniBand“ yra aukščiausios klasės didelio našumo jungtis, nuo pat pradžių sukurta siekiant suteikti neprilygstamą greitį, minimalią delsą ir didelį patikimumą didelių resursų reikalaujančioms skaičiavimo aplinkoms.
A. Architektūros principai
- Prigimtinis RDMA: „InfiniBand“ buvo sukurtas su RDMA, integruotu į visą jo protokolų rinkinį, nuo fizinio lygmens aukštyn. Ši nuo pamatų sukurta architektūra užtikrina, kad RDMA operacijos būtų labai efektyvios, sukuriant tiesioginius ir apsaugotus duomenų kanalus tarp mazgų be procesoriaus įsikišimo.
- Komutuojamos tinklo struktūros topologija: „InfiniBand“ naudoja komutuojamos tinklo struktūros (angl. switched fabric) topologiją tiesioginėms „taškas-į-tašką“ jungtims tarp įrenginių. Architektūrą sudaro šeimininko kanalo adapteriai (HCA) procesoriuose ir tiksliniai kanalo adapteriai (TCA) periferiniuose įrenginiuose, leidžiantys efektyviai bendrauti.
- Kreditais pagrįstas srauto valdymas: Pagrindinė „InfiniBand“ savybė yra kreditais pagrįstas srauto valdymas. Šis aparatinės įrangos lygmens algoritmas garantuoja ryšį be nuostolių, užtikrindamas, kad siuntėjas perduotų duomenis tik tada, kai gavėjas turi pakankamai buferio vietos (kreditų) jiems priimti. Šis prigimtinis patikimumas apsaugo nuo paketų praradimo ir išskiria „InfiniBand“ iš technologijų, kurioms reikalingos aukštesnio lygmens konfigūracijos, kad būtų išvengta nuostolių.
- Patentuoti standartai: „InfiniBand“ laikosi patentuotų standartų, kuriuos apibrėžė „InfiniBand“ prekybos asociacija (IBTA), įkurta 1999 metais. Ekosistemoje dominuoja „NVIDIA“ (per „Mellanox“ įsigijimą), pirmaujanti „InfiniBand“ adapterių ir komutatorių gamintoja.
B. Našumo profilis
- Itin maža delsa: „InfiniBand“ nuosekliai siūlo mažiausią delsą. Adapterių delsa gali būti vos 0,5 mikrosekundės, o komutatoriaus prievado į prievadą delsa yra apie 100 nanosekundžių – žymiai mažiau nei 230 nanosekundžių, būdingų panašiems eterneto komutatoriams. Programų lygmeniu „InfiniBand“ gali pasiekti delsą iki 2 mikrosekundžių, palyginti su TCP/IP 50 mikrosekundžių.
- Didelio pralaidumo galimybės: „InfiniBand“ palaiko itin didelius duomenų perdavimo greičius. Šiuolaikinės versijos, tokios kaip HDR ir NDR, siūlo iki 200 Gb/s ir 400 Gb/s vienai linijai. Agreguotos jungtys gali pasiekti dar didesnį pralaidumą, siekiantį 800 Gb/s (NDR) ir net 1,6 Tb/s (XDR).
- Procesoriaus efektyvumas: Pagrindinė „InfiniBand“ stiprybė yra jo gebėjimas užtikrinti itin mažą delsą ir ypač didelį pralaidumą beveik nenaudojant procesoriaus. Šis tinklo apdorojimo perkėlimas yra esminis privalumas skaičiavimams imlioms darbo apkrovoms.
- Našumas pagal dizainą prieš našumą pagal konfigūraciją: „InfiniBand“ ir „RoCE“ iš esmės skiriasi savo požiūriu. „InfiniBand“ buvo sukurtas nuo pamatų RDMA technologijai, o jo fizinis ir transporto lygmenys buvo suprojektuoti aparatinės įrangos lygmens patikimumui, įskaitant prigimtinį kreditais pagrįstą algoritmą ryšiui be nuostolių. Priešingai, „RoCE“ veikia standartiniame eterneto tinkle ir remiasi konfigūracija, t. y. tokiomis funkcijomis kaip Prioritetizuotas srauto valdymas (PFC) ir Aiškus pranešimas apie perkrovą (ECN), kad sukurtų tinklą be nuostolių. Tai reiškia, kad „InfiniBand“ užtikrina garantuotą aukštą našumą iš karto po įdiegimo, o „RoCE“ našumas priklauso nuo pagrindinės eterneto konfigūracijos kokybės.
C. Infrastruktūra ir valdymas
- Specializuota aparatinė įranga: „InfiniBand“ reikalauja specializuotos aparatinės įrangos, įskaitant dedikuotus šeimininko kanalo adapterius (HCA), komutatorius, maršrutizatorius ir patentuotus kabelius. Dėl to paprastai pradinės investicijos yra didesnės, palyginti su eternetu pagrįstais sprendimais.
- Centralizuotas valdymas: „InfiniBand“ tinklus valdo centrinis potinklio valdytojas (angl. Subnet Manager, SM), kuris apskaičiuoja ir paskirsto persiuntimo lenteles bei valdo konfigūracijas, tokias kaip skaidiniai ir paslaugų kokybė (QoS). Šis centralizuotas požiūris gali supaprastinti valdymą dideliuose klasteriuose po pradinio nustatymo.
- Specializuotos žinios: „InfiniBand“ tinklų diegimas ir priežiūra paprastai reikalauja specializuotų žinių, kurios gali padidinti eksploatacines išlaidas ir sukurti statesnę mokymosi kreivę IT personalui.
- Ekosistema: „InfiniBand“ ekosistema yra brandi, tačiau joje dominuoja „NVIDIA/Mellanox“.
D. Pagrindinės taikymo sritys
„InfiniBand“ yra pramonės standartas didelio našumo kompiuterijos (DNK) aplinkose ir yra greičiausiai auganti jungtis šioms programoms. Tai yra pagrindinė technologija, rekomenduojama IBTA. Jo itin maža delsa ir didelis pralaidumas yra būtini didelių resursų reikalaujančioms darbo apkrovoms, tokioms kaip didelio masto DI/MM modelių apmokymas, didžiųjų duomenų analitika ir didžiulės duomenų bazių operacijos. Jis taip pat yra labai svarbus didelėms simuliacijoms (pvz., orų prognozavimui) ir aukšto dažnio finansinėms paslaugoms, kur greitis ir duomenų vientisumas yra kritiniai. 2022 m. birželio mėn. duomenimis, 62 % iš Top100 superkompiuterių pasaulyje naudojo „InfiniBand“.
V. „iWARP“: RDMA per standartinį TCP/IP
„iWARP“ (angl. Internet Wide Area RDMA Protocol) yra dar vienas RDMA įgyvendinimo būdas, pasižymintis standartinio TCP/IP protokolo rinkinio naudojimu.
A. Architektūros principai
- RDMA per TCP/IP: „iWARP“ yra protokolas, kuris įgyvendina RDMA standartiniuose IP tinkluose. Skirtingai nuo „RoCE“, kuris naudoja UDP, „iWARP“ yra sukurtas ant patikimų transporto protokolų, tokių kaip TCP ir SCTP, pagrindo.
- Pagrindiniai komponentai: „iWARP“ veikimas priklauso nuo kelių komponentų. Tiesioginio duomenų talpinimo protokolas (angl. Direct Data Placement Protocol, DDP) leidžia atlikti perdavimą be kopijavimo, talpinant duomenis tiesiai į programos atmintį. Nuotolinės tiesioginės prieigos prie atminties protokolas (RDMAP) teikia RDMA skaitymo ir rašymo operacijų paslaugas. Norint įgalinti DDP per TCP, reikalingas specifinis adaptacijos sluoksnis – žymekliu lygiuotas PDU kadrų formavimas (angl. Marker PDU Aligned (MPA) framing).
- Patikimumas: Unikali „iWARP“ savybė yra ta, kad jo patikimumą užtikrina pagrindinis TCP protokolas. Tai skiriasi nuo „RoCE v2“, kuris naudoja UDP ir reikalauja išorinių mechanizmų, tokių kaip Duomenų centro tiltai (DCB), patikimumui užtikrinti. Dėl to „iWARP“ palaiko tik patikimą, sujungimu pagrįstą ryšį.
B. Našumo profilis
- Lyginamoji delsa ir pralaidumas: Nors „iWARP“ delsa yra mažesnė nei tradicinio TCP/IP, jo našumas paprastai yra prastesnis nei „RoCE“. 2011 m. mažiausia „iWARP“ HCA delsa buvo 3 mikrosekundės, o „RoCE“ HCA pasiekė 1,3 mikrosekundės. Lyginamieji testai nuosekliai rodo, kad „RoCE“ pranešimus pristato daug greičiau nei „iWARP“, o pralaidumas yra daugiau nei 2 kartus didesnis esant 40GbE ir 5 kartus didesnis esant 10GbE.
- Procesoriaus apkrovos perkėlimas: Kaip ir kiti RDMA protokolai, „iWARP“ sumažina procesoriaus apkrovą, leisdamas atlikti tiesioginius atminties perdavimus. Jis gali naudoti TCP apkrovos perkėlimo variklius (angl. TCP Offload Engines, TOE) su RDMA aparatūra, kad pasiektų rezultatus be kopijavimo ir dar labiau sumažintų procesoriaus įsitraukimą.
C. Infrastruktūra ir valdymas
- Suderinamumas su standartiniu eternetu: Didelis „iWARP“ privalumas yra jo gebėjimas veikti standartinėje eterneto infrastruktūroje su minimaliais esamo tinklo pakeitimais. Tai leidžia organizacijoms išnaudoti savo dabartines investicijas.
- Aparatinės įrangos reikalavimai: Nepaisant suderinamumo su standartiniais eterneto komutatoriais, „iWARP“ vis tiek reikalauja „iWARP“ palaikančių tinklo plokščių galiniuose taškuose.
- Integracijos aspektai: „iWARP“ yra integruotas į pagrindines operacines sistemas, tokias kaip „Microsoft Windows Server“ ir šiuolaikinius „Linux“ branduolius. Tai palaiko tokias programas kaip „SMB Direct“, „iSCSI Extensions for RDMA“ (iSER) ir „Network File System over RDMA“ (NFS over RDMA).
- Valdymo iššūkiai: Valdyti „iWARP“ srautą gali būti sudėtinga. Jis dalijasi TCP prievadų erdve, o tai apsunkina srautų valdymą ir apsunkina RDMA srauto identifikavimą. Apskritai, „iWARP“ laikomas sunkiau valdomu nei „RoCE“.
D. Rinkos aktualumas
- Ribotas pritaikymas: „iWARP“ yra „neretas“ arba „rečiau naudojamas“ RDMA įgyvendinimas, palyginti su „InfiniBand“ ir „RoCE v2“. Jo sprendimai sulaukė „ribotos sėkmės“ dėl įgyvendinimo ir diegimo iššūkių.
- Priklausomybės nuo TCP paradoksas: „iWARP“ architektūrinis sprendimas sluoksniuoti RDMA ant TCP suteikia integruotą patikimumą ir suderinamumą, tačiau, paradoksalu, neleidžia jam pilnai pasiekti pagrindinių RDMA privalumų. Būdingos TCP protokolo pridėtinės išlaidos, net ir su aparatūros apkrovos perkėlimu, atrodo, neleidžia „iWARP“ pasiekti itin mažos delsos ir didelio pralaidumo, būdingo „InfiniBand“ ar „RoCE“. Šis našumo kompromisas lėmė ribotą jo pritaikymą rinkoje.
VI. Lyginamoji analizė: „RoCE v2“ prieš „InfiniBand“, „iWARP“ ir standartinį eternetą
Išsami našumo, infrastruktūros ir eksploatacinių rodiklių analizė yra raktas į tinkamos didelio našumo jungties pasirinkimą.
A. Našumo lyginamieji testai
Šių jungčių našumas labai skiriasi, ypač delsos, pralaidumo ir procesoriaus panaudojimo atžvilgiu.
- Delsa:
- „InfiniBand“: Siūlo mažiausią delsą. Komutatoriaus prievado į prievadą delsa yra apie 100 nanosekundžių, o adapterio delsa siekia vos 0,5–1,3 mikrosekundės. Programų lygmens delsa gali būti vos 2 mikrosekundės.
- „RoCE v2“: Suteikia itin mažą delsą. Eterneto komutatoriaus delsa yra apie 230 nanosekundžių, o HCA delsa gali būti vos 1,3 mikrosekundės. Programų lygmens delsa paprastai yra apie 5 mikrosekundes.
- „iWARP“: Turi didesnę delsą nei „RoCE“, HCA delsa siekia apie 3 mikrosekudes (2011 m. duomenys). Jis nuolat veikia prasčiau nei „RoCE“.
- Standartinis TCP/IP: Turi didžiausią delsą, vienos krypties delsa svyruoja nuo 10 iki 55 milisekundžių. Programų lygmens delsa paprastai yra apie 50 mikrosekundžių.
- Duomenų pralaida:
- „InfiniBand“: Palaiko labai didelį pralaidumą. Šiuolaikinės versijos, tokios kaip NDR, siūlo iki 400 Gb/s vienam prievadui, o XDR pasiekia iki 800 Gb/s. Būsimas GDR planuoja pasiekti 1,6 Tb/s.
- „RoCE v2“: Gali pasiekti didelį pralaidumą, palaikydamas iki 400 Gb/s vienam prievadui.
- „iWARP“: Paprastai turi mažesnį pralaidumą nei „RoCE“.
- Standartinis TCP/IP: Pralaidumas dažnai ribojamas protokolo pridėtinių išlaidų ir pakartotinių siuntimų, todėl sunku efektyviai išnaudoti didelės spartos jungtis.
- Procesoriaus apkrovos perkėlimas:
- „InfiniBand“, „RoCE v2“, „iWARP“: Visos trys RDMA technologijos perkelia didelę dalį procesoriaus darbo, apeidamos operacinę sistemą ir atlaisvindamos procesoriaus resursus kitoms užduotims.
- Standartinis TCP/IP: Sukuria didelę procesoriaus apkrovą, nes branduolys yra labai įtrauktas į duomenų apdorojimą.
- Mechanizmas be nuostolių:
- „InfiniBand“: Pasižymi prigimtiniu, aparatinės įrangos lygmens kreditais pagrįstu srauto valdymu, kuris garantuoja ryšį be nuostolių.
- „RoCE v2“: Remiasi eterneto konfigūracija be nuostolių, naudojant Duomenų centro tiltų (DCB) funkcijas, tokias kaip PFC ir ECN. Jis taip pat turi patikimo pristatymo mechanizmą nuo galo iki galo su aparatiniais pakartotiniais siuntimais.
- „iWARP“: Naudoja TCP integruotą patikimą transportą duomenų vientisumui užtikrinti.
- Standartinis TCP/IP: Naudoja geriausių pastangų (angl. best-effort) pristatymo modelį, remdamasis pakartotiniais siuntimais aukštesniuose sluoksniuose patikimumui užtikrinti, o tai didina delsą.
Šioje lentelėje apibendrinamos našumo charakteristikos:
| Savybė | „InfiniBand“ | „RoCE v2“ | „iWARP“ | Standartinis eternetas/TCP/IP |
|---|---|---|---|---|
| Pagrindinė technologija | Prigimtinis RDMA | RDMA per eternetą (UDP/IP) | RDMA per eternetą (TCP/IP) | Tradicinis sluoksniuotas protokolas |
| Tipiška programos delsa (µs) | 2 | 5 | >3 (2011 m. HCA) | 50 |
| Komutatoriaus prievado-į-prievadą delsa (ns) | 100 | 230 | Netaikoma (remiasi eternetu) | Paprastai didesnė, kintama |
| Maks. pralaidumas (Gb/s prievadui/jungčiai) | 400 (NDR), 800 (XDR), 1.6T (GDR) | 400 | Paprastai mažesnis nei „RoCE“ | 400+ (bet ribojamas protokolo pridėt. išlaidų) |
| CPU pridėtinės išlaidos | Beveik nulis | Labai mažos | Mažos | Didelės |
| Mechanizmas be nuostolių | Prigimtinis kreditais pagrįstas srauto valdymas | Reikalinga eterneto be nuostolių konfig. (PFC, ECN) | TCP patikimas transportas | Geriausių pastangų, remiasi pakartotiniais siuntimais |
| Maršrutizuojamumas (L2/L3) | L3 (per potinklio valdytoją) | L3 (maršrutizuojamas „RoCE“) | L3 | L3 (standartinis IP maršrutizavimas) |
B. Infrastruktūra ir ekosistema
- Priklausomybės nuo aparatinės įrangos:
- „InfiniBand“: Reikalingas visas specializuotos aparatinės įrangos komplektas, įskaitant „InfiniBand“ HCA, komutatorius ir patentuotus kabelius.
- „RoCE v2“: Reikalingi „RoCE“ palaikantys HCA, tačiau veikia per standartinius eterneto komutatorius ir kabelius, leidžiančius integruoti su esamais tinklais.
- „iWARP“: Reikalingos „iWARP“ palaikančios tinklo plokštės, tačiau gali naudoti standartinius eterneto komutatorius.
- Standartinis eternetas: Naudoja plačiai prieinamus, masinės gamybos eterneto NIC ir komutatorius.
- Priklausomybė nuo gamintojo:
- „InfiniBand“: Ekosistema yra ribota ir joje dominuoja „Mellanox“ („NVIDIA“), o tai gali kelti susirūpinimą dėl priklausomybės nuo vieno gamintojo.
- „RoCE v2“: Gauna naudos iš didelės ir konkurencingos eterneto ekosistemos su keliais gamintojais. Kai kurie siūlo „universalius RDMA“ NIC, palaikančius tiek „RoCE“, tiek „iWARP“, taip sumažinant priklausomybę.
- „iWARP“: Taip pat gauna naudos iš plačios eterneto ekosistemos, palaikomos tokių gamintojų kaip „Intel“ ir „Chelsio“.
- Sąveikumas:
- „InfiniBand“: Kadangi tai yra patentuotas standartas, visi komponentai turi atitikti IBTA specifikacijas, kad būtų užtikrintas jų suderinamumas.
- „RoCE v2“: Jo pagrindas – standartinis eternetas – leidžia platesnį sąveikumą ir lengvesnę integraciją su esamais tinklais.
- „iWARP“: Pagrįstas standartiniais IETF RFC TCP/IP protokolams, užtikrinantis aukštą suderinamumą standartiniuose IP tinkluose.
C. Ekonomiškumas
- Pradinės investicijos:
- „InfiniBand“: Paprastai reikalauja didesnių pradinių investicijų dėl specializuotos aparatinės įrangos ir licencijavimo. Dideliems DI klasteriams „InfiniBand“ komutatoriai gali būti žymiai brangesni nei „RoCE“ komutatoriai.
- „RoCE v2“: Dažnai yra ekonomiškesnis pasirinkimas, nes gali būti integruotas su esamu eternetu, sumažinant naujos aparatinės įrangos išlaidas. Sutaupytos lėšos didelių DI klasterių komutatoriams gali būti didelės (nuo 49 % iki 70 %, palyginti su „InfiniBand“).
- „iWARP“: Naudoja standartinius eterneto komutatorius, tačiau reikalauja specializuotų adapterių, kurie vis tiek gali sudaryti nemažas išlaidas.
- Standartinis eternetas: Paprastai yra pigiausias pasirinkimas dėl masinės gamybos aparatinės įrangos.
- Bendrosios nuosavybės išlaidos (TCO):
- „InfiniBand“: Paprastai pasižymi didesnėmis TCO dėl specializuotos aparatinės įrangos, priežiūros ir poreikio mokyti personalą dirbti su patentuota technologija.
- „RoCE v2“: Gali turėti mažesnes TCO, tačiau tai priklauso nuo sąlygų. Eterneto tinklo be nuostolių konfigūravimo ir priežiūros sudėtingumas gali žymiai padidinti eksploatacines išlaidas. Nors pradinės aparatinės įrangos išlaidos gali būti mažesnės, specializuotos žinios ir pastangos, reikalingos projektavimui, trikčių šalinimui ir priežiūrai, gali panaikinti šias santaupas. Todėl „ekonomiškumas“ priklauso tiek nuo aparatinės įrangos kainos, tiek nuo organizacijos kompetencijos ir valdymo naštos.
- „iWARP“: Integracijos ir valdymo iššūkiai gali paveikti jo bendras TCO.
Šioje lentelėje pateikiama infrastruktūros ir išlaidų aspektų lyginamoji apžvalga:
| Savybė | „InfiniBand“ | „RoCE v2“ | „iWARP“ | Standartinis eternetas/TCP/IP |
|---|---|---|---|---|
| Reikalinga tinklo aparatinė įranga | Dedikuoti IB NIC, IB komutatoriai, IB kabeliai | „RoCE“ palaikantys NIC, standartiniai eterneto komutatoriai/kabeliai | „iWARP“ palaikantys NIC, standartiniai eterneto komutatoriai/kabeliai | Standartiniai eterneto NIC, eterneto komutatoriai/kabeliai |
| Tinklo suderinamumas | Patentuotas (IBTA standartas) | Standartinis eternetas (IEEE) | Standartinis eternetas (IETF RFC) | Standartinis eternetas (IEEE) |
| Valdymo sudėtingumas | Sunkus (specializuotas SM) | Sunkus (eterneto be nuostolių konfig.) | Sunkesnis nei „RoCE“ | Lengvas |
| Pradinės aparatinės įrangos kaina (santykinė) | Aukšta | Vidutinė (naudojama esama) | Vidutinė (specializuoti NIC) | Žema |
| Bendrosios nuosavybės išlaidos (santykinės) | Didesnės | Mažesnės (priklauso nuo valdymo) | Kintamos (integracijos iššūkiai) | Mažiausios |
| Gamintojų ekosistema | Ribota (dominuoja „NVIDIA/Mellanox“) | Plati (keli eterneto gamintojai) | Plati (keli eterneto gamintojai) | Labai plati |
D. Mastelio didinimas ir lankstumas
- Maršrutizavimo galimybės:
- „InfiniBand“: Naudoja komutuojamą tinklo struktūrą su centralizuotai valdomu maršrutizavimu per potinklio valdytoją (SM). Jis yra labai gerai pritaikomas mastelio didinimui, palaikantis klasterius su daugiau nei 100 000 mazgų.
- „RoCE v2“: Jo UDP/IP inkapsuliacija leidžia jį maršrutizuoti per 3-iojo lygmens IP tinklus, todėl jis yra pritaikomas dideliems tinklams ir debesijos aplinkoms. Jis taip pat palaiko ECMP efektyviam apkrovos balansavimui.
- „iWARP“: Yra maršrutizuojamas per IP tinklus.
- Standartinis eternetas: Labai gerai pritaikomas mastelio didinimui ir lankstus, tačiau norint pasiekti DNK lygio efektyvumą, gali prireikti pažangių konfigūracijų, tokių kaip „spine-leaf“ architektūros.
- Tinklo topologijos:
- „InfiniBand“: Optimizuotas DNK/DI klasteriams, palaikantis didelio našumo topologijas, tokias kaip „Fat Tree“, „Dragonfly+“ ir daugiamačius „Torus“.
- „RoCE v2“: Jo IP pagrindu veikiantis maršrutizavimas leidžia jį pritaikyti beveik bet kokiai tinklo topologijai.
- Standartinis eternetas: Palaiko platų topologijų spektrą, įskaitant žvaigždės ir tinklo (angl. mesh) topologijas.
E. Patikimumas ir perkrovos valdymas
- Patikimumas:
- „InfiniBand“: Suteikia prigimtinį, aparatinės įrangos lygmens patikimumą su kreditais pagrįstu srauto valdymu, garantuojančiu ryšį be nuostolių.
- „RoCE v2“: Remiasi eterneto konfigūracija be nuostolių, naudojant PFC ir ETS. Jis taip pat apima patikimo pristatymo mechanizmą nuo galo iki galo su aparatūra pagrįstu paketų pakartotiniu siuntimu.
- „iWARP“: Gauna naudos iš TCP būdingo patikimumo, kuris suteikia klaidų taisymą ir pakartotinius siuntimus.
- Standartinis TCP/IP: Dėmesį skiria patikimumui per pakartotinius siuntimus, kurie gali pridėti didelę delsą ir sumažinti pralaidumą.
- Perkrovos valdymas:
- „InfiniBand“: Apibrėžia savo perkrovos valdymo mechanizmus, pagrįstus FECN/BECN žymėjimu.
- „RoCE v2“: Įgyvendina perkrovos valdymo protokolą, naudodamas IP ECN bitus ir pranešimų apie perkrovą paketus (CNP). Taip pat naudojamos pramonės praktikos, tokios kaip DCQCN.
- „iWARP“: Remiasi nusistovėjusiais TCP perkrovos valdymo algoritmais.
F. Tinkamumas programoms
- „InfiniBand“: Idealus pasirinkimas aplinkoms, kurioms reikalingas didžiausias duomenų pralaidumas ir mažiausia delsa. Tai apima mokslinius tyrimus, finansinį modeliavimą, didelio masto DNK klasterius ir pačias reikliausias DI/MM apmokymo darbo apkrovas.
- „RoCE v2“: Palankiai vertinamas įmonių, norinčių naudoti esamą eterneto infrastruktūrą, bet vis dar reikalaujančių didelio našumo. Jis puikiai tinka saugyklų tinklams, realaus laiko analitikai ir debesijos paslaugoms, siūlydamas našumo ir kainos pusiausvyrą.
- „iWARP“: Gali būti svarstomas nišinėms programoms, kur esama TCP/IP infrastruktūra yra griežtas reikalavimas, o itin maža delsa nėra svarbiausias prioritetas. Jis tinka tokioms programoms kaip NVMeoF, iSER, „SMB Direct“ ir NFS per RDMA, arba kaip pigus variantas testavimo aplinkoms.
- Standartinis eternetas/TCP/IP: Išlieka geriausiu pasirinkimu bendrosios paskirties tinklams, tokiems kaip įmonių LAN tinklai ir debesijos infrastruktūra, kur ekstremalus DNK/DI našumas nėra pagrindinis tikslas.
- Našumo, kainos ir sudėtingumo trilema: Ši analizė atskleidžia esminį kompromisą renkantis jungtį: trilemą tarp našumo, kainos ir sudėtingumo. „InfiniBand“ siūlo aukščiausią našumą ir prigimtinį patikimumą, bet už didesnę kainą. „RoCE v2“ suteikia beveik „InfiniBand“ našumą eterneto tinkle, potencialiai sumažindamas aparatinės įrangos išlaidas, bet pridedant didelį konfigūravimo sudėtingumą. „iWARP“ siūlo RDMA per TCP, bet su mažesniu našumu. Standartinis eternetas yra ekonomiškas, bet neturi našumo reiklioms darbo apkrovoms. Nėra vieno „geriausio“ sprendimo; teisingas pasirinkimas reikalauja subalansuoti šiuos tris veiksnius, atsižvelgiant į konkrečius poreikius ir galimybes.
Šioje lentelėje apžvelgiamas kiekvienos technologijos tinkamumas programoms:
| Technologija | Pagrindinės naudojimo sritys | Geriausiai tinka | Mažiau tinka |
|---|---|---|---|
| „InfiniBand“ | DNK, DI/MM apmokymas, didžiųjų duomenų analitika, finansinės paslaugos (arbitražas) | Aplinkoms, reikalaujančioms absoliučiai mažiausios delsos, didžiausio pralaidumo ir prigimtinių garantijų be nuostolių | Kainai jautriems bendrosios paskirties įmonių tinklams, aplinkoms be specializuotų IT žinių |
| „RoCE v2“ | Duomenų centrai, debesijos paslaugos, saugyklų tinklai, realaus laiko analitika, DI/MM išvadų darymas | Organizacijoms, naudojančioms esamą eterneto infrastruktūrą dideliam našumui pasiekti; kainos ir našumo pusiausvyra | Aplinkoms, kuriose prigimtinės garantijos be nuostolių yra būtinos be išsamių konfigūravimo žinių |
| „iWARP“ | NVMeoF, iSER, SMB Direct, NFS per RDMA, testavimo/vystymo aplinkos | Specifinėms programoms, reikalaujančioms RDMA per esamą TCP/IP, kur absoliutus piko našumas nėra kritinis | Didelio masto DNK/DI klasteriams, delsai jautrioms realaus laiko programoms |
| Standartinis eternetas/TCP/IP | Bendrosios paskirties įmonių tinklai, LAN, interneto ryšys, debesijos infrastruktūra | Visur paplitusiems, ekonomiškiems ir lankstiems bendrosios paskirties tinklams | Didelio našumo kompiuterijai, DI/MM apmokymui ir kitoms delsai jautrioms, procesoriaus resursams imlioms darbo apkrovoms |
VII. Naujos didelio našumo jungtys ir ateities tendencijos
Didelio našumo tinklų aplinka nuolat kinta, skatinama duomenims imlių darbo krūvių ir didesnio efektyvumo poreikio. Be nusistovėjusių RDMA technologijų, naujos jungtys ir tendencijos formuoja duomenų centrų ateitį.
A. „Compute Express Link“ (CXL)
CXL yra šiuolaikinė jungtis, sukurta remiantis PCIe fiziniu sluoksniu ir skirta bendrosios paskirties skaičiavimo sistemoms. Jos pagrindinis tikslas – užtikrinti greitą ir sklandų ryšį tarp procesorių ir greitintuvų, tokių kaip GPU ir FPGA.
Pagrindinės CXL savybės apima didelės spartos duomenų perdavimą, platų suderinamumą ir efektyvų atminties dalijimąsi per podėlio vientisumą (angl. Cache Coherency). Ji palaiko tris įrenginių tipus (greitintuvams, podėlio vientisumą palaikantiems įrenginiams ir atminties plėstuvams) ir lanksčias topologijas. CXL/PCIe Gen5 siūlo didžiausią 512 Gb/s pralaidumą su maždaug 500 nanosekundžių delsa. Nors „InfiniBand“ delsa yra mažesnė (apie 100 nanosekundžių), CXL yra pranašesnis mažos delsos prieigai prie atminties, kur podėlio vientisumas yra kritiškai svarbus.
Svarbus įvykis buvo „Gen-Z“ ir CXL konsorciumų susijungimas 2022 m., kuris pozicionuoja CXL kaip vienintelį pramonės standartą šios klasės į atmintį orientuotoms jungtims.
CXL atspindi perėjimą nuo tradicinio „mazgas-į-mazgą“ tinklo (kaip „RoCE“ ir „InfiniBand“) link atminties vientisumo ir išteklių išskaidymo. Tai reiškia, kad tam tikroms darbo apkrovoms CXL gali tapti pagrindine jungtimi, papildančia arba sumažinančia tradicinių tinklo struktūrų poreikį.
B. NVLink
NVLink yra „NVIDIA“ patentuota didelės spartos, mažos delsos jungtis, sukurta tiesioginiam GPU-į-GPU ir GPU-į-CPU ryšiui jos pagreitintos kompiuterijos platformose.
NVLink yra pagrindinė „NVIDIA“ sprendimų, skirtų DI ir DNK, dalis, pavyzdžiui, jos GB200 ir GB300 architektūrose. Ji yra labai svarbi DI modelių apmokymo mastelio didinimui, užtikrinant itin greitą duomenų perdavimą tarp GPU.
NVLink rodo vertikalios integracijos ir specializuoto našumo tendenciją. Jos patentuota prigimtis kontrastuoja su atvirais standartais, tokiais kaip „RoCE“ ar „InfiniBand“. Ši architektūra maksimaliai padidina našumą vieno gamintojo aparatinės įrangos rinkinyje. Kol „InfiniBand“ ir „RoCE“ tvarko bendrąjį tinklo ryšį tarp mazgų, NVLink optimizuoja ryšį viduje ir tarp GPU sistemų, sukuriant pakopinę jungčių architektūrą, kurioje skirtingos technologijos tenkina skirtingus poreikius.
C. Ateities eterneto greičiai
Eternetas išsivystė nuo 10 Mb/s iki 400 Gb/s, o plėtra tęsiasi su 800GbE ir 1.6TbE standartais, kurie jau yra horizonte. Šie didesni greičiai bus būtini naujos kartos programoms, tokioms kaip kvantinė kompiuterija, pažangus DI ir įtraukiančiosios technologijos.
Nuolatinis eterneto greičių didėjimas tiesiogiai naudingas „RoCE“. Kadangi „RoCE“ yra sukurtas eterneto pagrindu, jis automatiškai gauna naudos iš šių patobulinimų, padedančių jam išlikti konkurencingam su „InfiniBand“. Debesijos paslaugų augimas jau skatina 200GbE ir 400GbE diegimą, o ateityje laukia 800GbE ir 1.6TbE.
Eterneto ir „RoCE“ nuolatinis aktualumas yra glaudžiai susiję. Didėjant eterneto greičiams, „RoCE“ tampa dar stipresniu kandidatu didelio našumo duomenų centrams, ypač organizacijoms, kurios nori išnaudoti esamas eterneto investicijas ir išvengti patentuotų ekosistemų.
D. Išskaidyta kompiuterija ir fotonika
- Išskaidyta kompiuterija: Šis naujas požiūris siekia pagerinti duomenų centrų efektyvumą, atskiriant išteklius, tokius kaip skaičiavimo galia, saugyklos ir atmintis, nuo tradicinių serverių. Šie ištekliai vėliau pergrupuojami į lanksčius telkinius, sujungtus pažangiais tinklais. Pagrindinis rezultatas yra tas, kad ryšys, kuris anksčiau vykdavo serverio viduje, dabar kerta tinklą, dramatiškai padidindamas apkrovą ir paversdamas itin mažą delsą kritiškai svarbia. Ši tendencija sustiprina didelio našumo jungčių, tokių kaip „RoCE“ ir „InfiniBand“, poreikį ir skatina naujų, pavyzdžiui, CXL, kūrimą.
- Fotonika duomenų centrų tinkluose: Silicio fotonika integruoja optinius komponentus į silicio lustus, leisdama sukurti didelės spartos, mažos galios optines jungtis. Ši technologija siūlo daug greitesnius duomenų perdavimo greičius (virš 100 Gb/s), mažesnę delsą ir geresnį energijos vartojimo efektyvumą nei tradicinis varis. Ji tampa būtina norint patenkinti augančius srauto poreikius duomenų centruose ir įgalinti naujos kartos didelės spartos eternetą.
Šių tendencijų ryšys yra simbiotinis. Išskaidytoms architektūroms reikalingi pažangūs tinklai, kuriuos suteikia tokios jungtys kaip „RoCE“, „InfiniBand“ ir CXL. Savo ruožtu, norint pasiekti šioms jungtims būtinus greičius, ypač ateities 800GbE ir 1.6TbE standartams, prireiks tokių technologijų kaip silicio fotonika.
VIII. Rekomendacijos ir išvada
Didelio našumo jungties pasirinkimas yra kritinis strateginis sprendimas, kuris turi atitikti organizacijos specifinius poreikius, biudžetą, infrastruktūrą ir ilgalaikę viziją.
- Siekiant maksimalaus grynojo našumo ir kritiškai svarbių DNK/DI: „InfiniBand“ yra aiškus aukso standartas. Jo prigimtinis RDMA, kreditais pagrįstas srauto valdymas ir specializuota architektūra užtikrina mažiausią delsą ir didžiausią pralaidumą su garantuotu našumu be nuostolių. Organizacijos, turinčios biudžetą ir kompetenciją, turėtų rinktis „InfiniBand“ didelio masto klasteriams, kur kiekviena mikrosekundė yra svarbi.
- Siekiant didelio našumo su ekonomiškumu ir eterneto integracija: „RoCE v2“ yra stipri ir vis populiarėjanti alternatyva. Ji siūlo didelius našumo pranašumus prieš TCP/IP ir gali priartėti prie „InfiniBand“ našumo, naudojant esamą eterneto infrastruktūrą. Tai idealus pasirinkimas organizacijoms, atnaujinančioms savo duomenų centrus be visiško pertvarkymo. Tačiau šis pasirinkimas reikalauja įsipareigojimo kruopščiai konfigūruoti ir valdyti eterneto tinklą be nuostolių.
- Nišinėms programoms ar senesnėms RDMA per TCP aplinkoms: „iWARP“ gali būti tinkamas tam tikrais atvejais, ypač kai esamos TCP/IP infrastruktūros naudojimas yra būtinas, o piko našumas nėra pagrindinis tikslas. Tačiau jo mažesnis našumas ir didesnis valdymo sudėtingumas riboja jo naudojimą šiuolaikiniuose didelio našumo diegimuose.
- Bendrosios paskirties tinklams: Standartinis eternetas/TCP/IP išlieka labiausiai paplitusiu ir ekonomiškiausiu pasirinkimu aplinkoms be ekstremalių našumo reikalavimų. Jo naudojimo paprastumas ir masinės gamybos aparatinė įranga puikiai tinka bendrosios paskirties įmonių tinklams, LAN ir standartinei debesijos infrastruktūrai.
- Atsižvelgiant į naujas technologijas ateities perspektyvai: Organizacijos turėtų stebėti CXL plėtrą, skirtą į atmintį orientuotoms ir išskaidytoms architektūroms, nes ji papildo tradicines tinklo struktūras, optimizuodama išteklių telkimą. Panašiai NVLink yra kritiškai svarbus optimizuojant ryšį „NVIDIA“ GPU sistemose. Šios technologijos rodo jungčių diversifikaciją skirtingiems skaičiavimo hierarchijos sluoksniams. Be to, 800GbE ir 1.6TbE eterneto plėtra, kartu su fotonikos pažanga, toliau darys „RoCE“ dar galingesniu pasirinkimu.
Apibendrinant, didelio našumo tinklų sritis yra sudėtinga, skatinama DI, DNK reikalavimų ir perėjimo prie išskaidytos kompiuterijos. Nors „InfiniBand“ pirmauja absoliučiu našumu specializuotose aplinkose, „RoCE v2“ suteikia galingą ir lanksčią alternatyvą, sujungiančią RDMA privalumus su eterneto visapusiškumu. CXL ir NVLink atsiradimas rodo strateginę jungčių diversifikaciją, optimizuojančią skirtingus ryšio sluoksnius. Optimalus sprendimas visada bus strateginė pusiausvyra tarp našumo reikalavimų, kainos, esamos infrastruktūros ir į ateitį orientuotos vizijos.
