Visaptveroša augstas veiktspējas savienojumu analīze: RoCE v2, InfiniBand, iWARP un jaunas alternatīvas mūsdienu datu centriem

I. Kopsavilkums

Mūsdienu datu centriem ir jānodrošina atbalsts tādām prasīgām darba slodzēm kā augstas veiktspējas skaitļošana (HPC), mākslīgais intelekts/mašīnmācīšanās (AI/ML) un lielo datu analīze. Šīm lietojumprogrammām nepieciešams īpaši zems latentums, liels joslas platums un minimāls CPU noslogojums. Tradicionālie tīklošanas protokoli, piemēram, TCP/IP, nevar apmierināt šīs vajadzības to lielās virsizmaksu un latentuma dēļ.

Attālā tiešā atmiņas piekļuve (RDMA) ir galvenā tehnoloģija, kas nodrošina augstas veiktspējas savienojumus. RDMA ļauj tīklā savienotiem datoriem pārsūtīt datus tieši starp to atmiņām, neiesaistot to operētājsistēmas vai centrālos procesorus (no atmiņas uz atmiņu). Šis process ievērojami samazina latentumu un CPU slodzi.

• InfiniBand ir speciāli izstrādāta, patentēta struktūra, kas paredzēta visaugstākajai iespējamajai veiktspējai un dabiskai bezzudumu darbībai.
• RoCE v2 (RDMA over Converged Ethernet) pielieto RDMA priekšrocības standarta Ethernet tīklā, piedāvājot maršrutējamu un izmaksu ziņā efektīvāku risinājumu, taču tam ir nepieciešamas īpašas konfigurācijas, lai nodrošinātu bezzudumu darbību.
• iWARP ir vēl viens RDMA-over-Ethernet risinājums, kas balstīts uz TCP, taču tas ir retāk sastopams un piedāvā zemāku veiktspēju nekā RoCE v2.

Pareizā savienojuma izvēle ir stratēģisks lēmums, kas atkarīgs no veiktspējas vajadzībām, budžeta, esošās infrastruktūras un mērogojamības mērķiem. Šajā ziņojumā tiek analizētas šīs tehnoloģijas, salīdzinātas ar standarta Ethernet/TCP/IP un izpētītas jaunas alternatīvas, piemēram, CXL un NVLink, lai palīdzētu pieņemt šo svarīgo lēmumu.

II. Ievads augstas veiktspējas tīklošanā un RDMA

Mūsdienu digitālajā pasaulē vērojams eksponenciāls datu ietilpīgu lietojumprogrammu, piemēram, augstas veiktspējas skaitļošanas (HPC), mākslīgā intelekta/mašīnmācīšanās (AI/ML) un lielo datu analīzes, pieaugums. Šīm darba slodzēm nepieciešams ātri un efektīvi pārvietot milzīgas datu kopas starp skaitļošanas mezgliem un krātuvi. Piemēram, mākslīgā intelekta lietojumprogrammas ir ļoti jutīgas pret datu integritāti un tām ir nepieciešami bezzudumu tīkli, kuros viena zaudēta ziņa var sabojāt visu apmācības ciklu. Lai šīs lietojumprogrammas varētu efektīvi apstrādāt datus, būtisks ir arī liela joslas platuma trafiks.

Tradicionālā TCP/IP Ethernet ierobežojumi augstas veiktspējas lietojumprogrammām

Lai gan tradicionālais TCP/IP Ethernet ir uzticams vispārējai tīklošanai, tam ir būtiski ierobežojumi augstas veiktspējas lietojumprogrammām:

• Augsts latentums un CPU virsizmaksa: TCP/IP arhitektūra sūta datus caur vairākiem programmatūras slāņiem operētājsistēmas kodolā, kas prasa ievērojamu CPU iesaisti. Šis process rada ievērojamu latentumu (parasti desmitiem mikrosekunžu) un lielu slodzi CPU. Lietojumprogrammām, kas ir jutīgas pret latentumu, tas kļūst par būtisku sastrēgumpunktu, jo CPU pavada laiku, pārvaldot tīkla trafiku, nevis izpildot lietojumprogrammu. Šis “CPU nodoklis”, ko rada konteksta pārslēgšana un datu kopēšana, ir galvenais iemesls, kāpēc tiek izmantotas RDMA tehnoloģijas, kas atvieglo tīkla apstrādi un atbrīvo CPU lietojumprogrammu uzdevumiem.
• Caurlaidspējas ierobežojumi: Vairāki faktori ierobežo TCP efektīvo caurlaidspēju, tostarp pārraides loga lielums, segmenta lielums un pakešu zudumi. Standarta TCP loga lielums (bieži ierobežots līdz 65 535 baitiem) var liegt pilnībā izmantot liela joslas platuma savienojumus, īpaši tīklos ar augstāku latentumu. Turklāt TCP galvenais uzticamības mehānisms – pakešu atkārtota pārraide – rada aizkaves un izmanto papildu joslas platumu, kas negatīvi ietekmē veiktspēju pārslogotos vai zudumradošos tīklos.
• Mērogojamības izaicinājumi: Lai gan TCP/IP labi mērogojas lielos tīklos, tā arhitektūra prioritizē vispārējo uzticamību, nevis neapstrādātu veiktspēju. Tādēļ tas ir mazāk efektīvs scenārijos, kas prasa ārkārtēju caurlaidspēju un minimālu latentumu, piemēram, liela mēroga HPC klasteros vai reāllaika mākslīgā intelekta secinājumu veikšanā.

Attālās tiešās atmiņas piekļuves (RDMA) pamati un tās galvenās priekšrocības

Attālā tiešā atmiņas piekļuve (RDMA) tika izstrādāta, lai pārvarētu TCP/IP ierobežojumus augstas veiktspējas vidēs. Tās galvenās priekšrocības rodas, apejot CPU un operētājsistēmu datu pārsūtīšanas laikā:

• Tiešā atmiņas piekļuve (nulles kopēšana): RDMA pārsūta datus tieši no viena datora atmiņas uz otru, neiesaistot nevienas sistēmas CPU vai OS. Šī “nulles kopēšanas” pieeja novērš starpposma datu buferus un konteksta pārslēgšanu, kas ir galvenie virsizmaksu avoti tradicionālajā tīklošanā.
• Samazināts latentums un CPU slodze: Apejot CPU un OS, RDMA krasi samazina komunikācijas latentumu un atbrīvo CPU ciklus. Tas tieši noved pie ātrākas skaitļošanas un labākas reāllaika datu apstrādes. Piemēram, lietojumprogrammas latentums var samazināties no aptuveni 50 mikrosekundēm ar TCP/IP līdz pat 2–5 mikrosekundēm ar RDMA.
• Lielāka joslas platuma izmantošana: Efektīvais datu ceļš un samazinātā virsizmaksa RDMA tehnoloģijā ļauj lietojumprogrammām labāk izmantot pieejamo tīkla joslas platumu, nodrošinot augstāku efektīvo caurlaidspēju.
• Galvenās implementācijas: Mūsdienās galvenās izmantotās RDMA tehnoloģijas ir InfiniBand, RoCE (1. un 2. versija) un iWARP.

III. RoCE v2: RDMA pār konverģēto Ethernet (RDMA over Converged Ethernet)

RoCE v2 ir nozīmīgs solis uz priekšu augstas veiktspējas tīklošanā, paplašinot RDMA priekšrocības plaši izmantotajā Ethernet ekosistēmā.

A. Arhitektūras principi

• Evolūcija no RoCE v1: RoCE v1 bija 2. slāņa protokols (Ethertype 0x8915), kas to ierobežoja vienā Ethernet apraides domēnā un ierobežoja tā mērogojamību. RoCE v2 to atrisina, darbojoties interneta slānī. Tas iekapsulē RDMA trafiku UDP/IP paketēs (izmantojot UDP galamērķa portu 4791), padarot to maršrutējamu caur 3. slāņa IP tīkliem. Šī maršrutējamība ir būtisks uzlabojums, kas ļauj RoCE v2 izmantot liela mēroga datu centros un mākoņvides vidēs.
• RDMA over Ethernet integrācija: RoCE nodrošina metodi RDMA veikšanai standarta Ethernet tīklā. Tas efektīvi aizstāj InfiniBand tīkla slāni ar IP un UDP galvenēm, saglabājot InfiniBand transporta slāņa kodolu un RDMA protokolu. Šī arhitektūra ļauj RoCE izmantot esošo Ethernet infrastruktūru.
• Paketes formāts: RoCE v2 pakete ietver IP galveni un UDP galveni, kas iekapsulē RDMA transporta protokolu. Lai gan UDP negarantē pakešu secību, RoCE v2 standarts nosaka, ka paketes ar to pašu avota portu un galamērķa adresi nedrīkst tikt pārkārtotas.
• Kompromiss “labākais no abām pasaulēm”: RoCE v2 arhitektūra ir stratēģisks kompromiss, kura mērķis ir nodrošināt RDMA augsto veiktspēju uz elastīgas, izmaksu ziņā efektīvas un visuresošas Ethernet platformas. Lai gan šī pieeja piedāvā plašu saderību, tā rada būtisku izaicinājumu: nodrošināt bezzudumu veiktspēju, kas nepieciešama RDMA, pār Ethernet tīklu, kas pēc savas būtības ir zudumradošs.

B. Veiktspējas profils

• Latentums: RoCE saimniekdatora kanāla adapteri (HCA) var sasniegt ļoti zemu latentumu, pat 1,3 mikrosekundes. Lietojumprogrammas līmenī RoCE samazina latentumu līdz aptuveni 5 mikrosekundēm, kas ir milzīgs uzlabojums salīdzinājumā ar 50 mikrosekundēm, kas raksturīgas TCP/IP. Lai gan InfiniBand piedāvā nedaudz zemāku dabisko latentumu, RoCE veiktspēja ir lieliska reāllaika lietojumprogrammām.
• Joslas platums: RoCE v2 atbalsta lielu joslas platumu ar ātrumu līdz 400 Gbps uz vienu portu.
• CPU atslodze: Tāpat kā citi RDMA protokoli, RoCE apiet CPU datu pārsūtīšanas laikā. Šī atslodze atbrīvo vērtīgus CPU resursus skaitļošanas ietilpīgiem uzdevumiem, nevis tīkla apstrādei.
• Bezzudumu veiktspēja: Lai sasniegtu InfiniBand veiktspēju, RoCE ir atkarīgs no bezzudumu Ethernet tīkla. To parasti panāk, ieviešot datu centra tiltu (DCB) funkcijas, īpaši prioritāro plūsmas kontroli (PFC) un eksplicīto sastrēgumu paziņošanu (ECN).

C. Infrastruktūra un pārvaldība

• Aparatūras/programmatūras prasības: RoCE darbojas ar standarta Ethernet aparatūru, piemēram, komutatoriem un kabeļiem, ļaujot organizācijām izmantot savu esošo infrastruktūru. Tomēr galapunktos ir nepieciešami RoCE spējīgi saimniekdatora kanāla adapteri (HCA). Programmatūras atbalsts ir nobriedis, ar implementācijām Mellanox OFED 2.3+ un integrāciju Linux Kernel v4.5+.
• Bezzudumu tīkla konfigurācija: Lai gan RoCE izmanto standarta Ethernet, bezzudumu DCB tīkla izveide var būt sarežģītāka nekā InfiniBand tīkla iestatīšana. Katrs komponents, sākot no galapunktiem līdz komutatoriem, ir rūpīgi jākonfigurē. Tas ietver prioritārās plūsmas kontroles (PFC), uzlabotās pārraides atlases (ETS) un sastrēgumu paziņošanas mehānismu iestatīšanu. Lai darbotos caur 3. slāņa tīkliem, šīs bezzudumu īpašības ir jāsaglabā visos maršrutētājos, bieži vien kartējot 2. slāņa prioritātes iestatījumus ar 3. slāņa DSCP QoS iestatījumiem.
• Pārvaldības apsvērumi: RoCE var pārvaldīt ar standarta Ethernet rīkiem. Tomēr konsekventas bezzudumu veiktspējas nodrošināšana un sastrēgumu pārvaldība liela mēroga RoCE v2 izvietojumos var būt sarežģīta un prasa specializētas zināšanas.
• “Izmaksu efektivitātes” slēptās izmaksas: RoCE bieži tiek saukts par “izmaksu ziņā efektīvu”, jo tas var izmantot esošo Ethernet infrastruktūru, taču tas ir pārāk vienkāršots apgalvojums. Lai sasniegtu InfiniBand līdzīgu veiktspēju, nepieciešams perfekti konfigurēts bezzudumu Ethernet tīkls. Datu centra tiltu (DCB) funkciju, piemēram, PFC un ECN, iestatīšanas sarežģītība var būt daudz augstāka nekā InfiniBand tīkla konfigurēšana. Šī sarežģītība rada lielākas operacionālās izmaksas tīkla projektēšanai, problēmu novēršanai un pārvaldībai, un var prasīt dārgākus Ethernet komutatorus. Rezultātā sākotnējie aparatūras ietaupījumi no RoCE var tikt kompensēti ar šīm augstākajām operacionālajām izmaksām. Precīzam salīdzinājumam ir būtiska rūpīga kopējo īpašumtiesību izmaksu (TCO) analīze.

D. Galvenie pielietojumi

RoCE v2 ir lielisks risinājums daudzām datu centru un uzņēmumu lietojumprogrammām. Tas ir īpaši piemērots vidēm, kurām nepieciešams īpaši zems latentums un augsta caurlaidspēja, piemēram, mākslīgā intelekta darba slodzēm, augstas frekvences tirdzniecībai un reāllaika analīzei. Tas arī uzlabo veiktspēju lietojumprogrammām, kas lielā mērā paļaujas uz datubāzēm vai failu I/O. Turklāt RoCE v2 palīdz nodrošināt biznesa nepārtrauktību un avārijas atjaunošanu, nodrošinot ātru un efektīvu datu replicēšanu. Tā plašā izmantošana mākslīgā intelekta apmācības klasteros uzsver tā nozīmi mūsdienu skaitļošanā.

IV. InfiniBand: Specializētā augstas veiktspējas struktūra

InfiniBand ir augstākās klases augstas veiktspējas savienojums, kas no paša sākuma izstrādāts, lai nodrošinātu nepārspējamu ātrumu, minimālu latentumu un augstu uzticamību prasīgās skaitļošanas vidēs.

A. Arhitektūras principi

• Dabiska RDMA: InfiniBand tika veidots ar RDMA, kas integrēts visā tā protokolu komplektā, sākot no fiziskā slāņa uz augšu. Šī no pašiem pamatiem veidotā arhitektūra nodrošina, ka RDMA operācijas ir ļoti efektīvas, radot tiešus un aizsargātus datu kanālus starp mezgliem bez CPU iesaistes.
• Komutētas struktūras topoloģija: InfiniBand izmanto komutētas struktūras topoloģiju tiešiem punkts-punkts savienojumiem starp ierīcēm. Arhitektūra ietver saimniekdatora kanāla adapterus (HCA) procesoros un mērķa kanāla adapterus (TCA) perifērijas ierīcēs, nodrošinot efektīvu komunikāciju.
• Kredītu bāzes plūsmas kontrole: InfiniBand galvenā iezīme ir tā kredītu bāzes plūsmas kontrole. Šis aparatūras līmeņa algoritms garantē bezzudumu komunikāciju, nodrošinot, ka sūtītājs pārraida datus tikai tad, ja uztvērējam ir pietiekami daudz bufera vietas (kredītu), lai tos pieņemtu. Šī dabiskā uzticamība novērš pakešu zudumus un atšķir InfiniBand no tehnoloģijām, kurām nepieciešamas augstāka līmeņa konfigurācijas, lai nodrošinātu bezzudumu darbību.
• Patentēti standarti: InfiniBand seko patentētiem standartiem, ko definējusi InfiniBand Tirdzniecības asociācija (IBTA), kas dibināta 1999. gadā. Ekosistēmā lielā mērā dominē NVIDIA (pēc Mellanox iegādes), vadošais InfiniBand adapteru un komutatoru ražotājs.

B. Veiktspējas profils

• Īpaši zems latentums: InfiniBand konsekventi piedāvā zemāko latentumu. Adaptera latentums var būt tik zems kā 0,5 mikrosekundes, un komutatora ports-ports latentums ir aptuveni 100 nanosekundes — ievērojami zemāks nekā salīdzināmu Ethernet komutatoru 230 nanosekundes. Lietojumprogrammas līmenī InfiniBand var sasniegt latentumu līdz 2 mikrosekundēm, salīdzinājumā ar TCP/IP 50 mikrosekundēm.
• Augstas caurlaidspējas iespējas: InfiniBand atbalsta ārkārtīgi augstus datu pārraides ātrumus. Mūsdienu versijas, piemēram, HDR un NDR, piedāvā līdz 200 Gbps un 400 Gbps uz vienu līniju. Agregēti savienojumi var sasniegt vēl augstāku caurlaidspēju, sasniedzot 800 Gbps (NDR) un pat 1,6 Tbps (XDR).
• CPU efektivitāte: InfiniBand galvenā priekšrocība ir tā spēja nodrošināt īpaši zemu latentumu un ārkārtīgi lielu joslas platumu gandrīz bez CPU izmantošanas. Šī tīkla apstrādes atslodze ir kritiska priekšrocība skaitļošanas ietilpīgām darba slodzēm.
• Veiktspēja pēc dizaina pret veiktspēju pēc konfigurācijas: InfiniBand un RoCE ir fundamentāla atšķirība savā pieejā. InfiniBand tika izstrādāts no pašiem pamatiem priekš RDMA, ar tā fiziskajiem un transporta slāņiem, kas projektēti aparatūras līmeņa uzticamībai, ieskaitot dabisku kredītu bāzes algoritmu bezzudumu komunikācijai. Pretstatā tam, RoCE darbojas uz standarta Ethernet un paļaujas uz konfigurāciju tādām funkcijām kā prioritārā plūsmas kontrole (PFC) un eksplicītā sastrēgumu paziņošana (ECN), lai izveidotu bezzudumu tīklu. Tas nozīmē, ka InfiniBand nodrošina garantētu augstu veiktspēju uzreiz pēc instalēšanas, kamēr RoCE veiktspēja ir atkarīga no pamatā esošās Ethernet konfigurācijas kvalitātes.

C. Infrastruktūra un pārvaldība

• Specializēta aparatūra: InfiniBand prasa specializētu aparatūru, ieskaitot īpašus saimniekdatora kanāla adapterus (HCA), komutatorus, maršrutētājus un patentētus kabeļus. Tas parasti rada lielākas sākotnējās investīcijas salīdzinājumā ar Ethernet bāzētiem risinājumiem.
• Centralizēta pārvaldība: InfiniBand tīklus pārvalda centrālais apakštīkla pārvaldnieks (SM), kas aprēķina un izplata pārsūtīšanas tabulas un pārvalda konfigurācijas, piemēram, nodalījumus un pakalpojumu kvalitāti (QoS). Šī centralizētā pieeja var vienkāršot pārvaldību lielos klasteros pēc sākotnējās iestatīšanas.
• Specializētas zināšanas: InfiniBand tīklu izvietošanai un uzturēšanai parasti nepieciešamas specializētas zināšanas, kas var palielināt operacionālās izmaksas un radīt stāvāku mācīšanās līkni IT personālam.
• Ekosistēma: InfiniBand ekosistēma ir nobriedusi, bet tajā dominē NVIDIA/Mellanox.

D. Galvenie pielietojumi

InfiniBand ir nozares standarts augstas veiktspējas skaitļošanas (HPC) vidēs un ir visstraujāk augošais savienojums šīm lietojumprogrammām. Tā ir galvenā tehnoloģija, ko iesaka IBTA. Tās īpaši zemais latentums un lielais joslas platums ir būtiski prasīgām darba slodzēm, piemēram, liela mēroga mākslīgā intelekta/mašīnmācīšanās modeļu apmācībai, lielo datu analīzei un masīvām datubāzu operācijām. Tas ir arī izšķiroši svarīgs lielām simulācijām (piemēram, laika prognozēšanai) un augstas frekvences finanšu pakalpojumiem, kur ātrums un datu integritāte ir kritiski. 2022. gada jūnijā 62% no Top100 superdatoriem pasaulē izmantoja InfiniBand.

V. iWARP: RDMA pār standarta TCP/IP

iWARP (Internet Wide Area RDMA Protocol) ir vēl viena RDMA implementācijas metode, kas izceļas ar standarta TCP/IP protokolu komplekta izmantošanu.

A. Arhitektūras principi

• RDMA over TCP/IP: iWARP ir protokols, kas implementē RDMA standarta IP tīklos. Atšķirībā no RoCE, kas izmanto UDP, iWARP ir veidots uz uzticamiem transporta protokoliem, piemēram, TCP un SCTP.
• Galvenie komponenti: iWARP darbība balstās uz vairākiem komponentiem. Tiešās datu izvietošanas protokols (DDP) nodrošina nulles kopēšanas pārraidi, izvietojot datus tieši lietojumprogrammas atmiņā. Attālās tiešās atmiņas piekļuves protokols (RDMAP) nodrošina pakalpojumus RDMA lasīšanas un rakstīšanas operācijām. Lai nodrošinātu DDP pār TCP, ir nepieciešams īpašs adaptācijas slānis, Marker PDU Aligned (MPA) kadrēšana.
• Uzticamība: iWARP unikāla iezīme ir tā, ka tā uzticamību nodrošina pamatā esošais TCP protokols. Tas atšķiras no RoCE v2, kas izmanto UDP un prasa ārējus mehānismus, piemēram, datu centra tiltu (DCB), uzticamībai. Rezultātā iWARP atbalsta tikai uzticamu, savienotu komunikāciju.

B. Veiktspējas profils

• Salīdzinošs latentums un caurlaidspēja: Lai gan iWARP ir zemāks latentums nekā tradicionālajam TCP/IP, tā veiktspēja parasti ir sliktāka nekā RoCE. 2011. gadā zemākais iWARP HCA latentums bija 3 mikrosekundes, kamēr RoCE HCA sasniedza 1,3 mikrosekundes. Salīdzinošie testi konsekventi parāda, ka RoCE piegādā ziņas daudz ātrāk nekā iWARP, ar caurlaidspēju, kas ir vairāk nekā 2 reizes lielāka pie 40GbE un 5 reizes lielāka pie 10GbE.
• CPU atslodze: Tāpat kā citi RDMA protokoli, iWARP samazina CPU slodzi, nodrošinot tiešu atmiņas pārsūtīšanu. Tas var izmantot TCP atslodzes dzinējus (TOE) ar RDMA aparatūru, lai sasniegtu nulles kopēšanas rezultātus un vēl vairāk samazinātu CPU iesaisti.

C. Infrastruktūra un pārvaldība

• Saderība ar standarta Ethernet: iWARP liela priekšrocība ir tā spēja darboties standarta Ethernet infrastruktūrā ar minimālām izmaiņām esošajā tīklā. Tas ļauj organizācijām izmantot savas pašreizējās investīcijas.
• Aparatūras prasības: Neskatoties uz saderību ar standarta Ethernet komutatoriem, iWARP joprojām prasa iWARP spējīgas tīkla kartes galapunktos.
• Integrācijas aspekti: iWARP ir integrēts lielākajās operētājsistēmās, piemēram, Microsoft Windows Server un mūsdienu Linux kodolos. Tas atbalsta tādas lietojumprogrammas kā SMB Direct, iSCSI Extensions for RDMA (iSER) un Network File System over RDMA (NFS over RDMA).
• Pārvaldības izaicinājumi: iWARP trafika pārvaldība var būt sarežģīta. Tas dala TCP portu telpu, kas sarežģī plūsmas pārvaldību un apgrūtina RDMA trafika identificēšanu. Kopumā iWARP tiek uzskatīts par grūtāk pārvaldāmu nekā RoCE.

D. Tirgus nozīmīgums

• Ierobežota pieņemšana: iWARP ir “neraksturīga” vai “retāk izmantota” RDMA implementācija salīdzinājumā ar InfiniBand un RoCE v2. Tā risinājumiem ir bijusi “ierobežota veiksme” implementācijas un izvietošanas izaicinājumu dēļ.
• TCP atkarības paradokss: iWARP arhitektūras izvēle slāņot RDMA pār TCP nodrošina iebūvētu uzticamību un saderību, bet paradoksāli liedz tam pilnībā sasniegt RDMA galvenās priekšrocības. TCP protokola raksturīgā virsizmaksa, pat ar aparatūras atslodzi, šķiet, neļauj iWARP sasniegt InfiniBand vai RoCE īpaši zemo latentumu un augsto caurlaidspēju. Šis veiktspējas kompromiss ir novedis pie tā ierobežotās pieņemšanas tirgū.

VI. Salīdzinošā analīze: RoCE v2 pret InfiniBand pret iWARP pret standarta Ethernet

Detalizēts veiktspējas, infrastruktūras un operacionālo rādītāju salīdzinājums ir galvenais, lai izvēlētos pareizo augstas veiktspējas savienojumu.

A. Veiktspējas salīdzinošie testi

Šo savienojumu veiktspēja ievērojami atšķiras, īpaši latentuma, joslas platuma un CPU izmantošanas ziņā.

• Latentums:
  • InfiniBand: Piedāvā zemāko latentumu. Komutatora ports-ports latentums ir aptuveni 100 nanosekundes, bet adaptera latentums ir tik zems kā 0,5 līdz 1,3 mikrosekundes. Lietojumprogrammas līmeņa latentums var būt tik zems kā 2 mikrosekundes.
  • RoCE v2: Nodrošina īpaši zemu latentumu. Ethernet komutatora latentums ir aptuveni 230 nanosekundes, bet HCA latentums var būt tik zems kā 1,3 mikrosekundes. Lietojumprogrammas līmeņa latentums parasti ir aptuveni 5 mikrosekundes.
  • iWARP: Ir augstāks latentums nekā RoCE, ar HCA latentumu, kas ziņots ap 3 mikrosekundēm (2011. gada dati). Tā veiktspēja ir konsekventi sliktāka nekā RoCE.
  • Standarta TCP/IP: Ir visaugstākais latentums, ar vienvirziena latentumu no 10 līdz 55 milisekundēm. Lietojumprogrammas līmeņa latentums parasti ir aptuveni 50 mikrosekundes.
• Joslas platums:
  • InfiniBand: Atbalsta ļoti lielu joslas platumu. Mūsdienu versijas, piemēram, NDR, piedāvā līdz 400 Gbps uz portu, un XDR sasniedz līdz 800 Gbps. Nākotnes GDR tiek prognozēts sasniegt 1,6 Tbps.
  • RoCE v2: Spējīgs uz lielu joslas platumu, atbalstot līdz 400 Gbps uz portu.
  • iWARP: Parasti ir zemāka caurlaidspēja nekā RoCE.
  • Standarta TCP/IP: Caurlaidspēju bieži ierobežo protokola virsizmaksa un atkārtotas pārraides, kas apgrūtina liela joslas platuma savienojumu efektīvu izmantošanu.
• CPU atslodze:
  • InfiniBand, RoCE v2, iWARP: Visas trīs RDMA tehnoloģijas atslodzē ievērojamu CPU darbu, apejot operētājsistēmu, atbrīvojot CPU resursus citiem uzdevumiem.
  • Standarta TCP/IP: Rada lielu CPU slodzi, jo kodols ir intensīvi iesaistīts datu apstrādē.
• Bezzudumu mehānisms:
  • InfiniBand: Ietver dabisku, aparatūras līmeņa kredītu bāzes plūsmas kontroli, kas garantē bezzudumu komunikāciju.
  • RoCE v2: Paļaujas uz bezzudumu Ethernet konfigurāciju, izmantojot datu centra tiltu (DCB) funkcijas, piemēram, PFC un ECN. Tam ir arī uzticamas piegādes mehānisms no gala līdz galam ar aparatūras atkārtotām pārraidēm.
  • iWARP: Izmanto TCP iebūvēto uzticamo transportu datu integritātei.
  • Standarta TCP/IP: Izmanto “labāko pūļu” piegādes modeli, paļaujoties uz atkārtotām pārraidēm augstākos slāņos, lai nodrošinātu uzticamību, kas palielina latentumu.

Šajā tabulā apkopotas veiktspējas īpašības:

Funkcija	InfiniBand	RoCE v2	iWARP	Standarta Ethernet/TCP/IP
Pamattehnoloģija	Dabiska RDMA	RDMA pār Ethernet (UDP/IP)	RDMA pār Ethernet (TCP/IP)	Tradicionāls slāņveida protokols
Tipisks lietojumprogrammas latentums (µs)	2	5	>3 (2011 HCA)	50
Komutatora ports-ports latentums (ns)	100	230	N/A (paļaujas uz Ethernet)	Parasti augstāks, mainīgs
Maksimālais joslas platums (Gbps uz portu/savienojumu)	400 (NDR), 800 (XDR), 1.6T (GDR)	400	Parasti zemāks nekā RoCE	400+ (bet ierobežots ar protokola virsizmaksu)
CPU virsizmaksa	Gandrīz nulle	Ļoti zema	Zema	Augsta
Bezzudumu mehānisms	Dabiska kredītu bāzes plūsmas kontrole	Nepieciešams bezzudumu Ethernet (PFC, ECN)	TCP uzticamais transports	Labākās pūles, paļaujas uz atkārtotām pārraidēm
Maršrutējamība (L2/L3)	L3 (izmantojot apakštīkla pārvaldnieku)	L3 (maršrutējams RoCE)	L3	L3 (standarta IP maršrutēšana)

B. Infrastruktūra un ekosistēma

• Aparatūras atkarības:
  • InfiniBand: Nepieciešams pilns specializētas aparatūras komplekts, ieskaitot InfiniBand HCA, komutatorus un patentētus kabeļus.
  • RoCE v2: Nepieciešami RoCE spējīgi HCA, bet darbojas pār standarta Ethernet komutatoriem un kabeļiem, ļaujot integrēt ar esošajiem tīkliem.
  • iWARP: Nepieciešamas iWARP spējīgas tīkla kartes, bet var izmantot standarta Ethernet komutatorus.
  • Standarta Ethernet: Izmanto plaši pieejamus, komerciālus Ethernet NIC un komutatorus.
• Piegādātāja piesaiste (Vendor Lock-in):
  • InfiniBand: Ekosistēma ir ierobežota, un tajā dominē Mellanox (NVIDIA), kas var radīt bažas par piegādātāja piesaisti.
  • RoCE v2: Gūst labumu no lielas un konkurētspējīgas Ethernet ekosistēmas ar vairākiem piegādātājiem. Daži piedāvā “universālas RDMA” NIC kartes, kas atbalsta gan RoCE, gan iWARP, samazinot piesaisti.
  • iWARP: Arī gūst labumu no plašās Ethernet ekosistēmas ar atbalstu no tādiem piegādātājiem kā Intel un Chelsio.
• Sadarbspēja:
  • InfiniBand: Kā patentētam standartam, visiem komponentiem jāatbilst IBTA specifikācijām, lai nodrošinātu to sadarbību.
  • RoCE v2: Tā pamatā ir standarta Ethernet, kas nodrošina plašāku sadarbspēju un vieglāku integrāciju ar esošajiem tīkliem.
  • iWARP: Balstīts uz standarta IETF RFC priekš TCP/IP, nodrošinot augstu saderību standarta IP tīklos.

C. Izmaksu efektivitāte

• Sākotnējās investīcijas:
  • InfiniBand: Parasti prasa lielākas sākotnējās investīcijas specializētās aparatūras un licencēšanas dēļ. Lieliem mākslīgā intelekta klasteriem InfiniBand komutatori var būt ievērojami dārgāki nekā RoCE komutatori.
  • RoCE v2: Bieži ir izmaksu ziņā efektīvāks variants, jo to var integrēt ar esošo Ethernet, samazinot jaunas aparatūras izmaksas. Ietaupījumi uz komutatoriem lieliem mākslīgā intelekta klasteriem var būt būtiski (no 49% līdz 70% salīdzinājumā ar InfiniBand).
  • iWARP: Izmanto standarta Ethernet komutatorus, bet prasa specializētus adapterus, kas joprojām var būt ievērojamas izmaksas.
  • Standarta Ethernet: Parasti ir vislētākais variants tā komerciālās aparatūras dēļ.
• Kopējās īpašumtiesību izmaksas (TCO):
  • InfiniBand: Mēdz būt ar augstāku TCO specializētās aparatūras, uzturēšanas un nepieciešamības apmācīt personālu par patentētu tehnoloģiju dēļ.
  • RoCE v2: Var būt ar zemāku TCO, bet tas ir nosacīti. Bezzudumu Ethernet auduma konfigurēšanas un uzturēšanas sarežģītība var ievērojami palielināt operacionālās izmaksas. Lai gan sākotnējās aparatūras izmaksas var būt zemākas, specializētās zināšanas un pūles, kas nepieciešamas projektēšanai, problēmu novēršanai un uzturēšanai, var kompensēt šos ietaupījumus. Tādēļ “izmaksu efektivitāte” ir atkarīga gan no aparatūras cenas, gan no organizācijas zināšanām un pārvaldības sloga.
  • iWARP: Integrācijas un pārvaldības izaicinājumi var ietekmēt tā kopējo TCO.

Šajā tabulā sniegts salīdzinošs pārskats par infrastruktūras un izmaksu apsvērumiem:

Funkcija	InfiniBand	RoCE v2	iWARP	Standarta Ethernet/TCP/IP
Nepieciešamā tīkla aparatūra	Specializēti IB NIC, IB komutatori, IB kabeļi	RoCE spējīgi NIC, standarta Ethernet komutatori/kabeļi	iWARP spējīgi NIC, standarta Ethernet komutatori/kabeļi	Standarta Ethernet NIC, Ethernet komutatori/kabeļi
Tīkla saderība	Patentēts (IBTA standarts)	Standarta Ethernet (IEEE)	Standarta Ethernet (IETF RFC)	Standarta Ethernet (IEEE)
Pārvaldības sarežģītība	Grūti (specializēts SM)	Grūti (bezzudumu Ethernet konfigurācija)	Grūtāk nekā RoCE	Viegli
Sākotnējās aparatūras izmaksas (relatīvi)	Augstas	Mērenas (izmanto esošo)	Mērenas (specializēti NIC)	Zemas
Kopējās īpašumtiesību izmaksas (relatīvi)	Augstākas	Zemākas (atkarīgs no pārvaldības)	Mainīgas (integrācijas izaicinājumi)	Zemākās
Piegādātāju ekosistēma	Ierobežota (dominē NVIDIA/Mellanox)	Plaša (vairāki Ethernet piegādātāji)	Plaša (vairāki Ethernet piegādātāji)	Ļoti plaša

D. Mērogojamība un elastība

• Maršrutēšanas spējas:
  • InfiniBand: Izmanto komutētu struktūru ar maršrutēšanu, ko centralizēti pārvalda apakštīkla pārvaldnieks (SM). Tā ir ļoti mērogojama, atbalstot klasterus ar vairāk nekā 100 000 mezgliem.
  • RoCE v2: Tā UDP/IP iekapsulācija ļauj to maršrutēt pār 3. slāņa IP tīkliem, padarot to mērogojamu lielos tīklos un mākoņvides vidēs. Tas atbalsta arī ECMP efektīvai slodzes līdzsvarošanai.
  • iWARP: Ir maršrutējams pār IP tīkliem.
  • Standarta Ethernet: Ļoti mērogojams un elastīgs, bet var prasīt uzlabotas konfigurācijas, piemēram, spine-leaf arhitektūras, HPC līmeņa efektivitātei.
• Tīkla topoloģijas:
  • InfiniBand: Optimizēts HPC/AI klasteriem, atbalstot augstas veiktspējas topoloģijas, piemēram, Fat Tree, Dragonfly+ un daudzdimensiju Torus.
  • RoCE v2: Tā IP bāzētā maršrutēšana padara to pielāgojamu gandrīz jebkurai tīkla topoloģijai.
  • Standarta Ethernet: Atbalsta plašu topoloģiju klāstu, ieskaitot zvaigznes un tīkla (mesh) topoloģijas.

E. Uzticamība un sastrēgumu kontrole

• Uzticamība:
  • InfiniBand: Nodrošina dabisku, aparatūras līmeņa uzticamību ar savu kredītu bāzes plūsmas kontroli, garantējot bezzudumu komunikāciju.
  • RoCE v2: Paļaujas uz bezzudumu Ethernet konfigurāciju, izmantojot PFC un ETS. Tas ietver arī uzticamas piegādes mehānismu no gala līdz galam ar aparatūras bāzes pakešu atkārtotu pārraidi.
  • iWARP: Gūst labumu no TCP raksturīgās uzticamības, kas nodrošina kļūdu labošanu un atkārtotas pārraides.
  • Standarta TCP/IP: Koncentrējas uz uzticamību, izmantojot atkārtotas pārraides, kas var pievienot ievērojamu latentumu un samazināt caurlaidspēju.
• Sastrēgumu kontrole:
  • InfiniBand: Definē savus sastrēgumu kontroles mehānismus, pamatojoties uz FECN/BECN marķēšanu.
  • RoCE v2: Implementē sastrēgumu kontroles protokolu, izmantojot IP ECN bitus un sastrēgumu paziņošanas paketes (CNP). Tiek izmantotas arī nozares prakses, piemēram, DCQCN.
  • iWARP: Paļaujas uz TCP izveidotajiem sastrēgumu kontroles algoritmiem.

F. Pielietojuma piemērotība

• InfiniBand: Ideāla izvēle vidēm, kurām nepieciešama visaugstākā datu caurlaidspēja un zemākais latentums. Tas ietver zinātnisko pētniecību, finanšu modelēšanu, liela mēroga HPC klasterus un visprasīgākās AI/ML apmācības darba slodzes.
• RoCE v2: To iecienījuši uzņēmumi, kas vēlas izmantot savu esošo Ethernet infrastruktūru, vienlaikus saglabājot nepieciešamību pēc augstas veiktspējas. Tas ir labi piemērots krātuvju tīkliem, reāllaika analīzei un mākoņpakalpojumiem, piedāvājot līdzsvaru starp veiktspēju un izmaksām.
• iWARP: Var tikt apsvērts nišas lietojumprogrammām, kur esošā TCP/IP infrastruktūra ir stingra prasība un īpaši zems latentums nav galvenā prioritāte. Tas ir piemērots tādām lietojumprogrammām kā NVMeoF, iSER, SMB Direct un NFS over RDMA, vai kā zemu izmaksu variants testa vidēm.
• Standarta Ethernet/TCP/IP: Paliek labākā izvēle vispārējai tīklošanai, piemēram, uzņēmumu LAN tīkliem un mākoņu infrastruktūrai, kur ekstrēma HPC/AI veiktspēja nav galvenais mērķis.
• Veiktspējas-izmaksu-sarežģītības trilemma: Šī analīze atklāj fundamentālu kompromisu, izvēloties savienojumu: trilemma starp veiktspēju, izmaksām un sarežģītību. InfiniBand piedāvā augstāko veiktspēju un dabisku uzticamību, bet par augstāku cenu. RoCE v2 nodrošina gandrīz InfiniBand līmeņa veiktspēju Ethernet tīklā, potenciāli samazinot aparatūras izmaksas, bet pievienojot ievērojamu konfigurācijas sarežģītību. iWARP piedāvā RDMA pār TCP, bet ar zemāku veiktspēju. Standarta Ethernet ir izmaksu ziņā efektīvs, bet tam trūkst veiktspējas prasīgām darba slodzēm. Nav viena “labākā” risinājuma; pareizā izvēle prasa līdzsvarot šos trīs faktorus, pamatojoties uz konkrētām vajadzībām un spējām.

Šajā tabulā izklāstīta katras tehnoloģijas piemērotība lietojumprogrammām:

Tehnoloģija	Primārie lietošanas gadījumi	Vislabāk piemērots	Mazāk piemērots
InfiniBand	HPC, AI/ML apmācība, lielo datu analīze, finanšu pakalpojumi (arbitrāža)	Vides, kas prasa absolūti zemāko latentumu, augstāko joslas platumu un dabiskas bezzudumu garantijas	Izmaksu jutīga vispārējā uzņēmumu tīklošana, vides bez specializētām IT zināšanām
RoCE v2	Datu centri, mākoņpakalpojumi, krātuvju tīkli, reāllaika analīze, AI/ML secinājumu veikšana	Organizācijas, kas izmanto esošo Ethernet infrastruktūru augstai veiktspējai; izmaksu un veiktspējas līdzsvars	Vides, kur dabiskas bezzudumu garantijas nav apspriežamas bez plašām konfigurācijas zināšanām
iWARP	NVMeoF, iSER, SMB Direct, NFS over RDMA, testa/izstrādes vides	Specifiskas lietojumprogrammas, kas prasa RDMA pār esošo TCP/IP, kur absolūta maksimālā veiktspēja nav kritiska	Liela mēroga HPC/AI klasteri, pret latentumu jutīgas reāllaika lietojumprogrammas
Standarta Ethernet/TCP/IP	Vispārējā uzņēmumu tīklošana, LAN, interneta savienojamība, mākoņu infrastruktūra	Visuresoša, izmaksu ziņā efektīva un elastīga vispārējas nozīmes tīklošana	Augstas veiktspējas skaitļošana, AI/ML apmācība un citas pret latentumu jutīgas, CPU ietilpīgas darba slodzes

VII. Jaunie augstas veiktspējas savienojumi un nākotnes tendences

Augstas veiktspējas tīklošanas ainava nepārtraukti mainās, ko virza datu ietilpīgas darba slodzes un nepieciešamība pēc lielākas efektivitātes. Papildus jau nostiprinātajām RDMA tehnoloģijām, jauni savienojumi un tendences veido datu centru nākotni.

A. Compute Express Link (CXL)

CXL ir mūsdienīgs savienojums, kas veidots uz PCIe fiziskā slāņa un paredzēts vispārējām skaitļošanas sistēmām. Tā galvenais mērķis ir nodrošināt ātru, netraucētu komunikāciju starp CPU un paātrinātājiem, piemēram, GPU un FPGA.

Galvenās CXL iezīmes ietver ātrdarbīgu datu pārsūtīšanu, plašu saderību un efektīvu atmiņas koplietošanu, izmantojot kešatmiņas koherenci. Tas atbalsta trīs ierīču tipus (paātrinātājiem, kešatmiņas koherentām ierīcēm un atmiņas paplašinātājiem) un elastīgas topoloģijas. CXL/PCIe Gen5 piedāvā maksimālo caurlaidspēju 512 Gbps ar latentumu ap 500 nanosekundēm. Lai gan InfiniBand ir zemāks latentums (ap 100 nanosekundēm), CXL ir pārāks zema latentuma atmiņas piekļuvei, kur kešatmiņas koherence ir kritiska.

Būtisks notikums bija Gen-Z un CXL konsorciju apvienošanās 2022. gadā, kas pozicionē CXL kā vienīgo nozares standartu šai uz atmiņu orientēto savienojumu klasei.

CXL pārstāv pāreju no tradicionālās mezgls-mezgls tīklošanas (piemēram, RoCE un InfiniBand) uz atmiņas koherenci un resursu dezagregāciju. Tas nozīmē, ka noteiktām darba slodzēm CXL var kļūt par primāro savienojumu, papildinot vai samazinot nepieciešamību pēc tradicionālajām tīkla struktūrām.

B. NVLink

NVLink ir NVIDIA patentēts liela joslas platuma, zema latentuma savienojums, kas izstrādāts tiešai GPU-GPU un GPU-CPU komunikācijai tās paātrinātās skaitļošanas platformās.

NVLink ir galvenā NVIDIA risinājumu daļa mākslīgajam intelektam un HPC, piemēram, tās GB200 un GB300 arhitektūrās. Tas ir izšķiroši svarīgs mākslīgā intelekta modeļu apmācības mērogošanai, nodrošinot ārkārtīgi ātru datu pārsūtīšanu starp GPU.

NVLink parāda tendenci uz vertikālu integrāciju un specializētu veiktspēju. Tā patentētā daba kontrastē ar atvērtiem standartiem, piemēram, RoCE vai InfiniBand. Šī arhitektūra maksimizē veiktspēju viena piegādātāja aparatūras komplektā. Kamēr InfiniBand un RoCE nodrošina vispārēju tīklošanu starp mezgliem, NVLink optimizē komunikāciju iekš un starp GPU sistēmām, radot daudzpakāpju savienojumu arhitektūru, kur dažādas tehnoloģijas kalpo dažādām vajadzībām.

C. Nākotnes Ethernet ātrumi

Ethernet ir attīstījies no 10 Mbps līdz 400 Gbps, un attīstība turpinās ar 800GbE un 1.6TbE standartiem, kas ir redzeslokā. Šie ātrākie ātrumi būs būtiski nākamās paaudzes lietojumprogrammām, piemēram, kvantu skaitļošanai, progresīvam mākslīgajam intelektam un imersīvām tehnoloģijām.

Nepārtraukts Ethernet ātrumu pieaugums tieši nāk par labu RoCE. Tā kā RoCE ir veidots uz Ethernet bāzes, tas automātiski gūst labumu no šiem sasniegumiem, palīdzot tam saglabāt konkurētspēju ar InfiniBand. Mākoņpakalpojumu izaugsme jau veicina 200GbE un 400GbE izvietošanu, un nākamie būs 800GbE un 1.6TbE.

Ethernet un RoCE pastāvīgā nozīme ir cieši saistīta. Attīstoties Ethernet ātrumiem, RoCE kļūst par vēl spēcīgāku pretendentu augstas veiktspējas datu centros, īpaši organizācijām, kas vēlas izmantot savas esošās Ethernet investīcijas un izvairīties no patentētām ekosistēmām.

D. Dezagregētā skaitļošana un fotonika

• Dezagregētā skaitļošana: Šī jaunā pieeja mērķē uz datu centru efektivitātes uzlabošanu, atdalot tādus resursus kā skaitļošanas jauda, krātuve un atmiņa no tradicionālajiem serveriem. Šie resursi tiek pārgrupēti elastīgos baseinos, kas savienoti ar progresīvu tīklošanu. Galvenais rezultāts ir tas, ka komunikācija, kas kādreiz notika servera iekšienē, tagad šķērso tīklu, dramatiski palielinot slodzi un padarot īpaši zemu latentumu kritisku. Šī tendence pastiprina nepieciešamību pēc augstas veiktspējas savienojumiem, piemēram, RoCE un InfiniBand, un virza jaunu, piemēram, CXL, izstrādi.
• Fotonika datu centru tīklošanā: Silīcija fotonika integrē optiskos komponentus silīcija mikroshēmās, nodrošinot ātrdarbīgus, mazjaudas optiskos savienojumus. Šī tehnoloģija piedāvā daudz ātrākus datu pārraides ātrumus (vairāk nekā 100 Gbps), zemāku latentumu un labāku energoefektivitāti nekā tradicionālais varš. Tā kļūst būtiska, lai apmierinātu pieaugošās trafika prasības datu centros un nodrošinātu nākamās paaudzes ātrdarbīgo Ethernet.

Saikne starp šīm tendencēm ir simbiotiska. Dezagregētās arhitektūras prasa progresīvu tīklošanu, ko nodrošina tādi savienojumi kā RoCE, InfiniBand un CXL. Savukārt, lai sasniegtu nepieciešamos ātrumus šiem savienojumiem, īpaši nākotnes 800GbE un 1.6TbE standartiem, būs nepieciešamas tādas tehnoloģijas kā silīcija fotonika.

VIII. Ieteikumi un secinājumi

Augstas veiktspējas savienojuma izvēle ir kritisks stratēģisks lēmums, kam jāatbilst organizācijas specifiskajām vajadzībām, budžetam, infrastruktūrai un ilgtermiņa vīzijai.

• Maksimālai neapstrādātai veiktspējai un misijai kritiskam HPC/AI: InfiniBand ir nepārprotams zelta standarts. Tā dabiskā RDMA, kredītu bāzes plūsmas kontrole un īpaši izstrādātā arhitektūra nodrošina zemāko latentumu un augstāko caurlaidspēju ar garantētu bezzudumu veiktspēju. Organizācijām ar atbilstošu budžetu un zināšanām vajadzētu izvēlēties InfiniBand liela mēroga klasteriem, kur katra mikrosekunde ir svarīga.
• Augstai veiktspējai ar izmaksu efektivitāti un Ethernet integrāciju: RoCE v2 ir spēcīga un arvien populārāka alternatīva. Tas piedāvā ievērojamus veiktspējas uzlabojumus salīdzinājumā ar TCP/IP un var tuvoties InfiniBand veiktspējai, izmantojot esošo Ethernet infrastruktūru. Tas ir ideāli piemērots organizācijām, kas modernizē savus datu centrus bez pilnīgas pārbūves. Tomēr šī izvēle prasa apņemšanos rūpīgi konfigurēt un pārvaldīt bezzudumu Ethernet audumu.
• Nišas lietojumprogrammām vai mantotām RDMA pār TCP vidēm: iWARP var būt piemērots īpašos gadījumos, īpaši tur, kur esošās TCP/IP infrastruktūras izmantošana ir obligāta un maksimālā veiktspēja nav galvenais mērķis. Tomēr tā zemākā veiktspēja un augstākā pārvaldības sarežģītība ierobežo tā izmantošanu mūsdienu augstas veiktspējas izvietojumos.
• Vispārējai tīklošanai: Standarta Ethernet/TCP/IP joprojām ir visizplatītākā un izmaksu ziņā efektīvākā izvēle vidēm bez ekstrēmām veiktspējas prasībām. Tā lietošanas ērtums un komerciālā aparatūra padara to par perfektu risinājumu vispārējiem uzņēmumu tīkliem, LAN un standarta mākoņu infrastruktūrai.
• Apsverot jaunās tehnoloģijas nākotnes nodrošināšanai: Organizācijām vajadzētu sekot līdzi CXL attīstībai uz atmiņu centrētām un dezagregētām arhitektūrām, jo tas papildina tradicionālās tīkla struktūras, optimizējot resursu apvienošanu. Līdzīgi, NVLink ir kritisks komunikācijas optimizēšanai NVIDIA GPU ietilpīgās sistēmās. Šīs tehnoloģijas parāda savienojumu diversifikāciju dažādiem skaitļošanas hierarhijas slāņiem. Turklāt 800GbE un 1.6TbE Ethernet attīstība, kopā ar sasniegumiem fotonikā, turpinās padarīt RoCE par vēl jaudīgāku opciju.

Nobeigumā, augstas veiktspējas tīklošana ir sarežģīta, ko virza mākslīgā intelekta, HPC prasības un pāreja uz dezagregētu skaitļošanu. Kamēr InfiniBand ir līderis absolūtās veiktspējas ziņā specializētās vidēs, RoCE v2 nodrošina jaudīgu un elastīgu alternatīvu, kas savieno RDMA priekšrocības ar Ethernet visuresamību. CXL un NVLink parādīšanās norāda uz stratēģisku savienojumu diversifikāciju, optimizējot dažādus komunikācijas slāņus. Optimālais risinājums vienmēr būs stratēģisks līdzsvars starp veiktspējas prasībām, izmaksām, esošo infrastruktūru un uz nākotni vērstu redzējumu.