A nagy teljesítményű összeköttetések átfogó elemzése: RoCE v2, InfiniBand, iWARP és a modern adatközpontok feltörekvő alternatívái

I. Vezetői összefoglaló

A modern adatközpontoknak olyan nagy erőforrás-igényű feladatokat kell támogatniuk, mint a nagy teljesítményű számítástechnika (HPC), a mesterséges intelligencia/gépi tanulás (MI/GT) és a Big Data analitika. Ezek az alkalmazások rendkívül alacsony késleltetést, nagy sávszélességet és minimális CPU-használatot igényelnek. A hagyományos hálózati protokollok, mint a TCP/IP, a magas többletterhelésük és késleltetésük miatt nem képesek megfelelni ezeknek az igényeknek.

A távoli közvetlen memória-hozzáférés (Remote Direct Memory Access, RDMA) a kulcsfontosságú technológia, amely lehetővé teszi a nagy teljesítményű összeköttetéseket. Az RDMA segítségével a hálózatba kötött számítógépek közvetlenül a memóriájuk között tudnak adatokat átvinni, anélkül, hogy az operációs rendszerüket vagy a CPU-jukat (memória-memória átvitel) igénybe vennék. Ez a folyamat drámaian csökkenti a késleltetést és a CPU terhelését.

• Az InfiniBand egy célirányosan kifejlesztett, szabadalmaztatott hálózati szövet (fabric), amelyet a lehető legmagasabb teljesítményre és natív veszteségmentes működésre terveztek.
• A RoCE v2 (RDMA over Converged Ethernet) az RDMA előnyeit a szabványos Ethernet hálózatokon alkalmazza, egy routolható és költséghatékonyabb lehetőséget kínálva, de a veszteségmentességhez speciális konfigurációkat igényel.
• Az iWARP egy másik, TCP-alapú RDMA-over-Ethernet megoldás, de általában ritkábban használják, és alacsonyabb teljesítményt nyújt, mint a RoCE v2.

A megfelelő összeköttetés kiválasztása stratégiai döntés, amely a teljesítményigényektől, a költségvetéstől, a meglévő infrastruktúrától és a skálázhatósági céloktól függ. Ez a jelentés elemzi ezeket a technológiákat, összehasonlítja őket a szabványos Ethernet/TCP/IP protokollal, és feltárja az új alternatívákat, mint a CXL és az NVLink, hogy segítse ezt a kritikus döntést.

II. Bevezetés a nagy teljesítményű hálózatokba és az RDMA-ba

Napjaink digitális világát az adatközpontú alkalmazások – mint például a nagy teljesítményű számítástechnika (HPC), a mesterséges intelligencia/gépi tanulás (MI/GT) és a Big Data analitika – exponenciális növekedése jellemzi. Ezeknek a munkaterheléseknek hatalmas adathalmazokat kell gyorsan és hatékonyan mozgatniuk a számítási csomópontok és a tárolók között. Például a mesterséges intelligencia alkalmazások rendkívül érzékenyek az adatintegritásra, és veszteségmentes hálózatokat igényelnek, ahol egyetlen elveszett üzenet tönkreteheti a teljes tanítási folyamatot. A nagy sávszélességű forgalom szintén elengedhetetlen ezen alkalmazások hatékony adatfeldolgozásához.

A hagyományos TCP/IP Ethernet korlátai a nagy teljesítményű alkalmazásokban

Bár az általános hálózati feladatokhoz megbízható, a hagyományos TCP/IP Ethernet komoly korlátokkal rendelkezik a nagy teljesítményű alkalmazások esetében:

• Magas késleltetés és CPU-terhelés: A TCP/IP felépítése szerint az adatokat az operációs rendszer kerneljének több szoftverrétegén keresztül küldi, ami jelentős CPU-bevonást igényel. Ez a folyamat számottevő késleltetést (jellemzően több tíz mikroszekundumot) okoz, és nagy terhet ró a CPU-ra. A késleltetésre érzékeny alkalmazásoknál ez komoly szűk keresztmetszetté válik, mivel a CPU a hálózati forgalom kezelésével tölti az idejét az alkalmazás futtatása helyett. Ez a kontextusváltásokból és adatmásolásból származó „CPU-adó” az egyik fő oka az RDMA technológiák bevezetésének, amelyek tehermentesítik a hálózati feldolgozást, és felszabadítják a CPU-t az alkalmazási feladatok számára.
• Átviteli sebesség korlátai: Számos tényező korlátozza a TCP hatékony átviteli sebességét, többek között az átviteli ablak mérete, a szegmens mérete és a csomagvesztés. A szabványos TCP ablakméret (gyakran 65 535 bájtra korlátozva) megakadályozhatja a nagy sávszélességű kapcsolatok teljes kihasználását, különösen a nagyobb késleltetésű hálózatokon. Emellett a TCP alapvető megbízhatósági mechanizmusa – a csomagok újraküldése – késedelmeket okoz és extra sávszélességet használ, ami rontja a teljesítményt a túlterhelt vagy veszteséges hálózatokban.
• Skálázhatósági kihívások: Bár a TCP/IP jól skálázódik nagy hálózatokban, tervezése az általános megbízhatóságot helyezi előtérbe a nyers teljesítménnyel szemben. Ez kevésbé hatékonnyá teszi olyan helyzetekben, amelyek extrém átviteli sebességet és minimális késleltetést igényelnek, mint például a nagy méretű HPC klaszterek vagy a valós idejű MI-következtetés.

A távoli közvetlen memória-hozzáférés (RDMA) alapjai és fő előnyei

A távoli közvetlen memória-hozzáférést (RDMA) azért fejlesztették ki, hogy leküzdje a TCP/IP korlátait a nagy teljesítményű környezetekben. Fő előnyei abból származnak, hogy az adatátvitel során megkerüli a CPU-t és az operációs rendszert:

• Közvetlen memória-hozzáférés (Zero-Copy): Az RDMA közvetlenül az egyik számítógép memóriájából a másikéba továbbítja az adatokat anélkül, hogy bármelyik rendszer CPU-ját vagy operációs rendszerét bevonná. Ez a „zero-copy” (nulla másolás) megközelítés kiküszöböli a köztes adatpuffereket és kontextusváltásokat, amelyek a hagyományos hálózatok fő többletterhelési forrásai.
• Csökkentett késleltetés és CPU-terhelés: A CPU és az operációs rendszer megkerülésével az RDMA drasztikusan csökkenti a kommunikációs késleltetést és felszabadítja a CPU-ciklusokat. Ez közvetlenül gyorsabb számításokhoz és jobb valós idejű adatfeldolgozáshoz vezet. Például az alkalmazás késleltetése a TCP/IP-vel mért körülbelül 50 mikroszekundumról akár 2-5 mikroszekundumra is csökkenhet az RDMA-val.
• Nagyobb sávszélesség-kihasználás: Az RDMA hatékony adatútvonala és csökkentett többletterhelése lehetővé teszi az alkalmazások számára, hogy jobban kihasználják a rendelkezésre álló hálózati sávszélességet, ami magasabb effektív átviteli sebességet eredményez.
• Főbb implementációk: Napjainkban a legfőbb RDMA technológiák az InfiniBand, a RoCE (1-es és 2-es verzió) és az iWARP.

III. RoCE v2: RDMA over Converged Ethernet

A RoCE v2 jelentős előrelépést jelent a nagy teljesítményű hálózatok terén, kiterjesztve az RDMA előnyeit a széles körben használt Ethernet ökoszisztémára.

A. Architektúrális alapelvek

• Fejlődés a RoCE v1-ből: A RoCE v1 egy 2. rétegbeli (Layer 2) protokoll volt (Ethertype 0x8915), ami egyetlen Ethernet broadcast domainre korlátozta és behatárolta a skálázhatóságát. A RoCE v2 ezt úgy oldja meg, hogy az internet rétegben működik. Az RDMA forgalmat UDP/IP csomagokba ágyazza (a 4791-es UDP célportot használva), így routolhatóvá téve azt a 3. rétegbeli (Layer 3) IP hálózatokon keresztül. Ez a routolhatóság kritikus fejlesztés, amely lehetővé teszi a RoCE v2 használatát nagy méretű adatközpontokban és felhőkörnyezetekben.
• RDMA over Ethernet integráció: A RoCE egy módszert biztosít az RDMA szabványos Ethernet hálózaton történő végrehajtására. Gyakorlatilag az InfiniBand hálózati rétegét IP és UDP fejlécekkel helyettesíti, miközben megtartja az alapvető InfiniBand szállítási réteget és RDMA protokollt. Ez a kialakítás lehetővé teszi, hogy a RoCE kihasználja a meglévő Ethernet infrastruktúrát.
• Csomagformátum: Egy RoCE v2 csomag tartalmaz egy IP fejlécet és egy UDP fejlécet, amelyek az RDMA szállítási protokollt (RDMA Transport Protocol) foglalják magukba. Bár az UDP nem garantálja a csomagok sorrendjét, a RoCE v2 szabvány előírja, hogy az azonos forrásporttal és célcímmel rendelkező csomagokat nem szabad újrarendezni.
• A „két világ legjobbja” kompromisszum: A RoCE v2 tervezése egy stratégiai kompromisszum, amelynek célja az RDMA nagy teljesítményének biztosítása a rugalmas, költséghatékony és mindenütt jelenlévő Ethernet platformon. Bár ez a megközelítés széles körű kompatibilitást kínál, egy kulcsfontosságú kihívást teremt: biztosítani kell az RDMA által igényelt veszteségmentes teljesítményt egy olyan Ethernet hálózaton, amely eredendően veszteséges.

B. Teljesítményprofil

• Késleltetés: A RoCE Host Channel Adapterek (HCA-k) nagyon alacsony, akár 1,3 mikroszekundumos késleltetést is elérhetnek. Alkalmazási szinten a RoCE a késleltetést körülbelül 5 mikroszekundumra csökkenti, ami óriási javulás a TCP/IP-nél jellemző 50 mikroszekundumhoz képest. Bár az InfiniBand valamivel alacsonyabb natív késleltetést kínál, a RoCE teljesítménye kiváló a valós idejű alkalmazások számára.
• Sávszélesség: A RoCE v2 nagy sávszélességet támogat, portonként akár 400 Gbps sebességgel.
• CPU-tehermentesítés: Más RDMA protokollokhoz hasonlóan a RoCE is megkerüli a CPU-t az adatátvitel során. Ez a tehermentesítés értékes CPU-erőforrásokat szabadít fel a számításigényes feladatok számára a hálózati feldolgozás helyett.
• Veszteségmentes teljesítmény: Az InfiniBand teljesítményének eléréséhez a RoCE egy veszteségmentes Ethernet hálózattól függ. Ezt általában a Data Center Bridging (DCB) funkciók, különösen a Priority Flow Control (PFC) és az Explicit Congestion Notification (ECN) implementálásával érik el.

C. Infrastruktúra és menedzsment

• Hardver/Szoftver követelmények: A RoCE szabványos Ethernet hardverekkel, például switchekkel és kábelekkel működik, lehetővé téve a szervezetek számára, hogy meglévő infrastruktúrájukat használják. Azonban RoCE-képes Host Channel Adaptereket (HCA-kat) igényel a végpontokon. A szoftveres támogatás kiforrott, implementációi megtalálhatók a Mellanox OFED 2.3+ verzióiban és a Linux Kernel v4.5+ verziójába integrálva.
• Veszteségmentes hálózati konfiguráció: Bár a RoCE szabványos Ethernetet használ, egy veszteségmentes DCB hálózat létrehozása összetettebb lehet, mint egy InfiniBand hálózat beállítása. Minden komponenst, a végpontoktól a switchekig, gondosan konfigurálni kell. Ez magában foglalja a Priority Flow Control (PFC), az Enhanced Transmission Selection (ETS) és a torlódásjelző mechanizmusok beállítását. Ahhoz, hogy a 3. rétegbeli hálózatokon is működjön, ezeket a veszteségmentes jellemzőket a routereken keresztül is fenn kell tartani, gyakran a 2. rétegbeli prioritási beállítások 3. rétegbeli DSCP QoS beállításokhoz való hozzárendelésével.
• Menedzsment szempontok: A RoCE szabványos Ethernet eszközökkel kezelhető. Azonban a konzisztens veszteségmentes teljesítmény biztosítása és a torlódás kezelése nagy méretű RoCE v2 telepítésekben kihívást jelenthet és speciális szakértelmet igényel.
• A „költséghatékonyság” rejtett költsége: A RoCE-t gyakran „költséghatékonynak” nevezik, mert a meglévő Ethernet infrastruktúrát használhatja, de ez egy leegyszerűsítés. Az InfiniBand-szerű teljesítmény eléréséhez egy tökéletesen konfigurált, veszteségmentes Ethernet hálózat szükséges. A Data Center Bridging (DCB) funkciók, mint a PFC és az ECN beállításának bonyolultsága sokkal nagyobb lehet, mint egy InfiniBand hálózat konfigurálása. Ez a komplexitás magasabb működési költségekhez vezet a hálózattervezés, a hibaelhárítás és a menedzsment terén, és drágább Ethernet switcheket is igényelhet. Ennek eredményeként a RoCE kezdeti hardvermegtakarításait ezek a magasabb működési költségek kiolthatják. A pontos összehasonlításhoz elengedhetetlen egy alapos teljes tulajdonlási költség (TCO) elemzés.

D. Főbb alkalmazási területek

A RoCE v2 kiváló megoldás számos adatközponti és vállalati alkalmazáshoz. Különösen jól illeszkedik olyan környezetekbe, amelyek rendkívül alacsony késleltetést és nagy átviteli sebességet igényelnek, mint például a MI munkaterhelések, a nagyfrekvenciás kereskedés és a valós idejű analitika. Javítja továbbá az adatbázisokra vagy fájl I/O-ra erősen támaszkodó alkalmazások teljesítményét is. Emellett a RoCE v2 a gyors és hatékony adatreplikáció lehetővé tételével hozzájárul az üzletmenet-folytonossághoz és a katasztrófa utáni helyreállításhoz. Széleskörű használata a MI tanítási klaszterekben rávilágít fontosságára a modern számítástechnikában.

IV. InfiniBand: A specializált, nagy teljesítményű hálózati szövet

Az InfiniBand egy csúcskategóriás, nagy teljesítményű összeköttetés, amelyet eleve úgy terveztek, hogy páratlan sebességet, minimális késleltetést és magas megbízhatóságot biztosítson a nagy erőforrás-igényű számítástechnikai környezetek számára.

A. Architektúrális alapelvek

• Natív RDMA: Az InfiniBand úgy épült fel, hogy az RDMA a teljes protokollkészletébe integrálva van, a fizikai rétegtől kezdve. Ez az alapoktól való tervezés biztosítja, hogy az RDMA műveletek rendkívül hatékonyak legyenek, közvetlen és védett adatcsatornákat hozva létre a csomópontok között CPU-bevonás nélkül.
• Kapcsolt hálózati szövet topológia: Az InfiniBand kapcsolt hálózati szövet (switched fabric) topológiát használ a közvetlen pont-pont kapcsolatokhoz az eszközök között. Az architektúra magában foglalja a processzorokon lévő Host Channel Adaptereket (HCA) és a perifériákon lévő Target Channel Adaptereket (TCA), ami hatékony kommunikációt tesz lehetővé.
• Kreditalapú folyamatvezérlés: Az InfiniBand egyik alapvető jellemzője a kreditalapú folyamatvezérlés (credit-based flow control). Ez a hardverszintű algoritmus garantálja a veszteségmentes kommunikációt azáltal, hogy biztosítja, hogy a küldő csak akkor továbbít adatot, ha a fogadónak elegendő pufferterülete (kreditje) van annak fogadására. Ez a natív megbízhatóság megakadályozza a csomagvesztést, és megkülönbözteti az InfiniBandet azoktól a technológiáktól, amelyeknek magasabb rétegbeli konfigurációkra van szükségük a veszteségmentességhez.
• Szabadalmaztatott szabványok: Az InfiniBand az InfiniBand Trade Association (IBTA) által definiált, 1999-ben alapított, szabadalmaztatott szabványokat követi. Az ökoszisztémát nagymértékben az NVIDIA uralja (a Mellanox felvásárlásán keresztül), amely az InfiniBand adapterek és switchek vezető gyártója.

B. Teljesítményprofil

• Rendkívül alacsony késleltetés: Az InfiniBand következetesen a legalacsonyabb késleltetést kínálja. Az adapter késleltetése akár 0,5 mikroszekundum is lehet, a switch port-port késleltetése pedig körülbelül 100 nanoszekundum, ami jelentősen alacsonyabb, mint a hasonló Ethernet switchek 230 nanoszekunduma. Alkalmazási rétegen az InfiniBand akár 2 mikroszekundumos késleltetést is elérhet, szemben a TCP/IP 50 mikroszekundumos értékével.
• Nagy átviteli képességek: Az InfiniBand rendkívül magas adatátviteli sebességeket támogat. A modern verziók, mint a HDR és az NDR, sávonként akár 200 Gbps és 400 Gbps sebességet kínálnak. Az aggregált linkek még nagyobb átviteli sebességet érhetnek el, elérve a 800 Gbps-t (NDR) és akár az 1,6 Tbps-t is (XDR).
• CPU-hatékonyság: Az InfiniBand egyik legfőbb erőssége az, hogy rendkívül alacsony késleltetést és extrém magas sávszélességet képes biztosítani szinte nulla CPU-használat mellett. A hálózati feldolgozás ilyen mértékű tehermentesítése kritikus előny a számításigényes munkaterhelések számára.
• Tervezés általi teljesítmény vs. konfiguráció általi teljesítmény: Az InfiniBand és a RoCE megközelítése alapvetően különbözik. Az InfiniBandet az alapoktól kezdve RDMA-ra tervezték, fizikai és szállítási rétegeit hardverszintű megbízhatóságra tervezték, beleértve egy natív kreditalapú algoritmust a veszteségmentes kommunikációhoz. Ezzel szemben a RoCE szabványos Etherneten fut, és a veszteségmentes hálózat létrehozásához olyan funkciók konfigurációjára támaszkodik, mint a Priority Flow Control (PFC) és az Explicit Congestion Notification (ECN). Ez azt jelenti, hogy az InfiniBand garantáltan magas teljesítményt nyújt „dobozból kivéve”, míg a RoCE teljesítménye az alapul szolgáló Ethernet konfiguráció minőségétől függ.

C. Infrastruktúra és menedzsment

• Dedikált hardver: Az InfiniBand speciális hardvert igényel, beleértve a dedikált Host Channel Adaptereket (HCA-kat), switcheket, routereket és szabadalmaztatott kábeleket. Ez általában magasabb kezdeti beruházást eredményez az Ethernet-alapú megoldásokhoz képest.
• Központosított menedzsment: Az InfiniBand hálózatokat egy központi Subnet Manager (SM) kezeli, amely kiszámítja és elosztja a továbbítási táblákat, valamint kezeli a konfigurációkat, mint például a partíciókat és a szolgáltatásminőséget (QoS). Ez a központosított megközelítés a kezdeti beállítás után leegyszerűsítheti a menedzsmentet nagy klaszterekben.
• Speciális szakértelem: Az InfiniBand hálózatok telepítése és karbantartása általában speciális tudást igényel, ami növelheti a működési költségeket és meredekebb tanulási görbét jelenthet az IT személyzet számára.
• Ökoszisztéma: Az InfiniBand ökoszisztéma kiforrott, de az NVIDIA/Mellanox dominálja.

D. Főbb alkalmazási területek

Az InfiniBand az iparági szabvány a nagy teljesítményű számítástechnikai (HPC) környezetekben, és a leggyorsabban növekvő összeköttetés ezekhez az alkalmazásokhoz. Ez az IBTA által ajánlott elsődleges technológia. Rendkívül alacsony késleltetése és nagy sávszélessége elengedhetetlen az olyan nagy erőforrás-igényű munkaterhelésekhez, mint a nagyméretű MI/GT modellek tanítása, a big data analitika és a masszív adatbázis-műveletek. Kulcsfontosságú továbbá a nagy szimulációk (pl. időjárás-előrejelzés) és a nagyfrekvenciás pénzügyi szolgáltatások számára, ahol a sebesség és az adatintegritás kritikus. 2022 júniusában a világ Top100 szuperszámítógépének 62%-a InfiniBandet használt.

V. iWARP: RDMA a szabványos TCP/IP felett

Az iWARP (Internet Wide Area RDMA Protocol) egy másik módszer az RDMA implementálására, amely a szabványos TCP/IP protokollkészlet használatáról ismert.

A. Architektúrális alapelvek

• RDMA over TCP/IP: Az iWARP egy olyan protokoll, amely az RDMA-t szabványos IP hálózatokon valósítja meg. Ellentétben a RoCE-val, amely UDP-t használ, az iWARP megbízható szállítási protokollokra, mint a TCP és az SCTP, épül.
• Főbb komponensek: Az iWARP működése több komponensen alapul. A Direct Data Placement Protocol (DDP) lehetővé teszi a „zero-copy” átvitelt azáltal, hogy az adatokat közvetlenül egy alkalmazás memóriájába helyezi. A Remote Direct Memory Access Protocol (RDMAP) biztosítja az RDMA olvasási és írási műveletekhez szükséges szolgáltatásokat. Egy speciális adaptációs réteg, a Marker PDU Aligned (MPA) keretezés szükséges a DDP TCP feletti engedélyezéséhez.
• Megbízhatóság: Az iWARP egyedi jellemzője, hogy a megbízhatóságát az alapul szolgáló TCP protokoll biztosítja. Ez eltér a RoCE v2-től, amely UDP-t használ és külső mechanizmusokat, például Data Center Bridging-et (DCB) igényel a megbízhatósághoz. Ennek eredményeként az iWARP csak megbízható, kapcsolat-orientált kommunikációt támogat.

B. Teljesítményprofil

• Összehasonlító késleltetés és átviteli sebesség: Bár az iWARP késleltetése alacsonyabb, mint a hagyományos TCP/IP-é, teljesítménye általában rosszabb, mint a RoCE-é. 2011-ben a legalacsonyabb iWARP HCA késleltetés 3 mikroszekundum volt, míg a RoCE HCA-k elérték az 1,3 mikroszekundumot. A teljesítménymérések következetesen azt mutatják, hogy a RoCE sokkal gyorsabban továbbítja az üzeneteket, mint az iWARP, több mint kétszeres átviteli sebességgel 40GbE-n és ötszörösével 10GbE-n.
• CPU-tehermentesítés: Más RDMA protokollokhoz hasonlóan az iWARP is minimalizálja a CPU-terhelést a közvetlen memóriaátvitelek lehetővé tételével. Használhat TCP Offload Engine-eket (TOE) RDMA hardverrel, hogy „zero-copy” eredményeket érjen el és tovább csökkentse a CPU-bevonást.

C. Infrastruktúra és menedzsment

• Kompatibilitás a szabványos Ethernettel: Az iWARP egyik fő előnye, hogy képes szabványos Ethernet infrastruktúrán futni minimális változtatásokkal a meglévő hálózaton. Ez lehetővé teszi a szervezetek számára, hogy kihasználják jelenlegi befektetéseiket.
• Hardverkövetelmények: Annak ellenére, hogy kompatibilis a szabványos Ethernet switchekkel, az iWARP továbbra is iWARP-képes hálózati kártyákat igényel a végpontokon.
• Integrációs szempontok: Az iWARP integrálva van a főbb operációs rendszerekbe, mint a Microsoft Windows Server és a modern Linux kernelek. Ez támogatja az olyan alkalmazásokat, mint az SMB Direct, az iSCSI Extensions for RDMA (iSER) és a Network File System over RDMA (NFS over RDMA).
• Menedzsment kihívások: Az iWARP forgalom kezelése nehéz lehet. Megosztja a TCP portterét, ami bonyolítja a folyamatkezelést és megnehezíti az RDMA forgalom azonosítását. Összességében az iWARP-ot nehezebb kezelni, mint a RoCE-t.

D. Piaci relevanciája

• Korlátozott elterjedtség: Az iWARP egy „nem gyakori” vagy „kevésbé használt” RDMA implementáció az InfiniBandhez és a RoCE v2-höz képest. Megoldásai „korlátozott sikert” értek el az implementációs és telepítési kihívások miatt.
• A TCP-re való támaszkodás paradoxona: Az iWARP tervezési döntése, hogy az RDMA-t a TCP fölé rétegezi, beépített megbízhatóságot és kompatibilitást biztosít, de paradox módon megakadályozza, hogy teljes mértékben elérje az RDMA alapvető előnyeit. A TCP protokoll velejáró többletterhelése, még hardveres tehermentesítéssel is, úgy tűnik, megakadályozza, hogy az iWARP elérje az InfiniBand vagy a RoCE rendkívül alacsony késleltetését és nagy átviteli sebességét. Ez a teljesítménybeli kompromisszum vezetett a korlátozott piaci elterjedéséhez.

VI. Összehasonlító elemzés: RoCE v2 vs. InfiniBand vs. iWARP vs. Szabványos Ethernet

A megfelelő nagy teljesítményű összeköttetés kiválasztásához kulcsfontosságú a teljesítmény, az infrastruktúra és a működési mutatók részletes összehasonlítása.

A. Teljesítménymérések

Ezeknek az összeköttetéseknek a teljesítménye jelentősen eltér, különösen a késleltetés, a sávszélesség és a CPU-kihasználtság tekintetében.

• Késleltetés:
  • InfiniBand: A legalacsonyabb késleltetést kínálja. A switch port-port késleltetése körülbelül 100 nanoszekundum, míg az adapter késleltetése akár 0,5-1,3 mikroszekundum is lehet. Az alkalmazási réteg késleltetése akár 2 mikroszekundum is lehet.
  • RoCE v2: Rendkívül alacsony késleltetést biztosít. Az Ethernet switch késleltetése körülbelül 230 nanoszekundum, míg a HCA késleltetése akár 1,3 mikroszekundum is lehet. Az alkalmazási réteg késleltetése általában 5 mikroszekundum körül van.
  • iWARP: Magasabb a késleltetése, mint a RoCE-nak, a HCA késleltetését 3 mikroszekundum körülire jelentették (2011-es adatok). Következetesen rosszabbul teljesít, mint a RoCE.
  • Szabványos TCP/IP: A legmagasabb késleltetéssel rendelkezik, az egyirányú késleltetés 10 és 55 ezredmásodperc között van. Az alkalmazási réteg késleltetése általában 50 mikroszekundum körül van.
• Sávszélesség:
  • InfiniBand: Nagyon magas sávszélességet támogat. A modern verziók, mint az NDR, portonként akár 400 Gbps-t, az XDR pedig akár 800 Gbps-t is elér. A jövőbeli GDR várhatóan eléri az 1,6 Tbps-t.
  • RoCE v2: Képes nagy sávszélességre, portonként akár 400 Gbps-t is támogat.
  • iWARP: Általában alacsonyabb az átviteli sebessége, mint a RoCE-nak.
  • Szabványos TCP/IP: Az átviteli sebességet gyakran korlátozza a protokoll többletterhelése és az újraküldések, ami megnehezíti a nagy sávszélességű kapcsolatok hatékony kihasználását.
• CPU-tehermentesítés:
  • InfiniBand, RoCE v2, iWARP: Mindhárom RDMA technológia jelentős CPU-munkát vesz le az operációs rendszer megkerülésével, felszabadítva a CPU-erőforrásokat más feladatokra.
  • Szabványos TCP/IP: Magas CPU-terhelést okoz, mivel a kernel erősen részt vesz az adatfeldolgozásban.
• Veszteségmentes mechanizmus:
  • InfiniBand: Natív, hardverszintű kreditalapú folyamatvezérléssel rendelkezik, amely garantálja a veszteségmentes kommunikációt.
  • RoCE v2: Veszteségmentes Ethernet konfigurációra támaszkodik, Data Center Bridging (DCB) funkciókat, például PFC-t és ECN-t használva. Végponttól végpontig terjedő megbízható kézbesítési mechanizmussal is rendelkezik, hardveres újraküldésekkel.
  • iWARP: A TCP beépített megbízható szállítási mechanizmusát használja az adatintegritáshoz.
  • Szabványos TCP/IP: Legjobb szándékú (best-effort) kézbesítési modellt használ, a megbízhatóság érdekében magasabb rétegeken történő újraküldésekre támaszkodva, ami növeli a késleltetést.

Az alábbi táblázat összefoglalja a teljesítményjellemzőket:

Jellemző	InfiniBand	RoCE v2	iWARP	Szabványos Ethernet/TCP/IP
Alaptechnológia	Natív RDMA	RDMA over Ethernet (UDP/IP)	RDMA over Ethernet (TCP/IP)	Hagyományos rétegzett protokoll
Tipikus alkalmazáskésleltetés (µs)	2	5	>3 (2011 HCA)	50
Switch port-port késleltetés (ns)	100	230	N/A (Ethernetre támaszkodik)	Általában magasabb, változó
Max. sávszélesség (Gbps portonként/linkenként)	400 (NDR), 800 (XDR), 1.6T (GDR)	400	Általában alacsonyabb, mint a RoCE	400+ (de a protokoll terhelése korlátozza)
CPU-terhelés	Közel nulla	Nagyon alacsony	Alacsony	Magas
Veszteségmentes mechanizmus	Natív kreditalapú folyamatvezérlés	Veszteségmentes Ethernetet igényel (PFC, ECN)	TCP megbízható szállítása	Legjobb szándékú, újraküldésekre támaszkodik
Routolhatóság (L2/L3)	L3 (Subnet Manageren keresztül)	L3 (Routolható RoCE)	L3	L3 (Szabványos IP routing)

B. Infrastruktúra és ökoszisztéma

• Hardverfüggőségek:
  • InfiniBand: Teljes körű speciális hardvert igényel, beleértve az InfiniBand HCA-kat, switcheket és szabadalmaztatott kábeleket.
  • RoCE v2: RoCE-képes HCA-kat igényel, de szabványos Ethernet switcheken és kábeleken működik, lehetővé téve az integrációt a meglévő hálózatokkal.
  • iWARP: iWARP-képes hálózati kártyákat igényel, de használhat szabványos Ethernet switcheket.
  • Szabványos Ethernet: Széles körben elérhető, tömeggyártott Ethernet NIC-eket és switcheket használ.
• Beszállítói függőség (Vendor Lock-in):
  • InfiniBand: Az ökoszisztéma korlátozott és a Mellanox (NVIDIA) dominálja, ami aggályokat vethet fel a beszállítói függőséggel kapcsolatban.
  • RoCE v2: A nagy és versenyképes Ethernet ökoszisztéma előnyeit élvezi, több gyártóval. Néhányan „Univerzális RDMA” NIC-eket kínálnak, amelyek támogatják a RoCE-t és az iWARP-ot is, csökkentve a függőséget.
  • iWARP: Szintén profitál a széles Ethernet ökoszisztémából, olyan gyártók támogatásával, mint az Intel és a Chelsio.
• Interoperabilitás:
  • InfiniBand: Mivel szabadalmaztatott szabvány, minden komponensnek meg kell felelnie az IBTA specifikációinak a zökkenőmentes együttműködés érdekében.
  • RoCE v2: Szabványos Ethernet alapja szélesebb körű interoperabilitást és könnyebb integrációt tesz lehetővé a meglévő hálózatokkal.
  • iWARP: A szabványos IETF RFC-ken alapul a TCP/IP esetében, ami magas kompatibilitást biztosít a szabványos IP hálózatokon belül.

C. Költséghatékonyság

• Kezdeti beruházás:
  • InfiniBand: Általában magasabb kezdeti beruházást igényel a speciális hardver és licencelés miatt. Nagy MI klaszterek esetén az InfiniBand switchek jelentősen drágábbak lehetnek, mint a RoCE switchek.
  • RoCE v2: Gyakran költséghatékonyabb megoldás, mivel integrálható a meglévő Ethernetbe, csökkentve az új hardverköltségeket. A nagy MI klaszterek switchein elért megtakarítás jelentős lehet (49% és 70% között az InfiniBandhez képest).
  • iWARP: Szabványos Ethernet switcheket használ, de speciális adaptereket igényel, ami még mindig jelentős költséget jelenthet.
  • Szabványos Ethernet: Általában a legalacsonyabb költségű opció a tömeggyártott hardver miatt.
• Teljes tulajdonlási költség (TCO):
  • InfiniBand: Magasabb TCO-val rendelkezik a speciális hardver, a karbantartás és a szabadalmaztatott technológiára vonatkozó személyzeti képzés szükségessége miatt.
  • RoCE v2: Alacsonyabb TCO-val rendelkezhet, de ez feltételes. A veszteségmentes Ethernet szövet konfigurálásának és karbantartásának összetettsége jelentősen növelheti a működési költségeket. Bár a kezdeti hardverköltségek alacsonyabbak lehetnek, a tervezéshez, hibaelhárításhoz és karbantartáshoz szükséges speciális tudás és erőfeszítés ellensúlyozhatja ezeket a megtakarításokat. Ezért a „költséghatékonyság” függ a hardver árától, valamint a szervezet szakértelmétől és menedzsment terheitől.
  • iWARP: Az integrációs és menedzsment kihívások befolyásolhatják a teljes TCO-ját.

Az alábbi táblázat áttekintést nyújt az infrastrukturális és költségvetési szempontokról:

Jellemző	InfiniBand	RoCE v2	iWARP	Szabványos Ethernet/TCP/IP
Szükséges hálózati hardver	Dedikált IB NIC-ek, IB switchek, IB kábelek	RoCE-képes NIC-ek, szabványos Ethernet switchek/kábelek	iWARP-képes NIC-ek, szabványos Ethernet switchek/kábelek	Szabványos Ethernet NIC-ek, Ethernet switchek/kábelek
Hálózati kompatibilitás	Szabadalmaztatott (IBTA szabvány)	Szabványos Ethernet (IEEE)	Szabványos Ethernet (IETF RFC-k)	Szabványos Ethernet (IEEE)
Menedzsment komplexitása	Nehéz (Speciális SM)	Nehéz (Veszteségmentes Ethernet konfig.)	Nehezebb, mint a RoCE	Könnyű
Kezdeti hardverköltség (relatív)	Magas	Mérsékelt (meglévőre épít)	Mérsékelt (speciális NIC-ek)	Alacsony
Teljes tulajdonlási költség (relatív)	Magasabb	Alacsonyabb (menedzsmenttől függ)	Változó (integrációs kihívások)	Legalacsonyabb
Gyártói ökoszisztéma	Korlátozott (NVIDIA/Mellanox domináns)	Széles (több Ethernet gyártó)	Széles (több Ethernet gyártó)	Nagyon széles

D. Skálázhatóság és rugalmasság

• Routing képességek:
  • InfiniBand: Kapcsolt hálózati szövetet használ, ahol a routingot egy központi Subnet Manager (SM) kezeli. Rendkívül skálázható, több mint 100 000 csomópontos klasztereket is támogat.
  • RoCE v2: UDP/IP tokozása lehetővé teszi, hogy 3. rétegbeli IP hálózatokon keresztül routolják, így skálázhatóvá válik nagy hálózatokban és felhőkörnyezetekben. Támogatja az ECMP-t a hatékony terheléselosztáshoz.
  • iWARP: Routolható IP hálózatokon.
  • Szabványos Ethernet: Rendkívül skálázható és rugalmas, de HPC-szintű hatékonysághoz fejlett konfigurációkat, például spine-leaf architektúrákat igényelhet.
• Hálózati topológiák:
  • InfiniBand: HPC/MI klaszterekre optimalizált, támogatja a nagy teljesítményű topológiákat, mint a Fat Tree, Dragonfly+ és a többdimenziós Torus.
  • RoCE v2: IP-alapú routingja szinte bármilyen hálózati topológiához adaptálhatóvá teszi.
  • Szabványos Ethernet: Széles körű topológiákat támogat, beleértve a csillag és a mesh topológiát.

E. Megbízhatóság és torlódáskezelés

• Megbízhatóság:
  • InfiniBand: Natív, hardverszintű megbízhatóságot biztosít kreditalapú folyamatvezérlésével, garantálva a veszteségmentes kommunikációt.
  • RoCE v2: Veszteségmentes Ethernet konfigurációra támaszkodik PFC és ETS használatával. Tartalmaz továbbá egy végponttól végpontig terjedő megbízható kézbesítési mechanizmust hardveralapú csomag-újraküldéssel.
  • iWARP: A TCP velejáró megbízhatóságából profitál, amely hibajavítást és újraküldéseket biztosít.
  • Szabványos TCP/IP: A megbízhatóságra fókuszál újraküldésekkel, ami jelentős késleltetést adhat hozzá és csökkentheti az átviteli sebességet.
• Torlódáskezelés:
  • InfiniBand: Saját torlódáskezelési mechanizmusokat definiál FECN/BECN jelölések alapján.
  • RoCE v2: Egy torlódáskezelési protokollt implementál az IP ECN bitek és a Congestion Notification Packetek (CNP) használatával. Az iparági gyakorlatok, mint a DCQCN, szintén használatosak.
  • iWARP: A TCP bevált torlódáskezelési algoritmusaira támaszkodik.

F. Alkalmazási alkalmasság

• InfiniBand: Az ideális választás olyan környezetek számára, amelyek a legmagasabb adatátviteli sebességet és a legalacsonyabb késleltetést igénylik. Ide tartoznak a tudományos kutatások, a pénzügyi modellezés, a nagyméretű HPC klaszterek és a leginkább erőforrás-igényes MI/GT tanítási feladatok.
• RoCE v2: Olyan vállalatok részesítik előnyben, amelyek meglévő Ethernet infrastruktúrájukat szeretnék használni, miközben továbbra is nagy teljesítményre van szükségük. Jól illeszkedik a tárolóhálózatokhoz, a valós idejű analitikához és a felhőszolgáltatásokhoz, egyensúlyt teremtve a teljesítmény és a költségek között.
• iWARP: Niche alkalmazásokhoz vagy régebbi, TCP feletti RDMA környezetekhez vehető fontolóra, különösen ott, ahol a meglévő TCP/IP infrastruktúra használata szigorú követelmény, és a rendkívül alacsony késleltetés nem elsődleges szempont. Alkalmas olyan alkalmazásokhoz, mint az NVMeoF, iSER, SMB Direct és NFS over RDMA, vagy olcsó opcióként tesztkörnyezetekhez.
• Szabványos Ethernet/TCP/IP: Továbbra is a legjobb választás az általános célú hálózatokhoz, mint például a vállalati LAN-ok és a felhőinfrastruktúra, ahol az extrém HPC/MI teljesítmény nem a fő cél.
• A teljesítmény-költség-komplexitás trilemmája: Ez az elemzés egy alapvető kompromisszumot tár fel az összeköttetés kiválasztásakor: egy trilemmát a teljesítmény, a költség és a komplexitás között. Az InfiniBand csúcsteljesítményt és natív megbízhatóságot kínál, de magasabb költségen. A RoCE v2 közel InfiniBand-szintű teljesítményt nyújt Etherneten, potenciálisan csökkentve a hardverköltségeket, de jelentős konfigurációs komplexitást ad hozzá. Az iWARP RDMA-t kínál TCP felett, de alacsonyabb teljesítménnyel. A szabványos Ethernet költséghatékony, de hiányzik a teljesítménye az erőforrás-igényes feladatokhoz. Nincs egyetlen „legjobb” megoldás; a helyes választás e három tényező egyensúlyozását igényli a specifikus igények és képességek alapján.

Az alábbi táblázat felvázolja az egyes technológiák alkalmazási alkalmasságát:

Technológia	Elsődleges felhasználási területek	Leginkább alkalmas	Kevésbé alkalmas
InfiniBand	HPC, MI/GT tanítás, Big Data analitika, Pénzügyi szolgáltatások (arbitrázs)	Olyan környezetek, amelyek a legalacsonyabb késleltetést, a legmagasabb sávszélességet és natív veszteségmentes garanciákat követelik meg	Költségérzékeny, általános vállalati hálózatok, speciális IT szakértelem nélküli környezetek
RoCE v2	Adatközpontok, Felhőszolgáltatások, Tárolóhálózatok, Valós idejű analitika, MI/GT következtetés	Olyan szervezetek, amelyek a meglévő Ethernet infrastruktúrát használják nagy teljesítmény elérésére; a költség és a teljesítmény egyensúlya	Olyan környezetek, ahol a natív veszteségmentes garanciák nem alku tárgyát képezik kiterjedt konfigurációs szakértelem nélkül
iWARP	NVMeoF, iSER, SMB Direct, NFS over RDMA, Teszt/fejlesztési környezetek	Specifikus alkalmazások, amelyek RDMA-t igényelnek meglévő TCP/IP felett, ahol a csúcsteljesítmény nem kritikus	Nagyméretű HPC/MI klaszterek, késleltetés-érzékeny valós idejű alkalmazások
Szabványos Ethernet/TCP/IP	Általános vállalati hálózatok, LAN-ok, Internetkapcsolat, Felhőinfrastruktúra	Mindenütt jelenlévő, költséghatékony és rugalmas általános célú hálózatok	Nagy teljesítményű számítástechnika, MI/GT tanítás és egyéb késleltetés-érzékeny, CPU-igényes munkaterhelések

VII. Feltörekvő nagy teljesítményű összeköttetések és jövőbeli trendek

A nagy teljesítményű hálózatok világa folyamatosan változik, amit az adatintenzív munkaterhelések és a nagyobb hatékonyság iránti igény vezérel. A már bevált RDMA technológiákon túl új összeköttetések és trendek formálják az adatközpontok jövőjét.

A. Compute Express Link (CXL)

A CXL egy modern összeköttetés, amely a PCIe fizikai rétegére épül, és általános számítástechnikai rendszerekhez tervezték. Fő célja, hogy gyors, zökkenőmentes kommunikációt tegyen lehetővé a CPU-k és az olyan gyorsítók között, mint a GPU-k és FPGA-k.

A CXL kulcsfontosságú jellemzői a nagy sebességű adatátvitel, a széles körű kompatibilitás és a hatékony memóriamegosztás a Cache Coherency (gyorsítótár-koherencia) révén. Három eszköztípust támogat (gyorsítókhoz, gyorsítótár-koherens eszközökhöz és memóriabővítőkhöz), valamint rugalmas topológiákat. A CXL/PCIe Gen5 csúcsátviteli sebessége 512 Gbps, körülbelül 500 nanoszekundumos késleltetéssel. Bár az InfiniBand késleltetése alacsonyabb (kb. 100 nanoszekundum), a CXL kiválóbb az alacsony késleltetésű memória-hozzáféréshez, ahol a gyorsítótár-koherencia kritikus.

Jelentős fejlemény volt a Gen-Z és a CXL konzorciumok 2022-es egyesülése, ami a CXL-t pozícionálja az egyetlen iparági szabvánnyá ebben a memória-központú összeköttetés-osztályban.

A CXL egy elmozdulást képvisel a hagyományos csomópont-csomópont hálózatoktól (mint a RoCE és az InfiniBand) a memória-koherencia és az erőforrások szétválasztása (disaggregation) felé. Ez azt jelenti, hogy bizonyos munkaterhelések esetén a CXL válhat az elsődleges összeköttetéssé, kiegészítve vagy csökkentve a hagyományos hálózati szövetek szükségességét.

B. NVLink

Az NVLink az NVIDIA szabadalmaztatott, nagy sávszélességű, alacsony késleltetésű összeköttetése, amelyet a közvetlen GPU-GPU és GPU-CPU kommunikációra terveztek a gyorsított számítástechnikai platformjain belül.

Az NVLink kulcsfontosságú része az NVIDIA MI és HPC megoldásainak, mint például a GB200 és GB300 architektúráknak. Alapvető fontosságú a MI modelltanítás skálázásához azáltal, hogy rendkívül gyors adatátvitelt biztosít a GPU-k között.

Az NVLink a vertikális integráció és a specializált teljesítmény felé mutató tendenciát jelzi. Szabadalmaztatott jellege ellentétben áll az olyan nyílt szabványokkal, mint a RoCE vagy az InfiniBand. Ez a kialakítás maximalizálja a teljesítményt egyetlen gyártó hardver-stackjén belül. Míg az InfiniBand és a RoCE az általános hálózatkezelést végzi a csomópontok között, az NVLink optimalizálja a kommunikációt a GPU rendszereken belül és azok között, létrehozva egy rétegzett összeköttetési architektúrát, ahol különböző technológiák szolgálnak ki különböző igényeket.

C. Jövőbeli Ethernet sebességek

Az Ethernet a 10 Mbps-ról 400 Gbps-ra fejlődött, és a fejlesztés folytatódik a 800GbE és 1.6TbE szabványokkal a láthatáron. Ezek a gyorsabb sebességek elengedhetetlenek lesznek a következő generációs alkalmazásokhoz, mint a kvantumszámítástechnika, a fejlett MI és az immerzív technológiák.

Az Ethernet sebességének folyamatos növekedése közvetlenül a RoCE-nak kedvez. Mivel a RoCE az Ethernetre épül, automatikusan profitál ezekből a fejlesztésekből, ami segít versenyképesnek maradnia az InfiniBanddel szemben. A felhőszolgáltatások növekedése már most is ösztönzi a 200GbE és 400GbE telepítését, a következő lépés pedig a 800GbE és 1.6TbE lesz.

Az Ethernet és a RoCE folyamatos relevanciája szorosan összefügg. Ahogy az Ethernet sebessége növekszik, a RoCE még erősebb versenyzővé válik a nagy teljesítményű adatközpontok számára, különösen azoknak a szervezeteknek, amelyek a meglévő Ethernet befektetéseiket szeretnék kihasználni és elkerülni a szabadalmaztatott ökoszisztémákat.

D. Szétválasztott számítástechnika és fotonika

• Szétválasztott számítástechnika (Disaggregated Computing): Ez az új megközelítés az adatközpontok hatékonyságának javítását célozza az erőforrások, mint a számítási kapacitás, a tárolás és a memória, leválasztásával a hagyományos szerverekről. Ezeket az erőforrásokat aztán rugalmas, fejlett hálózatokkal összekapcsolt készletekbe szervezik. Ennek egyik kulcsfontosságú eredménye, hogy az a kommunikáció, amely korábban egy szerveren belül történt, most a hálózaton keresztül zajlik, drámaian növelve a terhelést és kritikussá téve a rendkívül alacsony késleltetést. Ez a tendencia megerősíti a nagy teljesítményű összeköttetések, mint a RoCE és az InfiniBand szükségességét, és ösztönzi az újak, mint a CXL, fejlesztését.
• Fotonika az adatközponti hálózatokban: A szilíciumfotonika optikai komponenseket integrál szilícium chipekre, lehetővé téve a nagy sebességű, alacsony fogyasztású optikai összeköttetéseket. Ez a technológia sokkal gyorsabb adatátviteli sebességet (több mint 100 Gbps), alacsonyabb késleltetést és jobb energiahatékonyságot kínál, mint a hagyományos réz. Elengedhetetlenné válik az adatközpontok növekvő forgalmi igényeinek kielégítéséhez és a következő generációs nagysebességű Ethernet lehetővé tételéhez.

Ezeknek a trendeknek a kapcsolata szimbiotikus. A szétválasztott architektúrák fejlett hálózatokat igényelnek, amelyeket az olyan összeköttetések, mint a RoCE, az InfiniBand és a CXL, biztosítanak. Cserébe az ezekhez az összeköttetésekhez szükséges sebességek elérése, különösen a jövőbeli 800GbE és 1.6TbE szabványok esetében, olyan technológiákra fog támaszkodni, mint a szilíciumfotonika.

VIII. Javaslatok és következtetés

Egy nagy teljesítményű összeköttetés kiválasztása kritikus stratégiai döntés, amelynek összhangban kell lennie a szervezet specifikus igényeivel, költségvetésével, infrastruktúrájával és hosszú távú jövőképével.

• A maximális nyers teljesítményért és a missziókritikus HPC/MI feladatokért: Az InfiniBand az egyértelmű aranystandard. Natív RDMA-ja, kreditalapú folyamatvezérlése és célirányos tervezése a legalacsonyabb késleltetést és a legmagasabb átviteli sebességet biztosítja garantált veszteségmentes teljesítménnyel. Azok a szervezetek, amelyek rendelkeznek a megfelelő költségvetéssel és szakértelemmel, az InfiniBandet válasszák nagyméretű klaszterekhez, ahol minden mikroszekundum számít.
• A nagy teljesítményért költséghatékonysággal és Ethernet-integrációval: A RoCE v2 egy erős és egyre népszerűbb alternatíva. Jelentős teljesítménynövekedést kínál a TCP/IP-hez képest, és megközelítheti az InfiniBand teljesítményét a meglévő Ethernet infrastruktúra használatával. Ideális azoknak a szervezeteknek, amelyek a teljes átalakítás nélkül korszerűsítik adatközpontjaikat. Ez a választás azonban elkötelezettséget igényel egy veszteségmentes Ethernet szövet gondos konfigurálása és kezelése mellett.
• Niche alkalmazásokhoz vagy régebbi, TCP feletti RDMA környezetekhez: Az iWARP bizonyos esetekben megfelelő lehet, különösen ott, ahol a meglévő TCP/IP infrastruktúra használata elengedhetetlen, és a csúcsteljesítmény nem az elsődleges cél. Azonban alacsonyabb teljesítménye és magasabb menedzsment-komplexitása korlátozza a használatát a modern, nagy teljesítményű telepítésekben.
• Általános célú hálózatokhoz: A szabványos Ethernet/TCP/IP továbbra is a leggyakoribb és legköltséghatékonyabb választás az extrém teljesítményigények nélküli környezetek számára. Könnyű használata és tömeggyártott hardvere tökéletessé teszi általános vállalati hálózatokhoz, LAN-okhoz és szabványos felhőinfrastruktúrához.
• Feltörekvő technológiák figyelembevétele a jövőbiztosság érdekében: A szervezeteknek figyelniük kell a CXL fejlődését a memória-központú és szétválasztott architektúrák esetében, mivel ez kiegészíti a hagyományos hálózati szöveteket az erőforrás-készletezés optimalizálásával. Hasonlóképpen, az NVLink kritikus az NVIDIA GPU-nehéz rendszerein belüli kommunikáció optimalizálásához. Ezek a technológiák az összeköttetések diverzifikációját jelzik a számítási hierarchia különböző rétegeire. Emellett a 800GbE és 1.6TbE Ethernet fejlesztése, valamint a fotonika fejlődése továbbra is még erősebb opcióvá teszi a RoCE-t.

Összefoglalva, a nagy teljesítményű hálózatok világa komplex, amelyet a MI, a HPC és a szétválasztott számítástechnika felé történő elmozdulás igényei vezérelnek. Míg az InfiniBand abszolút teljesítményben vezet a specializált környezetekben, a RoCE v2 egy erőteljes és rugalmas alternatívát nyújt, amely áthidalja az RDMA előnyeit az Ethernet mindenütt jelenlétével. A CXL és az NVLink megjelenése az összeköttetések stratégiai diverzifikációját jelzi, optimalizálva a különböző kommunikációs rétegeket. Az optimális megoldás mindig a teljesítménykövetelmények, a költségek, a meglévő infrastruktúra és egy előremutató jövőkép stratégiai egyensúlya lesz.