Kattava analyysi korkean suorituskyvyn verkkoyhteyksistä: RoCE v2, InfiniBand, iWARP ja kehittyvät vaihtoehdot nykyaikaisille datakeskuksille

I. Yhteenveto

Nykyaikaisten datakeskusten on tuettava vaativia työkuormia, kuten suurteholaskentaa (HPC), tekoälyä ja koneoppimista (AI/ML) sekä massadatan analytiikkaa. Nämä sovellukset vaativat äärimmäisen matalaa latenssia, suurta kaistanleveyttä ja minimaalista suorittimen käyttöä. Perinteiset verkkoprotokollat, kuten TCP/IP, eivät pysty vastaamaan näihin tarpeisiin suuren yleiskustannuksensa ja latenssinsa vuoksi.

Remote Direct Memory Access (RDMA) on avainasemassa oleva teknologia, joka mahdollistaa korkean suorituskyvyn verkkoyhteydet. RDMA antaa verkotetuille tietokoneille mahdollisuuden siirtää dataa suoraan niiden muistien välillä ilman käyttöjärjestelmien tai suorittimien osallistumista (muistista muistiin). Tämä prosessi vähentää merkittävästi latenssia ja suorittimen kuormitusta.

• InfiniBand on tarkoitukseen rakennettu, standardoitu mutta valmistajakohtainen verkkoratkaisu, joka on suunniteltu korkeimpaan mahdolliseen suorituskykyyn ja luonnostaan häviöttömään toimintaan.
• RoCE v2 (RDMA over Converged Ethernet) soveltaa RDMA:n etuja standardin Ethernet-verkon yli, tarjoten reititettävän ja kustannustehokkaamman vaihtoehdon, mutta se vaatii erityisiä määrityksiä ollakseen häviötön.
• iWARP on toinen RDMA-over-Ethernet-ratkaisu, joka perustuu TCP-protokollaan, mutta se on yleisesti harvinaisempi ja tarjoaa heikomman suorituskyvyn kuin RoCE v2.

Oikean verkkoyhteyden valinta on strateginen päätös, joka riippuu suorituskykyvaatimuksista, budjetista, olemassa olevasta infrastruktuurista ja skaalautuvuustavoitteista. Tämä raportti analysoi näitä teknologioita, vertaa niitä standardiin Ethernet/TCP/IP-ratkaisuun ja tutkii uusia vaihtoehtoja, kuten CXL:ää ja NVLinkiä, auttaakseen tämän kriittisen päätöksen tekemisessä.

II. Johdanto korkean suorituskyvyn verkkoihin ja RDMA:han

Nykypäivän digitaalista maailmaa leimaa dataintensiivisten sovellusten, kuten suurteholaskennan (HPC), tekoälyn ja koneoppimisen (AI/ML) sekä massadatan analytiikan, eksponentiaalinen kasvu. Näiden työkuormien on siirrettävä valtavia datamääriä nopeasti ja tehokkaasti laskentasolmujen ja tallennusjärjestelmien välillä. Esimerkiksi tekoälysovellukset ovat erittäin herkkiä datan eheydelle ja vaativat häviöttömiä verkkoja, joissa yksittäinen kadonnut viesti voi pilata koko koulutusajon. Suuren kaistanleveyden liikenne on myös olennaista näille sovelluksille, jotta dataa voidaan käsitellä tehokkaasti.

Perinteisen TCP/IP Ethernetin rajoitukset korkean suorituskyvun sovelluksissa

Vaikka perinteinen TCP/IP Ethernet on luotettava yleisessä verkkoliikenteessä, sillä on merkittäviä rajoituksia korkean suorituskyvyn sovelluksissa:

• Korkea latenssi ja suorittimen yleiskustannus: TCP/IP:n suunnittelu lähettää dataa useiden ohjelmistokerrosten läpi käyttöjärjestelmän ytimessä, mikä vaatii merkittävää suorittimen osallistumista. Tämä prosessi lisää huomattavasti latenssia (tyypillisesti kymmeniä mikrosekunteja) ja kuormittaa suoritinta raskaasti. Latenssiherkille sovelluksille tästä tulee merkittävä pullonkaula, kun suoritin käyttää aikaansa verkkoliikenteen hallintaan sovelluksen ajamisen sijaan. Tämä kontekstin vaihdoista ja datan kopioinnista johtuva ”suoritinvero” on ensisijainen syy siirtyä RDMA-teknologioihin, jotka siirtävät verkon käsittelyn pois suorittimelta ja vapauttavat sen sovellustehtäviin.
• Läpäisykyvyn rajoitukset: Useat tekijät rajoittavat TCP:n tehokasta läpäisykykyä, mukaan lukien lähetysikkunan koko, segmentin koko ja pakettien katoaminen. Standardi TCP-ikkunan koko (usein rajoitettu 65 535 tavuun) voi estää suuren kaistanleveyden linkkien täyden hyödyntämisen, erityisesti korkeamman latenssin verkoissa. Lisäksi TCP:n keskeinen luotettavuusmekanismi – pakettien uudelleenlähetys – aiheuttaa viiveitä ja käyttää ylimääräistä kaistanleveyttä, mikä heikentää suorituskykyä ruuhkautuneissa tai häviöllisissä verkoissa.
• Skaalautuvuuden haasteet: Vaikka TCP/IP skaalautuu hyvin suuriin verkkoihin, sen suunnittelu priorisoi yleistä luotettavuutta raa'an suorituskyvyn sijaan. Tämä tekee siitä vähemmän tehokkaan tilanteissa, jotka vaativät äärimmäistä läpäisykykyä ja minimaalista latenssia, kuten suurissa HPC-klustereissa tai reaaliaikaisessa tekoälyn päättelyssä.

Remote Direct Memory Access (RDMA) -teknologian perusteet ja keskeiset edut

Remote Direct Memory Access (RDMA) kehitettiin voittamaan TCP/IP:n rajoitukset korkean suorituskyvyn ympäristöissä. Sen tärkeimmät edut tulevat suorittimen ja käyttöjärjestelmän ohittamisesta tiedonsiirron aikana:

• Suora muistiyhteys (nollakopiointi): RDMA siirtää dataa suoraan yhden tietokoneen muistista toisen muistiin ilman, että kummankaan järjestelmän suoritin tai käyttöjärjestelmä osallistuu prosessiin. Tämä ”nollakopiointi”-lähestymistapa poistaa välitiedonpuskurit ja kontekstin vaihdot, jotka ovat merkittäviä yleiskustannusten lähteitä perinteisessä verkkoliikenteessä.
• Pienempi latenssi ja suorittimen kuormitus: Ohittamalla suorittimen ja käyttöjärjestelmän RDMA vähentää dramaattisesti tiedonsiirtolatenssia ja vapauttaa suoritinsyklejä. Tämä johtaa suoraan nopeampiin laskutoimituksiin ja parempaan reaaliaikaiseen datankäsittelyyn. Esimerkiksi sovelluksen latenssi voi pudota noin 50 mikrosekunnista TCP/IP:llä jopa 2–5 mikrosekuntiin RDMA:lla.
• Korkeampi kaistanleveyden hyödyntäminen: RDMA:n tehokas datapolku ja pienemmät yleiskustannukset antavat sovellusten hyödyntää käytettävissä olevaa verkon kaistanleveyttä paremmin, mikä johtaa korkeampaan teholliseen läpäisykykyyn.
• Tärkeimmät toteutukset: Nykyään käytetyimmät RDMA-teknologiat ovat InfiniBand, RoCE (versiot 1 ja 2) sekä iWARP.

III. RoCE v2: RDMA over Converged Ethernet

RoCE v2 on merkittävä edistysaskel korkean suorituskyvyn verkoissa, laajentaen RDMA:n edut laajalti käytettyyn Ethernet-ekosysteemiin.

A. Arkkitehtoniset periaatteet

• Evoluutio RoCE v1:stä: RoCE v1 oli kerroksen 2 protokolla (Ethertype 0x8915), mikä rajoitti sen yhteen Ethernet-lähetysalueeseen ja heikensi sen skaalautuvuutta. RoCE v2 ratkaisee tämän toimimalla internet-kerroksella. Se kapseloi RDMA-liikenteen UDP/IP-paketteihin (käyttäen UDP-kohdeporttia 4791), mikä tekee siitä reititettävän kerroksen 3 IP-verkkojen yli. Tämä reititettävyys on kriittinen parannus, joka mahdollistaa RoCE v2:n käytön suurissa datakeskuksissa ja pilviympäristöissä.
• RDMA over Ethernet -integraatio: RoCE tarjoaa menetelmän RDMA:n suorittamiseksi standardin Ethernet-verkon yli. Se käytännössä korvaa InfiniBand-verkkokerroksen IP- ja UDP-otsakkeilla säilyttäen samalla InfiniBandin ydinprotokollan siirtokerroksen ja RDMA-protokollan. Tämä suunnittelu antaa RoCE:n hyödyntää olemassa olevaa Ethernet-infrastruktuuria.
• Pakettimuoto: RoCE v2 -paketti sisältää IP-otsakkeen ja UDP-otsakkeen, jotka kapseloivat RDMA-siirtoprotokollan. Vaikka UDP ei takaa pakettien järjestystä, RoCE v2 -standardi edellyttää, että paketteja, joilla on sama lähdeportti ja kohdeosoite, ei saa järjestää uudelleen.
• ”Parhaat puolet molemmista maailmoista” -kompromissi: RoCE v2:n suunnittelu on strateginen kompromissi, jonka tavoitteena on tarjota RDMA:n korkea suorituskyky joustavalla, kustannustehokkaalla ja kaikkialla läsnä olevalla Ethernet-alustalla. Vaikka tämä lähestymistapa tarjoaa laajan yhteensopivuuden, se luo keskeisen haasteen: RDMA:n vaatiman häviöttömän suorituskyvyn varmistaminen Ethernet-verkossa, joka on luonnostaan häviöllinen.

B. Suorituskykyprofiili

• Latenssi: RoCE Host Channel Adapterit (HCA) voivat saavuttaa erittäin alhaisia latensseja, jopa 1,3 mikrosekuntia. Sovellustasolla RoCE vähentää latenssin noin 5 mikrosekuntiin, mikä on valtava parannus TCP/IP:n tyypilliseen 50 mikrosekuntiin verrattuna. Vaikka InfiniBand tarjoaa hieman alhaisemman natiivin latenssin, RoCE:n suorituskyky on erinomainen reaaliaikaisille sovelluksille.
• Kaistanleveys: RoCE v2 tukee suurta kaistanleveyttä, jopa 400 Gbps nopeuksilla porttia kohden.
• Suorittimen kuormituksen purku: Kuten muutkin RDMA-protokollat, RoCE ohittaa suorittimen tiedonsiirrossa. Tämä kuormituksen purku vapauttaa arvokkaita suoritinresursseja laskentaintensiivisiin tehtäviin verkon käsittelyn sijaan.
• Häviötön suorituskyky: Jotta RoCE vastaisi InfiniBandin suorituskykyä, se on riippuvainen häviöttömästä Ethernet-verkosta. Tämä saavutetaan tyypillisesti toteuttamalla Data Center Bridging (DCB) -ominaisuuksia, erityisesti Priority Flow Control (PFC) ja Explicit Congestion Notification (ECN).

C. Infrastruktuuri ja hallinta

• Laitteisto- ja ohjelmistovaatimukset: RoCE toimii standardien Ethernet-laitteiden, kuten kytkimien ja kaapeleiden, kanssa, mikä antaa organisaatioille mahdollisuuden käyttää olemassa olevaa infrastruktuuriaan. Se vaatii kuitenkin RoCE-yhteensopivat Host Channel Adapterit (HCA) päätepisteissä. Ohjelmistotuki on kypsä, ja toteutuksia löytyy Mellanox OFED 2.3+ -versiosta lähtien ja se on integroitu Linux-ytimeen versiosta v4.5+ alkaen.
• Häviöttömän verkon määritys: Vaikka RoCE käyttää standardia Ethernetiä, häviöttömän DCB-verkon luominen voi olla monimutkaisempaa kuin InfiniBand-verkon pystyttäminen. Jokainen komponentti päätepisteistä kytkimiin on määritettävä huolellisesti. Tämä sisältää Priority Flow Controlin (PFC), Enhanced Transmission Selectionin (ETS) ja ruuhkautumisen ilmoitusmekanismien asettamisen. Jotta verkko toimisi kerroksen 3 yli, nämä häviöttömät ominaisuudet on säilytettävä reitittimien yli, usein yhdistämällä kerroksen 2 prioriteettiasetukset kerroksen 3 DSCP QoS -asetuksiin.
• Hallinnan näkökohdat: RoCE:a voidaan hallita standardeilla Ethernet-työkaluilla. Johdonmukaisen häviöttömän suorituskyvyn varmistaminen ja ruuhkien hallinta suurissa RoCE v2 -käyttöönotoissa voi kuitenkin olla haastavaa ja vaatii erikoisasiantuntemusta.
• ”Kustannustehokkuuden” piilokustannukset: RoCE:a kutsutaan usein ”kustannustehokkaaksi”, koska se voi käyttää olemassa olevaa Ethernet-infrastruktuuria, mutta tämä on yksinkertaistus. InfiniBandin kaltaisen suorituskyvyn saavuttaminen vaatii täydellisesti määritetyn häviöttömän Ethernet-verkon. Data Center Bridging (DCB) -ominaisuuksien, kuten PFC:n ja ECN:n, asentamisen monimutkaisuus voi olla paljon suurempi kuin InfiniBand-verkon määrittäminen. Tämä monimutkaisuus johtaa korkeampiin operatiivisiin kustannuksiin verkkosuunnittelussa, vianmäärityksessä ja hallinnassa, ja se voi vaatia kalliimpia Ethernet-kytkimiä. Tämän seurauksena RoCE:n alkuperäiset laitteistosäästöt saattavat kumoutua näiden korkeampien operatiivisten kustannusten myötä. Perusteellinen kokonaiskustannusanalyysi (TCO) on välttämätön tarkan vertailun tekemiseksi.

D. Keskeiset sovellukset

RoCE v2 on erinomainen ratkaisu moniin datakeskus- ja yrityssovelluksiin. Se soveltuu erityisen hyvin ympäristöihin, jotka vaativat äärimmäisen matalaa latenssia ja suurta läpäisykykyä, kuten tekoälyn työkuormiin, korkean taajuuden kaupankäyntiin ja reaaliaikaiseen analytiikkaan. Se parantaa myös suorituskykyä sovelluksissa, jotka ovat voimakkaasti riippuvaisia tietokannoista tai tiedostojen I/O-toiminnoista. Lisäksi RoCE v2 auttaa liiketoiminnan jatkuvuudessa ja katastrofista palautumisessa mahdollistamalla nopean ja tehokkaan datan replikoinnin. Sen laajamittainen käyttö tekoälyn koulutusklustereissa korostaa sen merkitystä nykyaikaisessa laskennassa.

IV. InfiniBand: erikoistunut korkean suorituskyvyn verkkoratkaisu

InfiniBand on huippuluokan korkean suorituskyvyn verkkoyhteys, joka on suunniteltu alusta alkaen tarjoamaan vertaansa vailla olevaa nopeutta, minimaalista latenssia ja korkeaa luotettavuutta vaativiin laskentaympäristöihin.

A. Arkkitehtoniset periaatteet

• Natiivi RDMA: InfiniBand rakennettiin siten, että RDMA on integroitu sen koko protokollapinoon, fyysisestä kerroksesta ylöspäin. Tämä alusta alkaen tehty suunnittelu takaa, että RDMA-operaatiot ovat erittäin tehokkaita, luoden suoria ja suojattuja datakanavia solmujen välille ilman suorittimen osallistumista.
• Kytkinpohjainen verkkotopologia: InfiniBand käyttää kytkinpohjaista verkkotopologiaa suoria pisteestä-pisteeseen-yhteyksiä varten laitteiden välillä. Arkkitehtuuri sisältää Host Channel Adapterit (HCA) prosessoreissa ja Target Channel Adapterit (TCA) oheislaitteissa, mikä mahdollistaa tehokkaan viestinnän.
• Krediittipohjainen vuonohjaus: InfiniBandin ydinominaisuus on sen krediittipohjainen vuonohjaus. Tämä laitteistotason algoritmi takaa häviöttömän viestinnän varmistamalla, että lähettäjä lähettää dataa vain, jos vastaanottajalla on riittävästi puskuritilaa (krediittejä) sen vastaanottamiseen. Tämä natiivi luotettavuus estää pakettien katoamisen ja erottaa InfiniBandin teknologioista, jotka tarvitsevat ylempien kerrosten määrityksiä ollakseen häviöttömiä.
• Valmistajakohtaiset standardit: InfiniBand noudattaa InfiniBand Trade Associationin (IBTA), joka perustettiin vuonna 1999, määrittelemiä standardeja. Ekosysteemiä hallitsee vahvasti NVIDIA (Mellanoxin oston kautta), johtava InfiniBand-sovittimien ja -kytkimien valmistaja.

B. Suorituskykyprofiili

• Äärimmäisen matala latenssi: InfiniBand tarjoaa johdonmukaisesti alhaisimman latenssin. Sovittimien latenssit voivat olla jopa 0,5 mikrosekuntia, ja kytkimen portista-porttiin-latenssi on noin 100 nanosekuntia – huomattavasti alhaisempi kuin vastaavien Ethernet-kytkimien 230 nanosekuntia. Sovellustasolla InfiniBand voi saavuttaa jopa 2 mikrosekunnin latenssin, verrattuna TCP/IP:n 50 mikrosekuntiin.
• Korkean läpäisykyvyn ominaisuudet: InfiniBand tukee erittäin korkeita datanopeuksia. Nykyaikaiset versiot, kuten HDR ja NDR, tarjoavat jopa 200 Gbps ja 400 Gbps kaistaa kohden. Aggregoidut linkit voivat saavuttaa vielä korkeamman läpäisykyvyn, yltäen 800 Gbps:iin (NDR) ja jopa 1,6 Tbps:iin (XDR).
• Suorittimen tehokkuus: InfiniBandin keskeinen vahvuus on sen kyky tarjota äärimmäisen matala latenssi ja erittäin suuri kaistanleveys lähes ilman suorittimen käyttöä. Tämä verkon käsittelyn siirtäminen pois suorittimelta on kriittinen etu laskentaintensiivisille työkuormille.
• Suorituskyky suunnittelun kautta vs. suorituskyky määritysten kautta: InfiniBandilla ja RoCE:lla on perustavanlaatuinen ero lähestymistavassaan. InfiniBand suunniteltiin alusta alkaen RDMA:ta varten, ja sen fyysiset ja siirtokerrokset on suunniteltu laitteistotason luotettavuutta varten, mukaan lukien natiivi krediittipohjainen algoritmi häviöttömään viestintään. Sen sijaan RoCE toimii standardin Ethernetin päällä ja on riippuvainen ominaisuuksien, kuten Priority Flow Controlin (PFC) ja Explicit Congestion Notificationin (ECN), määrityksistä häviöttömän verkon luomiseksi. Tämä tarkoittaa, että InfiniBand tarjoaa taatun korkean suorituskyvyn heti käyttöön otettaessa, kun taas RoCE:n suorituskyky riippuu alla olevan Ethernet-määrityksen laadusta.

C. Infrastruktuuri ja hallinta

• Erillinen laitteisto: InfiniBand vaatii erikoistunutta laitteistoa, mukaan lukien erilliset Host Channel Adapterit (HCA), kytkimet, reitittimet ja valmistajakohtaiset kaapelit. Tämä johtaa tyypillisesti korkeampaan alkuinvestointiin verrattuna Ethernet-pohjaisiin ratkaisuihin.
• Keskitetty hallinta: InfiniBand-verkkoja hallinnoi keskitetty Subnet Manager (SM), joka laskee ja jakaa edelleenlähetystaulukot ja hallinnoi määrityksiä, kuten osioita ja palvelunlaatua (QoS). Tämä keskitetty lähestymistapa voi yksinkertaistaa hallintaa suurissa klustereissa alkuasennuksen jälkeen.
• Erikoisosaaminen: InfiniBand-verkkojen käyttöönotto ja ylläpito vaativat yleensä erikoisosaamista, mikä voi lisätä operatiivisia kustannuksia ja luoda jyrkemmän oppimiskäyrän IT-henkilöstölle.
• Ekosysteemi: InfiniBand-ekosysteemi on kypsä, mutta sitä hallitsee NVIDIA/Mellanox.

D. Keskeiset sovellukset

InfiniBand on alan standardi suurteholaskennan (HPC) ympäristöissä ja nopeimmin kasvava verkkoyhteys näihin sovelluksiin. Se on IBTA:n ensisijaisesti suosittelema teknologia. Sen äärimmäisen matala latenssi ja suuri kaistanleveys ovat välttämättömiä vaativille työkuormille, kuten suurten tekoäly- ja koneoppimismallien koulutukselle, massadata-analytiikalle ja massiivisille tietokantaoperaatioille. Se on myös ratkaisevan tärkeä suurille simulaatioille (esim. sääennusteet) ja korkean taajuuden rahoituspalveluille, joissa nopeus ja datan eheys ovat kriittisiä. Kesäkuussa 2022 62 % maailman Top100-supertietokoneista käytti InfiniBandia.

V. iWARP: RDMA standardin TCP/IP:n yli

iWARP (Internet Wide Area RDMA Protocol) on toinen menetelmä RDMA:n toteuttamiseksi, joka on tunnettu standardin TCP/IP-protokollapinon käytöstä.

A. Arkkitehtoniset periaatteet

• RDMA over TCP/IP: iWARP on protokolla, joka toteuttaa RDMA:n standardien IP-verkkojen yli. Toisin kuin RoCE, joka käyttää UDP:tä, iWARP on rakennettu luotettavien siirtoprotokollien, kuten TCP:n ja SCTP:n, päälle.
• Keskeiset komponentit: iWARP:n toiminta perustuu useisiin komponentteihin. Direct Data Placement Protocol (DDP) mahdollistaa nollakopiointisiirron sijoittamalla datan suoraan sovelluksen muistiin. Remote Direct Memory Access Protocol (RDMAP) tarjoaa palvelut RDMA-luku- ja kirjoitusoperaatioille. Erityinen sovituskerros, Marker PDU Aligned (MPA) -kehystys, tarvitaan DDP:n mahdollistamiseksi TCP:n yli.
• Luotettavuus: iWARP:n ainutlaatuinen piirre on, että sen luotettavuus tulee alla olevasta TCP-protokollasta. Tämä eroaa RoCE v2:sta, joka käyttää UDP:tä ja vaatii ulkoisia mekanismeja, kuten Data Center Bridging (DCB), luotettavuuden varmistamiseksi. Tämän seurauksena iWARP tukee vain luotettavaa, yhteydellistä viestintää.

B. Suorituskykyprofiili

• Vertaileva latenssi ja läpäisykyky: Vaikka iWARP:lla on alhaisempi latenssi kuin perinteisellä TCP/IP:llä, sen suorituskyky on yleensä heikompi kuin RoCE:lla. Vuonna 2011 alin iWARP HCA -latenssi oli 3 mikrosekuntia, kun taas RoCE HCA:t saavuttivat 1,3 mikrosekuntia. Vertailutestit osoittavat jatkuvasti, että RoCE toimittaa viestit paljon nopeammin kuin iWARP, ja sen läpäisykyky on yli 2 kertaa suurempi 40GbE:llä ja 5 kertaa suurempi 10GbE:llä.
• Suorittimen kuormituksen purku: Kuten muutkin RDMA-protokollat, iWARP minimoi suorittimen kuormituksen mahdollistamalla suorat muistisiirrot. Se voi käyttää TCP Offload Engine (TOE) -moottoreita RDMA-laitteiston kanssa saavuttaakseen nollakopiointituloksia ja vähentääkseen edelleen suorittimen osallistumista.

C. Infrastruktuuri ja hallinta

• Yhteensopivuus standardin Ethernetin kanssa: iWARP:n merkittävä etu on sen kyky toimia standardin Ethernet-infrastruktuurin päällä vähäisin muutoksin olemassa olevaan verkkoon. Tämä antaa organisaatioille mahdollisuuden hyödyntää nykyisiä investointejaan.
• Laitteistovaatimukset: Huolimatta yhteensopivuudestaan standardien Ethernet-kytkimien kanssa, iWARP vaatii silti iWARP-yhteensopivat verkkokortit päätepisteissä.
• Integraationäkökohdat: iWARP on integroitu suuriin käyttöjärjestelmiin, kuten Microsoft Windows Serveriin ja nykyaikaisiin Linux-ytimiin. Tämä tukee sovelluksia, kuten SMB Direct, iSCSI Extensions for RDMA (iSER) ja Network File System over RDMA (NFS over RDMA).
• Hallinnan haasteet: iWARP-liikenteen hallinta voi olla vaikeaa. Se jakaa TCP:n porttiavaruuden, mikä monimutkaistaa vuonhallintaa ja vaikeuttaa RDMA-liikenteen tunnistamista. Yleisesti ottaen iWARP:ia pidetään vaikeammin hallittavana kuin RoCE:a.

D. Markkinarelevanssi

• Rajoitettu käyttöönotto: iWARP on ”harvinainen” tai ”vähemmän yleisesti käytetty” RDMA-toteutus verrattuna InfiniBandiin ja RoCE v2:een. Sen ratkaisuilla on ollut ”rajoitettua menestystä” toteutukseen ja käyttöönottoon liittyvien haasteiden vuoksi.
• TCP-riippuvuuden paradoksi: iWARP:n suunnitteluvalinta kerrostaa RDMA TCP:n päälle tarjoaa sisäänrakennetun luotettavuuden ja yhteensopivuuden, mutta paradoksaalisesti estää sitä saavuttamasta täysin RDMA:n ydinhyötyjä. TCP-protokollan luontainen yleiskustannus, jopa laitteistokiihdytyksellä, näyttää estävän iWARP:ia saavuttamasta InfiniBandin tai RoCE:n äärimmäisen matalaa latenssia ja suurta läpäisykykyä. Tämä suorituskyvyn kompromissi on johtanut sen rajalliseen markkinaosuuteen.

VI. Vertaileva analyysi: RoCE v2 vs. InfiniBand vs. iWARP vs. standardi Ethernet

Tarkka vertailu suorituskyvyn, infrastruktuurin ja operatiivisten mittareiden osalta on avain oikean korkean suorituskyvyn verkkoyhteyden valinnassa.

A. Suorituskyvyn vertailuarvot

Näiden verkkoyhteyksien suorituskyky eroaa suuresti, erityisesti latenssin, kaistanleveyden ja suorittimen käytön osalta.

• Latenssi:
  • InfiniBand: Tarjoaa alhaisimman latenssin. Kytkimen portista-porttiin-latenssi on noin 100 nanosekuntia, kun taas sovittimen latenssi on jopa 0,5–1,3 mikrosekuntia. Sovellustason latenssi voi olla jopa 2 mikrosekuntia.
  • RoCE v2: Tarjoaa äärimmäisen matalan latenssin. Ethernet-kytkimen latenssi on noin 230 nanosekuntia, kun taas HCA-latenssi voi olla jopa 1,3 mikrosekuntia. Sovellustason latenssi on tyypillisesti noin 5 mikrosekuntia.
  • iWARP: On korkeampi latenssi kuin RoCE:lla, HCA-latenssin ollessa raportoitu noin 3 mikrosekuntia (vuoden 2011 data). Se suoriutuu jatkuvasti heikommin kuin RoCE.
  • Standardi TCP/IP: On korkein latenssi, yksisuuntaisen latenssin ollessa 10–55 millisekuntia. Sovellustason latenssi on tyypillisesti noin 50 mikrosekuntia.
• Kaistanleveys:
  • InfiniBand: Tukee erittäin suurta kaistanleveyttä. Nykyaikaiset versiot, kuten NDR, tarjoavat jopa 400 Gbps porttia kohden, ja XDR saavuttaa jopa 800 Gbps. Tulevaisuuden GDR:n ennustetaan saavuttavan 1,6 Tbps.
  • RoCE v2: Kykenee suureen kaistanleveyteen, tukien jopa 400 Gbps porttia kohden.
  • iWARP: Yleensä alhaisempi läpäisykyky kuin RoCE:lla.
  • Standardi TCP/IP: Läpäisykyky on usein rajoitettu protokollan yleiskustannusten ja uudelleenlähetysten vuoksi, mikä vaikeuttaa suuren kaistanleveyden linkkien tehokasta käyttöä.
• Suorittimen kuormituksen purku:
  • InfiniBand, RoCE v2, iWARP: Kaikki kolme RDMA-teknologiaa purkavat merkittävän osan suorittimen työstä ohittamalla käyttöjärjestelmän, vapauttaen suoritinresursseja muihin tehtäviin.
  • Standardi TCP/IP: Aiheuttaa suurta suorittimen kuormitusta, koska ydin on voimakkaasti mukana datan käsittelyssä.
• Häviötön mekanismi:
  • InfiniBand: Sisältää natiivin, laitteistotason krediittipohjaisen vuonohjauksen, joka takaa häviöttömän viestinnän.
  • RoCE v2: Perustuu häviöttömään Ethernet-määritykseen, joka käyttää Data Center Bridging (DCB) -ominaisuuksia, kuten PFC:tä ja ECN:ää. Siinä on myös päästä päähän luotettava toimitusmekanismi laitteistopohjaisilla uudelleenlähetyksillä.
  • iWARP: Käyttää TCP:n sisäänrakennettua luotettavaa siirtoprotokollaa datan eheyden varmistamiseksi.
  • Standardi TCP/IP: Käyttää ”parhaan kyvyn mukaan” -toimitusmallia, joka luottaa ylempien kerrosten uudelleenlähetyksiin luotettavuuden varmistamiseksi, mikä lisää latenssia.

Seuraava taulukko tiivistää suorituskykyominaisuudet:

Ominaisuus	InfiniBand	RoCE v2	iWARP	Standardi Ethernet/TCP/IP
Ydinteknologia	Natiivi RDMA	RDMA over Ethernet (UDP/IP)	RDMA over Ethernet (TCP/IP)	Perinteinen kerrosprotokolla
Tyypillinen sovelluslatenssi (µs)	2	5	>3 (2011 HCA)	50
Kytkimen portista-porttiin-latenssi (ns)	100	230	Ei käytössä (perustuu Ethernetiin)	Tyypillisesti korkeampi, vaihteleva
Maksimikaistanleveys (Gbps per portti/linkki)	400 (NDR), 800 (XDR), 1,6T (GDR)	400	Yleensä alhaisempi kuin RoCE	400+ (mutta protokollan yleiskustannukset rajoittavat)
Suorittimen yleiskustannus	Lähes nolla	Erittäin matala	Matala	Korkea
Häviötön mekanismi	Natiivi krediittipohjainen vuonohjaus	Vaatii häviöttömän Ethernetin (PFC, ECN)	TCP:n luotettava siirtoprotokolla	”Parhaan kyvyn mukaan”, luottaa uudelleenlähetyksiin
Reititettävyys (L2/L3)	L3 (Subnet Managerin kautta)	L3 (reititettävä RoCE)	L3	L3 (standardi IP-reititys)

B. Infrastruktuuri ja ekosysteemi

• Laitteistoriippuvuudet:
  • InfiniBand: Vaatii täyden sarjan erikoistunutta laitteistoa, mukaan lukien InfiniBand HCA:t, kytkimet ja valmistajakohtaiset kaapelit.
  • RoCE v2: Vaatii RoCE-yhteensopivat HCA:t, mutta toimii standardien Ethernet-kytkimien ja -kaapeleiden yli, mikä mahdollistaa integroinnin olemassa oleviin verkkoihin.
  • iWARP: Vaatii iWARP-yhteensopivat verkkokortit, mutta voi käyttää standardeja Ethernet-kytkimiä.
  • Standardi Ethernet: Käyttää laajalti saatavilla olevia, massatuotettuja Ethernet NIC -kortteja ja kytkimiä.
• Toimittajariippuvuus:
  • InfiniBand: Ekosysteemi on rajallinen ja sitä hallitsee Mellanox (NVIDIA), mikä voi herättää huolta toimittajariippuvuudesta.
  • RoCE v2: Hyötyy laajasta ja kilpailukykyisestä Ethernet-ekosysteemistä, jossa on useita toimittajia. Jotkut tarjoavat ”Universal RDMA” NIC-kortteja, jotka tukevat sekä RoCE:a että iWARP:ia, vähentäen riippuvuutta.
  • iWARP: Hyötyy myös laajasta Ethernet-ekosysteemistä, ja sitä tukevat toimittajat kuten Intel ja Chelsio.
• Yhteentoimivuus:
  • InfiniBand: Koska se on standardoitu mutta valmistajakohtainen, kaikkien komponenttien on noudatettava IBTA-määrityksiä varmistaakseen yhteentoimivuuden.
  • RoCE v2: Sen perusta standardissa Ethernetissä mahdollistaa laajemman yhteentoimivuuden ja helpomman integroinnin olemassa oleviin verkkoihin.
  • iWARP: Perustuu standardeihin IETF RFC -asiakirjoihin TCP/IP:lle, mikä takaa korkean yhteensopivuuden standardien IP-verkkojen sisällä.

C. Kustannustehokkuus

• Alkuinvestointi:
  • InfiniBand: Vaatii tyypillisesti suuremman alkuinvestoinnin erikoistuneen laitteiston ja lisensoinnin vuoksi. Suurissa tekoälyklustereissa InfiniBand-kytkimet voivat olla huomattavasti kalliimpia kuin RoCE-kytkimet.
  • RoCE v2: Usein kustannustehokkaampi vaihtoehto, koska se voi integroitua olemassa olevaan Ethernetiin, vähentäen uusien laitteistokustannuksia. Säästöt kytkimissä suurissa tekoälyklustereissa voivat olla merkittäviä (49–70 % verrattuna InfiniBandiin).
  • iWARP: Käyttää standardeja Ethernet-kytkimiä, mutta vaatii erikoistuneita sovittimia, jotka voivat silti olla merkittävä kustannus.
  • Standardi Ethernet: Yleensä edullisin vaihtoehto massatuotetun laitteistonsa ansiosta.
• Kokonaiskustannukset (TCO):
  • InfiniBand: On yleensä korkeammat kokonaiskustannukset erikoistuneen laitteiston, ylläpidon ja henkilöstön koulutustarpeen vuoksi.
  • RoCE v2: Voi olla alhaisemmat kokonaiskustannukset, mutta tämä on ehdollista. Häviöttömän Ethernet-verkon määrittämisen ja ylläpidon monimutkaisuus voi lisätä merkittävästi operatiivisia kustannuksia. Vaikka alkuperäiset laitteistokustannukset voivat olla alhaisemmat, suunnitteluun, vianetsintään ja ylläpitoon vaadittava erikoisosaaminen ja vaiva voivat kumota nämä säästöt. Siksi ”kustannustehokkuus” riippuu sekä laitteiston hinnasta että organisaation asiantuntemuksesta ja hallintataakasta.
  • iWARP: Integraatio- ja hallintahaasteet voivat vaikuttaa sen kokonaiskustannuksiin.

Seuraava taulukko antaa vertailevan yleiskuvan infrastruktuuri- ja kustannusnäkökohdista:

Ominaisuus	InfiniBand	RoCE v2	iWARP	Standardi Ethernet/TCP/IP
Vaadittu verkkolaitteisto	Erilliset IB NIC -kortit, IB-kytkimet, IB-kaapelit	RoCE-yhteensopivat NIC-kortit, standardit Ethernet-kytkimet/-kaapelit	iWARP-yhteensopivat NIC-kortit, standardit Ethernet-kytkimet/-kaapelit	Standardit Ethernet NIC -kortit, Ethernet-kytkimet/-kaapelit
Verkkoyhteensopivuus	Valmistajakohtainen (IBTA-standardi)	Standardi Ethernet (IEEE)	Standardi Ethernet (IETF RFC:t)	Standardi Ethernet (IEEE)
Hallinnan monimutkaisuus	Vaikea (erikoistunut SM)	Vaikea (häviöttömän Ethernetin määritys)	Vaikeampi kuin RoCE	Helppo
Alkuperäinen laitteistokustannus (suhteellinen)	Korkea	Kohtalainen (hyödyntää olemassa olevaa)	Kohtalainen (erikoistuneet NIC-kortit)	Matala
Kokonaiskustannukset (suhteellinen)	Korkeammat	Matalammat (ehdollinen hallinnalle)	Vaihteleva (integraatiohaasteet)	Matalimmat
Toimittajaekosysteemi	Rajallinen (NVIDIA/Mellanox hallitsee)	Laaja (useita Ethernet-toimittajia)	Laaja (useita Ethernet-toimittajia)	Erittäin laaja

D. Skaalautuvuus ja joustavuus

• Reititysominaisuudet:
  • InfiniBand: Käyttää kytkinpohjaista verkkoa, jonka reititystä hallinnoi keskitetysti Subnet Manager (SM). Se on erittäin skaalautuva ja tukee yli 100 000 solmun klustereita.
  • RoCE v2: Sen UDP/IP-kapselointi mahdollistaa sen reitittämisen kerroksen 3 IP-verkkojen yli, mikä tekee siitä skaalautuvan suurissa verkoissa ja pilviympäristöissä. Se tukee myös ECMP:tä tehokkaaseen kuormantasaamiseen.
  • iWARP: On reititettävissä IP-verkkojen yli.
  • Standardi Ethernet: Erittäin skaalautuva ja joustava, mutta saattaa vaatia edistyneitä määrityksiä, kuten spine-leaf-arkkitehtuureja, HPC-tason tehokkuuden saavuttamiseksi.
• Verkkotopologiat:
  • InfiniBand: Optimoitu HPC/AI-klustereille, tukien korkean suorituskyvyn topologioita, kuten Fat Tree, Dragonfly+ ja moniulotteinen Torus.
  • RoCE v2: Sen IP-pohjainen reititys tekee siitä sopeutuvan lähes mihin tahansa verkkotopologiaan.
  • Standardi Ethernet: Tukee laajaa valikoimaa topologioita, mukaan lukien tähti- ja silmukkaverkot.

E. Luotettavuus ja ruuhkien hallinta

• Luotettavuus:
  • InfiniBand: Tarjoaa natiivin, laitteistotason luotettavuuden krediittipohjaisella vuonohjauksellaan, taaten häviöttömän viestinnän.
  • RoCE v2: Perustuu häviöttömään Ethernet-määritykseen, joka käyttää PFC:tä ja ETS:ää. Se sisältää myös päästä päähän luotettavan toimitusmekanismin laitteistopohjaisella pakettien uudelleenlähetyksellä.
  • iWARP: Hyötyy TCP:n luontaisesta luotettavuudesta, joka tarjoaa virheenkorjauksen ja uudelleenlähetykset.
  • Standardi TCP/IP: Keskittyy luotettavuuteen uudelleenlähetysten kautta, mikä voi lisätä merkittävästi latenssia ja vähentää läpäisykykyä.
• Ruuhkien hallinta:
  • InfiniBand: Määrittelee omat ruuhkien hallintamekanisminsa, jotka perustuvat FECN/BECN-merkintään.
  • RoCE v2: Toteuttaa ruuhkien hallintaprotokollan käyttämällä IP ECN -bittejä ja Congestion Notification Packets (CNP) -paketteja. Myös alan käytäntöjä, kuten DCQCN, käytetään.
  • iWARP: Perustuu TCP:n vakiintuneisiin ruuhkien hallinta-algoritmeihin.

F. Soveltuvuus sovelluksiin

• InfiniBand: Ihanteellinen valinta ympäristöihin, jotka vaativat suurinta mahdollista datan läpäisykykyä ja alhaisinta latenssia. Tähän kuuluvat tieteellinen tutkimus, rahoitusmallinnus, suuret HPC-klusterit ja vaativimmat AI/ML-koulutustyökuormat.
• RoCE v2: Suosittu yrityksissä, jotka haluavat käyttää olemassa olevaa Ethernet-infrastruktuuriaan tarviten silti korkeaa suorituskykyä. Se soveltuu hyvin tallennusverkkoihin, reaaliaikaiseen analytiikkaan ja pilvipalveluihin, tarjoten tasapainon suorituskyvyn ja kustannusten välillä.
• iWARP: Voidaan harkita erikoissovelluksiin, joissa olemassa oleva TCP/IP-infrastruktuuri on ehdoton vaatimus ja äärimmäisen matala latenssi ei ole ensisijainen tavoite. Se soveltuu sovelluksiin, kuten NVMeoF, iSER, SMB Direct ja NFS over RDMA, tai edullisena vaihtoehtona testiympäristöihin.
• Standardi Ethernet/TCP/IP: Pysyy parhaana valintana yleiskäyttöiseen verkkoliikenteeseen, kuten yritysten LAN-verkkoihin ja pilvi-infrastruktuuriin, joissa äärimmäinen HPC/AI-suorituskyky ei ole päätavoite.
• Suorituskyky-kustannus-monimutkaisuus-trilemma: Tämä analyysi paljastaa perustavanlaatuisen kompromissin verkkoyhteyden valinnassa: trilemman suorituskyvyn, kustannusten ja monimutkaisuuden välillä. InfiniBand tarjoaa huippusuorituskyvyn ja natiivin luotettavuuden, mutta korkeammalla hinnalla. RoCE v2 tarjoaa lähes InfiniBand-tason suorituskyvyn Ethernetillä, mahdollisesti alentaen laitteistokustannuksia, mutta lisäten merkittävästi määritysten monimutkaisuutta. iWARP tarjoaa RDMA:n TCP:n yli, mutta heikommalla suorituskyvyllä. Standardi Ethernet on kustannustehokas, mutta siitä puuttuu suorituskyky vaativiin työkuormiin. Yhtä ”parasta” ratkaisua ei ole; oikea valinta vaatii näiden kolmen tekijän tasapainottamista erityistarpeiden ja -valmiuksien perusteella.

Seuraava taulukko hahmottelee kunkin teknologian soveltuvuutta sovelluksiin:

Teknologia	Ensisijaiset käyttötapaukset	Soveltuu parhaiten	Soveltuu heikommin
InfiniBand	HPC, AI/ML-koulutus, massadata-analytiikka, rahoituspalvelut (arbitraasi)	Ympäristöt, jotka vaativat ehdottomasti alhaisinta latenssia, suurinta kaistanleveyttä ja natiiveja häviöttömyystakuita	Kustannusherkkä yleinen yritysverkkoliikenne, ympäristöt ilman erikoistunutta IT-osaamista
RoCE v2	Datakeskukset, pilvipalvelut, tallennusverkot, reaaliaikainen analytiikka, AI/ML-päättely	Organisaatiot, jotka hyödyntävät olemassa olevaa Ethernet-infrastruktuuria korkean suorituskyvyn saavuttamiseksi; kustannusten ja suorituskyvyn tasapaino	Ympäristöt, joissa natiivit häviöttömyystakuut ovat ehdottomia ilman laajaa määritysasiantuntemusta
iWARP	NVMeoF, iSER, SMB Direct, NFS over RDMA, testi-/kehitysympäristöt	Tietyt sovellukset, jotka vaativat RDMA:ta olemassa olevan TCP/IP:n yli, kun ehdoton huippusuorituskyky ei ole kriittistä	Suuret HPC/AI-klusterit, latenssiherkät reaaliaikaiset sovellukset
Standardi Ethernet/TCP/IP	Yleinen yritysverkkoliikenne, LAN-verkot, internet-yhteydet, pilvi-infrastruktuuri	Kaikkialla läsnä oleva, kustannustehokas ja joustava yleiskäyttöinen verkkoliikenne	Suurteholaskenta, AI/ML-koulutus ja muut latenssiherkät, suoritinintensiiviset työkuormat

VII. Kehittyvät korkean suorituskyvyn verkkoyhteydet ja tulevaisuuden trendit

Korkean suorituskyvyn verkkoympäristö muuttuu jatkuvasti dataintensiivisten työkuormien ja tehokkuuden tarpeen ajamana. Vakiintuneiden RDMA-teknologioiden lisäksi uudet verkkoyhteydet ja trendit muovaavat datakeskusten tulevaisuutta.

A. Compute Express Link (CXL)

CXL on moderni verkkoyhteys, joka on rakennettu PCIe-fyysisen kerroksen päälle ja suunniteltu yleisiin laskentajärjestelmiin. Sen päätavoitteena on mahdollistaa nopea ja saumaton viestintä suorittimien ja kiihdyttimien, kuten GPU:iden ja FPGA:iden, välillä.

CXL:n keskeisiä ominaisuuksia ovat nopea tiedonsiirto, laaja yhteensopivuus ja tehokas muistin jakaminen välimuistin yhtenäisyyden (Cache Coherency) avulla. Se tukee kolmea laitetyyppiä (kiihdyttimille, välimuistiyhtenäisille laitteille ja muistin laajentajille) ja joustavia topologioita. CXL/PCIe Gen5 tarjoaa huippuläpäisykyvyn 512 Gbps ja latenssin noin 500 nanosekuntia. Vaikka InfiniBandilla on alhaisempi latenssi (noin 100 nanosekuntia), CXL on ylivoimainen matalan latenssin muistiyhteyksissä, joissa välimuistin yhtenäisyys on kriittistä.

Merkittävä kehitysaskel oli Gen-Z- ja CXL-konsortioiden yhdistyminen vuonna 2022, mikä asettaa CXL:n ainoaksi alan standardiksi tälle muistikeskeisten verkkoyhteyksien luokalle.

CXL edustaa siirtymää perinteisestä solmujen välisestä verkkoliikenteestä (kuten RoCE ja InfiniBand) kohti muistin yhtenäisyyttä ja resurssien eriyttämistä. Tämä tarkoittaa, että tietyissä työkuormissa CXL:stä voi tulla ensisijainen verkkoyhteys, joka täydentää tai vähentää perinteisten verkkoratkaisujen tarvetta.

B. NVLink

NVLink on NVIDIAn valmistajakohtainen, suuren kaistanleveyden ja matalan latenssin verkkoyhteys, joka on suunniteltu suoraan GPU-GPU- ja GPU-CPU-viestintään sen kiihdytetyissä laskenta-alustoissa.

NVLink on keskeinen osa NVIDIAn ratkaisuja tekoälyyn ja suurteholaskentaan, kuten sen GB200- ja GB300-arkkitehtuureissa. Se on ratkaisevan tärkeä tekoälymallien koulutuksen skaalaamisessa tarjoamalla erittäin nopeita datasiirtoja GPU:iden välillä.

NVLink osoittaa suuntausta kohti vertikaalista integraatiota ja erikoistunutta suorituskykyä. Sen valmistajakohtainen luonne on vastakohta avoimille standardeille, kuten RoCE:lle tai InfiniBandille. Tämä suunnittelu maksimoi suorituskyvyn yhden toimittajan laitepinon sisällä. Vaikka InfiniBand ja RoCE hoitavat yleistä verkkoliikennettä solmujen välillä, NVLink optimoi viestinnän GPU-järjestelmien sisällä ja välillä, luoden porrastetun verkkoyhteysarkkitehtuurin, jossa eri teknologiat palvelevat eri tarpeita.

C. Tulevaisuuden Ethernet-nopeudet

Ethernet on kehittynyt 10 Mbps:stä 400 Gbps:iin, ja kehitys jatkuu 800GbE- ja 1.6TbE-standardien ollessa näköpiirissä. Nämä nopeammat yhteydet ovat välttämättömiä seuraavan sukupolven sovelluksille, kuten kvanttilaskennalle, edistyneelle tekoälylle ja immersiivisille teknologioille.

Jatkuva Ethernet-nopeuksien kasvu hyödyttää suoraan RoCE:a. Koska RoCE on rakennettu Ethernetin päälle, se hyötyy automaattisesti näistä edistysaskelista, mikä auttaa sitä pysymään kilpailukykyisenä InfiniBandia vastaan. Pilvipalveluiden kasvu vauhdittaa jo 200GbE:n ja 400GbE:n käyttöönottoa, ja 800GbE ja 1.6TbE ovat seuraavina vuorossa.

Ethernetin ja RoCE:n jatkuva relevanssi ovat tiiviisti sidoksissa toisiinsa. Kun Ethernet-nopeudet kasvavat, RoCE:sta tulee entistä vahvempi kilpailija korkean suorituskyvyn datakeskuksissa, erityisesti organisaatioille, jotka haluavat hyödyntää olemassa olevia Ethernet-investointejaan ja välttää valmistajakohtaisia ekosysteemejä.

D. Hajautettu laskenta ja fotoniikka

• Hajautettu laskenta: Tämä uusi lähestymistapa pyrkii parantamaan datakeskusten tehokkuutta eriyttämällä resurssit, kuten laskennan, tallennuksen ja muistin, perinteisistä palvelimista. Nämä resurssit kootaan sitten uudelleen joustaviksi altaiksi, jotka on yhdistetty edistyneillä verkoilla. Keskeinen seuraus on, että viestintä, joka aiemmin tapahtui palvelimen sisällä, kulkee nyt verkon yli, mikä lisää kuormitusta dramaattisesti ja tekee äärimmäisen matalasta latenssista kriittisen. Tämä trendi vahvistaa korkean suorituskyvyn verkkoyhteyksien, kuten RoCE:n ja InfiniBandin, tarvetta ja ajaa uusien, kuten CXL:n, kehitystä.
• Fotoniikka datakeskusten verkkoliikenteessä: Piifotoniikka integroi optisia komponentteja piisiruille, mikä mahdollistaa nopeat, vähävirtaiset optiset verkkoyhteydet. Tämä teknologia tarjoaa paljon nopeampia tiedonsiirtonopeuksia (yli 100 Gbps), alhaisemman latenssin ja paremman energiatehokkuuden kuin perinteinen kupari. Siitä on tulossa välttämätön vastaus datakeskusten kasvaviin liikennemääriin ja se mahdollistaa seuraavan sukupolven nopean Ethernetin.

Näiden trendien välinen suhde on symbioottinen. Hajautetut arkkitehtuurit vaativat edistynyttä verkkoliikennettä, jota verkkoyhteydet, kuten RoCE, InfiniBand ja CXL, tarjoavat. Vastaavasti tarvittavien nopeuksien saavuttaminen näille verkkoyhteyksille, erityisesti tuleville 800GbE- ja 1.6TbE-standardeille, tulee perustumaan teknologioihin, kuten piifotoniikkaan.

VIII. Suositukset ja johtopäätökset

Korkean suorituskyvyn verkkoyhteyden valinta on kriittinen strateginen päätös, jonka on oltava linjassa organisaation erityistarpeiden, budjetin, infrastruktuurin ja pitkän aikavälin vision kanssa.

• Maksimaaliseen raakaan suorituskykyyn ja kriittiseen HPC/AI-laskentaan: InfiniBand on selkeä kultainen standardi. Sen natiivi RDMA, krediittipohjainen vuonohjaus ja tarkoitukseen rakennettu suunnittelu tarjoavat alhaisimman latenssin ja suurimman läpäisykyvyn taatulla häviöttömällä suorituskyvyllä. Organisaatioiden, joilla on budjetti ja asiantuntemus, tulisi valita InfiniBand suuriin klustereihin, joissa jokainen mikrosekunti on tärkeä.
• Korkeaan suorituskykyyn yhdistettynä kustannustehokkuuteen ja Ethernet-integraatioon: RoCE v2 on vahva ja yhä suositumpi vaihtoehto. Se tarjoaa merkittäviä suorituskykyparannuksia TCP/IP:hen verrattuna ja voi lähestyä InfiniBandin suorituskykyä hyödyntämällä olemassa olevaa Ethernet-infrastruktuuria. Se on ihanteellinen organisaatioille, jotka päivittävät datakeskuksiaan ilman täydellistä uudistusta. Tämä valinta vaatii kuitenkin sitoutumista häviöttömän Ethernet-verkon huolelliseen määrittämiseen ja hallintaan.
• Erikoissovelluksiin tai vanhoihin RDMA over TCP -ympäristöihin: iWARP voi soveltua tietyissä tapauksissa, erityisesti kun olemassa olevan TCP/IP-infrastruktuurin käyttö on välttämätöntä eikä huippusuorituskyky ole ensisijainen tavoite. Sen heikompi suorituskyky ja suurempi hallinnan monimutkaisuus rajoittavat kuitenkin sen käyttöä nykyaikaisissa korkean suorituskyvyn käyttöönotoissa.
• Yleiskäyttöiseen verkkoliikenteeseen: Standardi Ethernet/TCP/IP pysyy yleisimpänä ja kustannustehokkaimpana valintana ympäristöihin, joilla ei ole äärimmäisiä suorituskykyvaatimuksia. Sen helppokäyttöisyys ja massatuotettu laitteisto tekevät siitä täydellisen yleisiin yritysverkkoihin, LAN-verkkoihin ja standardiin pilvi-infrastruktuuriin.
• Kehittyvien teknologioiden huomioiminen tulevaisuuden varmistamiseksi: Organisaatioiden tulisi seurata CXL:n kehitystä muistikeskeisissä ja hajautetuissa arkkitehtuureissa, sillä se täydentää perinteisiä verkkoratkaisuja optimoimalla resurssien yhdistämistä. Samoin NVLink on kriittinen viestinnän optimoinnissa NVIDIAn GPU-pitoisissa järjestelmissä. Nämä teknologiat osoittavat verkkoyhteyksien monipuolistumista laskentahierarkian eri kerroksille. Lisäksi 800GbE- ja 1.6TbE-Ethernetin kehitys yhdessä fotoniikan edistysaskelten kanssa tekee RoCE:sta jatkossakin entistä tehokkaamman vaihtoehdon.

Lopuksi voidaan todeta, että korkean suorituskyvyn verkkoympäristö on monimutkainen, ja sitä ajavat tekoälyn, HPC:n ja hajautetun laskennan vaatimukset. Vaikka InfiniBand johtaa absoluuttisessa suorituskyvyssä erikoistuneissa ympäristöissä, RoCE v2 tarjoaa tehokkaan ja joustavan vaihtoehdon, joka yhdistää RDMA:n edut Ethernetin kaikkialla läsnäoloon. CXL:n ja NVLinkin nousu osoittaa verkkoyhteyksien strategista monipuolistumista, joka optimoi eri viestintäkerroksia. Optimaalinen ratkaisu on aina strateginen tasapaino suorituskykyvaatimusten, kustannusten, olemassa olevan infrastruktuurin ja tulevaisuuteen suuntautuvan vision välillä.