Eine umfassende Analyse von Hochleistungs-Interconnects: RoCE v2, InfiniBand, iWARP und aufkommende Alternativen für moderne Rechenzentren

I. Zusammenfassung

Moderne Rechenzentren müssen anspruchsvolle Workloads wie High-Performance Computing (HPC), künstliche Intelligenz/maschinelles Lernen (KI/ML) und Big-Data-Analysen unterstützen. Diese Anwendungen erfordern extrem niedrige Latenz, hohe Bandbreite und minimale CPU-Auslastung. Herkömmliche Netzwerkprotokolle wie TCP/IP können diese Anforderungen aufgrund ihres hohen Overheads und ihrer Latenz nicht erfüllen.

Remote Direct Memory Access (RDMA) ist die Schlüsseltechnologie, die Hochleistungs-Interconnects ermöglicht. RDMA erlaubt vernetzten Computern, Daten direkt zwischen ihren Speichern zu übertragen, ohne die Betriebssysteme oder CPUs einzubeziehen (Memory-to-Memory). Dieser Prozess reduziert die Latenz und die CPU-Last drastisch.

• InfiniBand ist eine speziell entwickelte, proprietäre Fabric, die für höchstmögliche Leistung und nativen verlustfreien Betrieb konzipiert ist.
• RoCE v2 (RDMA over Converged Ethernet) wendet die Vorteile von RDMA auf Standard-Ethernet an und bietet eine routbare und kostengünstigere Option, erfordert jedoch spezielle Konfigurationen, um verlustfrei zu sein.
• iWARP ist eine weitere RDMA-über-Ethernet-Lösung, die auf TCP basiert, aber im Allgemeinen weniger verbreitet ist und eine geringere Leistung als RoCE v2 bietet.

Die Wahl des richtigen Interconnects ist eine strategische Entscheidung, die von Leistungsanforderungen, Budget, bestehender Infrastruktur und Skalierbarkeitszielen abhängt. Dieser Bericht analysiert diese Technologien, vergleicht sie mit Standard-Ethernet/TCP/IP und untersucht neue Alternativen wie CXL und NVLink, um diese wichtige Entscheidung zu unterstützen.

II. Einführung in Hochleistungsnetzwerke und RDMA

Die heutige digitale Welt ist durch ein exponentielles Wachstum datenintensiver Anwendungen wie High-Performance Computing (HPC), künstliche Intelligenz/maschinelles Lernen (KI/ML) und Big-Data-Analysen gekennzeichnet. Diese Workloads müssen riesige Datenmengen schnell und effizient zwischen Rechenknoten und Speicher verschieben. KI-Anwendungen sind beispielsweise sehr empfindlich gegenüber der Datenintegrität und erfordern verlustfreie Netzwerke, in denen eine einzige verlorene Nachricht einen gesamten Trainingslauf ruinieren könnte. Datenverkehr mit hoher Bandbreite ist für diese Anwendungen ebenfalls unerlässlich, um Daten effizient zu verarbeiten.

Grenzen von traditionellem TCP/IP-Ethernet für Hochleistungsanwendungen

Obwohl es für allgemeine Netzwerkanwendungen zuverlässig ist, hat traditionelles TCP/IP-Ethernet erhebliche Einschränkungen für Hochleistungsanwendungen:

• Hohe Latenz und CPU-Overhead: Das Design von TCP/IP sendet Daten durch mehrere Softwareschichten im Betriebssystemkern, was eine erhebliche Beteiligung der CPU erfordert. Dieser Prozess fügt beträchtliche Latenz hinzu (typischerweise mehrere zehn Mikrosekunden) und belastet die CPU stark. Für latenzempfindliche Anwendungen wird dies zu einem großen Engpass, da die CPU ihre Zeit mit der Verwaltung des Netzwerkverkehrs verbringt, anstatt die Anwendung auszuführen. Diese „CPU-Steuer“ durch Kontextwechsel und Datenkopieren ist ein Hauptgrund für die Einführung von RDMA-Technologien, die die Netzwerkverarbeitung auslagern und die CPU für Anwendungsaufgaben freigeben.
• Durchsatzbeschränkungen: Mehrere Faktoren begrenzen den effektiven Durchsatz von TCP, darunter die Größe des Übertragungsfensters, die Segmentgröße und Paketverluste. Die Standardgröße des TCP-Fensters (oft auf 65.535 Bytes begrenzt) kann die volle Nutzung von Verbindungen mit hoher Bandbreite verhindern, insbesondere in Netzwerken mit höherer Latenz. Darüber hinaus führt der zentrale Zuverlässigkeitsmechanismus von TCP – die Paketneuübertragung – zu Verzögerungen und verbraucht zusätzliche Bandbreite, was die Leistung in überlasteten oder verlustbehafteten Netzwerken beeinträchtigt.
• Herausforderungen bei der Skalierbarkeit: Obwohl TCP/IP für große Netzwerke gut skaliert, priorisiert sein Design die allgemeine Zuverlässigkeit gegenüber der reinen Leistung. Dies macht es weniger effektiv für Szenarien, die extremen Durchsatz und minimale Latenz erfordern, wie z. B. große HPC-Cluster oder Echtzeit-KI-Inferenz.

Grundlagen von Remote Direct Memory Access (RDMA) und seine Hauptvorteile

Remote Direct Memory Access (RDMA) wurde entwickelt, um die Einschränkungen von TCP/IP in Hochleistungsumgebungen zu überwinden. Seine Hauptvorteile ergeben sich aus der Umgehung der CPU und des Betriebssystems bei Datenübertragungen:

• Direkter Speicherzugriff (Zero-Copy): RDMA überträgt Daten direkt vom Speicher eines Computers in den eines anderen, ohne die CPU oder das Betriebssystem beider Systeme einzubeziehen. Dieser „Zero-Copy“-Ansatz eliminiert zwischengeschaltete Datenpuffer und Kontextwechsel, die Hauptursachen für Overhead in herkömmlichen Netzwerken sind.
• Reduzierte Latenz und CPU-Last: Durch die Umgehung von CPU und Betriebssystem reduziert RDMA die Kommunikationslatenz drastisch und gibt CPU-Zyklen frei. Dies führt direkt zu schnelleren Berechnungen und einer besseren Echtzeit-Datenverarbeitung. Beispielsweise kann die Anwendungslatenz von etwa 50 Mikrosekunden bei TCP/IP auf nur 2–5 Mikrosekunden mit RDMA sinken.
• Höhere Bandbreitennutzung: Der effiziente Datenpfad und der reduzierte Overhead von RDMA ermöglichen es Anwendungen, die verfügbare Netzwerkbandbreite besser zu nutzen, was zu einem höheren effektiven Durchsatz führt.
• Wichtige Implementierungen: Die heute hauptsächlich verwendeten RDMA-Technologien sind InfiniBand, RoCE (Versionen 1 und 2) und iWARP.

III. RoCE v2: RDMA über konvergentes Ethernet

RoCE v2 ist ein bedeutender Fortschritt in der Hochleistungsvernetzung, der die Vorteile von RDMA auf das weit verbreitete Ethernet-Ökosystem ausdehnt.

A. Architektonische Prinzipien

• Evolution von RoCE v1: RoCE v1 war ein Layer-2-Protokoll (Ethertype 0x8915), was es auf eine einzelne Ethernet-Broadcast-Domäne beschränkte und seine Skalierbarkeit einschränkte. RoCE v2 löst dieses Problem, indem es auf der Internetschicht arbeitet. Es kapselt RDMA-Verkehr in UDP/IP-Pakete (unter Verwendung des UDP-Zielports 4791), was es über Layer-3-IP-Netzwerke routbar macht. Diese Routbarkeit ist eine entscheidende Verbesserung, die es RoCE v2 ermöglicht, in großen Rechenzentren und Cloud-Umgebungen eingesetzt zu werden.
• Integration von RDMA über Ethernet: RoCE bietet eine Methode zur Durchführung von RDMA über ein Standard-Ethernet-Netzwerk. Es ersetzt effektiv die InfiniBand-Netzwerkschicht durch IP- und UDP-Header, während die Kern-InfiniBand-Transportschicht und das RDMA-Protokoll beibehalten werden. Dieses Design ermöglicht es RoCE, die vorhandene Ethernet-Infrastruktur zu nutzen.
• Paketformat: Ein RoCE-v2-Paket enthält einen IP-Header und einen UDP-Header, die das RDMA-Transportprotokoll einkapseln. Obwohl UDP keine Paketreihenfolge garantiert, verlangt der RoCE-v2-Standard, dass Pakete mit demselben Quellport und derselben Zieladresse nicht neu geordnet werden dürfen.
• Der Kompromiss des „Besten aus beiden Welten“: Das Design von RoCE v2 ist ein strategischer Kompromiss, der darauf abzielt, die hohe Leistung von RDMA auf der flexiblen, kostengünstigen und allgegenwärtigen Ethernet-Plattform bereitzustellen. Obwohl dieser Ansatz eine breite Kompatibilität bietet, schafft er eine entscheidende Herausforderung: die Sicherstellung der verlustfreien Leistung, die RDMA benötigt, über ein Ethernet-Netzwerk, das von Natur aus verlustbehaftet ist.

B. Leistungsprofil

• Latenz: RoCE Host Channel Adapter (HCAs) können sehr niedrige Latenzen von bis zu 1,3 Mikrosekunden erreichen. Auf Anwendungsebene reduziert RoCE die Latenz auf etwa 5 Mikrosekunden, eine enorme Verbesserung gegenüber den 50 Mikrosekunden, die für TCP/IP typisch sind. Obwohl InfiniBand eine etwas geringere native Latenz bietet, ist die Leistung von RoCE für Echtzeitanwendungen ausgezeichnet.
• Bandbreite: RoCE v2 unterstützt hohe Bandbreiten mit Geschwindigkeiten von bis zu 400 Gbit/s pro Port.
• CPU-Auslagerung: Wie andere RDMA-Protokolle umgeht RoCE die CPU für Datenübertragungen. Diese Auslagerung gibt wertvolle CPU-Ressourcen für rechenintensive Aufgaben anstelle der Netzwerkverarbeitung frei.
• Verlustfreie Leistung: Um die Leistung von InfiniBand zu erreichen, ist RoCE auf ein verlustfreies Ethernet-Netzwerk angewiesen. Dies wird typischerweise durch die Implementierung von Data Center Bridging (DCB)-Funktionen erreicht, insbesondere Priority Flow Control (PFC) und Explicit Congestion Notification (ECN).

C. Infrastruktur und Verwaltung

• Hardware-/Software-Anforderungen: RoCE funktioniert mit Standard-Ethernet-Hardware wie Switches und Kabeln, sodass Unternehmen ihre vorhandene Infrastruktur nutzen können. Es erfordert jedoch RoCE-fähige Host Channel Adapter (HCAs) an den Endpunkten. Die Software-Unterstützung ist ausgereift, mit Implementierungen in Mellanox OFED 2.3+ und Integration in den Linux-Kernel v4.5+.
• Konfiguration für verlustfreie Netzwerke: Obwohl RoCE Standard-Ethernet verwendet, kann die Erstellung eines verlustfreien DCB-Netzwerks komplexer sein als die Einrichtung eines InfiniBand-Netzwerks. Jede Komponente, von den Endpunkten bis zu den Switches, muss sorgfältig konfiguriert werden. Dazu gehört die Einrichtung von Priority Flow Control (PFC), Enhanced Transmission Selection (ETS) und Mechanismen zur Überlastungsbenachrichtigung. Um über Layer-3-Netzwerke zu funktionieren, müssen diese verlustfreien Eigenschaften über Router hinweg beibehalten werden, oft durch die Zuordnung von Layer-2-Prioritätseinstellungen zu Layer-3-DSCP-QoS-Einstellungen.
• Überlegungen zur Verwaltung: RoCE kann mit Standard-Ethernet-Tools verwaltet werden. Die Gewährleistung einer konsistenten verlustfreien Leistung und die Verwaltung von Überlastungen in großen RoCE-v2-Implementierungen können jedoch eine Herausforderung darstellen und erfordern spezielles Fachwissen.
• Die versteckten Kosten der „Kosteneffizienz“: RoCE wird oft als „kosteneffektiv“ bezeichnet, da es vorhandene Ethernet-Infrastruktur nutzen kann, aber das ist eine Vereinfachung. Um eine Leistung wie bei InfiniBand zu erreichen, ist ein perfekt konfiguriertes verlustfreies Ethernet-Netzwerk erforderlich. Die Komplexität der Einrichtung von Data Center Bridging (DCB)-Funktionen wie PFC und ECN kann viel höher sein als die Konfiguration eines InfiniBand-Netzwerks. Diese Komplexität führt zu höheren Betriebskosten für Netzwerkdesign, Fehlerbehebung und Verwaltung und kann teurere Ethernet-Switches erfordern. Infolgedessen könnten die anfänglichen Hardware-Einsparungen durch RoCE durch diese höheren Betriebskosten zunichtegemacht werden. Eine gründliche Analyse der Gesamtbetriebskosten (TCO) ist für einen genauen Vergleich unerlässlich.

D. Hauptanwendungen

RoCE v2 ist eine ausgezeichnete Lösung für viele Rechenzentrums- und Unternehmensanwendungen. Es eignet sich besonders gut für Umgebungen, die extrem niedrige Latenz und hohen Durchsatz benötigen, wie z. B. KI-Workloads, Hochfrequenzhandel und Echtzeitanalysen. Es verbessert auch die Leistung von Anwendungen, die stark auf Datenbanken oder Datei-I/O angewiesen sind. Darüber hinaus unterstützt RoCE v2 die Geschäftskontinuität und Notfallwiederherstellung, indem es eine schnelle und effiziente Datenreplikation ermöglicht. Seine weit verbreitete Verwendung in KI-Trainingsclustern unterstreicht seine Bedeutung im modernen Computing.

IV. InfiniBand: Die spezialisierte Hochleistungs-Fabric

InfiniBand ist ein erstklassiger Hochleistungs-Interconnect, der von Anfang an darauf ausgelegt wurde, unübertroffene Geschwindigkeit, minimale Latenz und hohe Zuverlässigkeit für anspruchsvolle Computerumgebungen zu bieten.

A. Architektonische Prinzipien

• Natives RDMA: InfiniBand wurde mit RDMA entwickelt, das in seinen gesamten Protokollstapel integriert ist, von der physikalischen Schicht aufwärts. Dieses von Grund auf neue Design stellt sicher, dass RDMA-Operationen hocheffizient sind und direkte und geschützte Datenkanäle zwischen Knoten ohne CPU-Beteiligung schaffen.
• Switched-Fabric-Topologie: InfiniBand verwendet eine Switched-Fabric-Topologie für direkte Punkt-zu-Punkt-Verbindungen zwischen Geräten. Die Architektur umfasst Host Channel Adapter (HCAs) auf Prozessoren und Target Channel Adapter (TCAs) auf Peripheriegeräten, was eine effiziente Kommunikation ermöglicht.
• Kreditbasierte Flusskontrolle: Ein Kernmerkmal von InfiniBand ist seine kreditbasierte Flusskontrolle. Dieser Algorithmus auf Hardwareebene garantiert eine verlustfreie Kommunikation, indem er sicherstellt, dass ein Sender Daten nur dann überträgt, wenn der Empfänger über genügend Pufferspeicher (Credits) verfügt, um sie anzunehmen. Diese native Zuverlässigkeit verhindert Paketverluste und unterscheidet InfiniBand von Technologien, die Konfigurationen auf höheren Schichten benötigen, um verlustfrei zu sein.
• Proprietäre Standards: InfiniBand folgt proprietären Standards, die von der InfiniBand Trade Association (IBTA) definiert wurden, die 1999 gegründet wurde. Das Ökosystem wird stark von NVIDIA (durch die Übernahme von Mellanox) dominiert, einem führenden Hersteller von InfiniBand-Adaptern und -Switches.

B. Leistungsprofil

• Extrem niedrige Latenz: InfiniBand bietet durchweg die niedrigste Latenz. Die Latenz von Adaptern kann nur 0,5 Mikrosekunden betragen, und die Port-zu-Port-Latenz von Switches liegt bei etwa 100 Nanosekunden – deutlich niedriger als die 230 Nanosekunden vergleichbarer Ethernet-Switches. Auf Anwendungsebene kann InfiniBand Latenzen von nur 2 Mikrosekunden erreichen, im Vergleich zu den 50 Mikrosekunden von TCP/IP.
• Fähigkeiten für hohen Durchsatz: InfiniBand unterstützt extrem hohe Datenraten. Moderne Versionen wie HDR und NDR bieten bis zu 200 Gbit/s bzw. 400 Gbit/s pro Lane. Aggregierte Verbindungen können einen noch höheren Durchsatz erzielen und 800 Gbit/s (NDR) und sogar 1,6 Tbit/s (XDR) erreichen.
• CPU-Effizienz: Eine wesentliche Stärke von InfiniBand ist seine Fähigkeit, extrem niedrige Latenz und extrem hohe Bandbreite bei fast keiner CPU-Auslastung zu liefern. Diese Auslagerung der Netzwerkverarbeitung ist ein entscheidender Vorteil für rechenintensive Workloads.
• Leistung durch Design vs. Leistung durch Konfiguration: InfiniBand und RoCE unterscheiden sich grundlegend in ihrem Ansatz. InfiniBand wurde von Grund auf für RDMA entworfen, wobei seine physikalischen und Transportschichten für Zuverlässigkeit auf Hardwareebene entwickelt wurden, einschließlich eines nativen kreditbasierten Algorithmus für verlustfreie Kommunikation. Im Gegensatz dazu läuft RoCE auf Standard-Ethernet und verlässt sich auf die Konfiguration von Funktionen wie Priority Flow Control (PFC) und Explicit Congestion Notification (ECN), um ein verlustfreies Netzwerk zu schaffen. Dies bedeutet, dass InfiniBand eine garantierte hohe Leistung sofort bietet, während die Leistung von RoCE von der Qualität der zugrunde liegenden Ethernet-Konfiguration abhängt.

C. Infrastruktur und Verwaltung

• Dedizierte Hardware: InfiniBand erfordert spezialisierte Hardware, einschließlich dedizierter Host Channel Adapter (HCAs), Switches, Router und proprietärer Kabel. Dies führt typischerweise zu einer höheren Anfangsinvestition im Vergleich zu Ethernet-basierten Lösungen.
• Zentralisierte Verwaltung: InfiniBand-Netzwerke werden von einem zentralen Subnet Manager (SM) verwaltet, der Weiterleitungstabellen berechnet und verteilt sowie Konfigurationen wie Partitionen und Quality of Service (QoS) verwaltet. Dieser zentralisierte Ansatz kann die Verwaltung in großen Clustern nach der Ersteinrichtung vereinfachen.
• Spezialisiertes Fachwissen: Die Bereitstellung und Wartung von InfiniBand-Netzwerken erfordert in der Regel spezielles Wissen, was die Betriebskosten erhöhen und eine steilere Lernkurve für IT-Mitarbeiter bedeuten kann.
• Ökosystem: Das InfiniBand-Ökosystem ist ausgereift, wird aber von NVIDIA/Mellanox dominiert.

D. Hauptanwendungen

InfiniBand ist der Industriestandard für High-Performance Computing (HPC)-Umgebungen und der am schnellsten wachsende Interconnect für diese Anwendungen. Es ist die primäre Technologie, die von der IBTA empfohlen wird. Seine extrem niedrige Latenz und hohe Bandbreite sind unerlässlich für anspruchsvolle Workloads wie das Training großer KI/ML-Modelle, Big-Data-Analysen und massive Datenbankoperationen. Es ist auch entscheidend für große Simulationen (z. B. Wettervorhersage) und Hochfrequenz-Finanzdienstleistungen, bei denen Geschwindigkeit und Datenintegrität von entscheidender Bedeutung sind. Im Juni 2022 nutzten 62 % der Top-100-Supercomputer der Welt InfiniBand.

V. iWARP: RDMA über Standard-TCP/IP

iWARP (Internet Wide Area RDMA Protocol) ist eine weitere Methode zur Implementierung von RDMA, die sich durch die Verwendung des Standard-TCP/IP-Protokollstapels auszeichnet.

A. Architektonische Prinzipien

• RDMA über TCP/IP: iWARP ist ein Protokoll, das RDMA über Standard-IP-Netzwerke implementiert. Im Gegensatz zu RoCE, das UDP verwendet, basiert iWARP auf zuverlässigen Transportprotokollen wie TCP und SCTP.
• Schlüsselkomponenten: Der Betrieb von iWARP beruht auf mehreren Komponenten. Das Direct Data Placement Protocol (DDP) ermöglicht eine Zero-Copy-Übertragung, indem Daten direkt in den Speicher einer Anwendung platziert werden. Das Remote Direct Memory Access Protocol (RDMAP) stellt die Dienste für RDMA-Lese- und Schreiboperationen bereit. Eine spezielle Anpassungsschicht, Marker PDU Aligned (MPA) Framing, ist erforderlich, um DDP über TCP zu ermöglichen.
• Zuverlässigkeit: Ein einzigartiges Merkmal von iWARP ist, dass seine Zuverlässigkeit durch das zugrunde liegende TCP-Protokoll bereitgestellt wird. Dies unterscheidet sich von RoCE v2, das UDP verwendet und externe Mechanismen wie Data Center Bridging (DCB) für die Zuverlässigkeit benötigt. Infolgedessen unterstützt iWARP nur zuverlässige, verbundene Kommunikation.

B. Leistungsprofil

• Vergleichende Latenz und Durchsatz: Obwohl iWARP eine geringere Latenz als traditionelles TCP/IP aufweist, ist seine Leistung im Allgemeinen schlechter als die von RoCE. Im Jahr 2011 betrug die niedrigste iWARP-HCA-Latenz 3 Mikrosekunden, während RoCE-HCAs 1,3 Mikrosekunden erreichten. Benchmarks zeigen durchweg, dass RoCE Nachrichten viel schneller als iWARP zustellt, mit einem mehr als 2-fach höheren Durchsatz bei 40GbE und einem 5-fach höheren bei 10GbE.
• CPU-Auslagerung: Wie andere RDMA-Protokolle minimiert iWARP die CPU-Last, indem es direkte Speicherübertragungen ermöglicht. Es kann TCP Offload Engines (TOE) mit RDMA-Hardware verwenden, um Zero-Copy-Ergebnisse zu erzielen und die CPU-Beteiligung weiter zu reduzieren.

C. Infrastruktur und Verwaltung

• Kompatibilität mit Standard-Ethernet: Ein großer Vorteil von iWARP ist seine Fähigkeit, über eine Standard-Ethernet-Infrastruktur mit minimalen Änderungen am bestehenden Netzwerk zu laufen. Dies ermöglicht es Unternehmen, ihre aktuellen Investitionen zu nutzen.
• Hardware-Anforderungen: Trotz seiner Kompatibilität mit Standard-Ethernet-Switches erfordert iWARP dennoch iWARP-fähige Netzwerkkarten an den Endpunkten.
• Integrationsaspekte: iWARP ist in wichtige Betriebssysteme wie Microsoft Windows Server und moderne Linux-Kernel integriert. Dies unterstützt Anwendungen wie SMB Direct, iSCSI Extensions for RDMA (iSER) und Network File System over RDMA (NFS over RDMA).
• Herausforderungen bei der Verwaltung: Die Verwaltung von iWARP-Verkehr kann schwierig sein. Es teilt sich den Port-Bereich von TCP, was die Flussverwaltung erschwert und es schwierig macht, RDMA-Verkehr zu identifizieren. Insgesamt gilt iWARP als schwieriger zu verwalten als RoCE.

D. Marktrelevanz

• Begrenzte Akzeptanz: iWARP ist eine „ungewöhnliche“ oder „weniger häufig verwendete“ RDMA-Implementierung im Vergleich zu InfiniBand und RoCE v2. Seine Lösungen hatten aufgrund von Herausforderungen bei der Implementierung und Bereitstellung „begrenzten Erfolg“.
• Das Paradox der TCP-Abhängigkeit: Die Designentscheidung von iWARP, RDMA über TCP zu schichten, bietet integrierte Zuverlässigkeit und Kompatibilität, verhindert aber paradoxerweise, dass es die Kernvorteile von RDMA vollständig erreicht. Der inhärente Overhead des TCP-Protokolls, selbst mit Hardware-Auslagerung, scheint iWARP daran zu hindern, die extrem niedrige Latenz und den hohen Durchsatz von InfiniBand oder RoCE zu erreichen. Dieser Leistungskompromiss hat zu seiner begrenzten Marktakzeptanz geführt.

VI. Vergleichende Analyse: RoCE v2 vs. InfiniBand vs. iWARP vs. Standard-Ethernet

Ein detaillierter Vergleich von Leistungs-, Infrastruktur- und Betriebsmetriken ist entscheidend für die Auswahl des richtigen Hochleistungs-Interconnects.

A. Leistungsbenchmarks

Die Leistung dieser Interconnects unterscheidet sich stark, insbesondere in Bezug auf Latenz, Bandbreite und CPU-Auslastung.

• Latenz:
  • InfiniBand: Bietet die niedrigste Latenz. Die Port-zu-Port-Latenz des Switches liegt bei etwa 100 Nanosekunden, während die Adapterlatenz nur 0,5 bis 1,3 Mikrosekunden beträgt. Die Latenz auf Anwendungsebene kann nur 2 Mikrosekunden betragen.
  • RoCE v2: Bietet extrem niedrige Latenz. Die Latenz von Ethernet-Switches liegt bei etwa 230 Nanosekunden, während die HCA-Latenz nur 1,3 Mikrosekunden betragen kann. Die Latenz auf Anwendungsebene liegt typischerweise bei etwa 5 Mikrosekunden.
  • iWARP: Hat eine höhere Latenz als RoCE, mit einer HCA-Latenz von etwa 3 Mikrosekunden (Daten von 2011). Es schneidet durchweg schlechter ab als RoCE.
  • Standard-TCP/IP: Hat die höchste Latenz, mit einer Einweglatenz von 10 bis 55 Millisekunden. Die Latenz auf Anwendungsebene liegt typischerweise bei etwa 50 Mikrosekunden.
• Bandbreite:
  • InfiniBand: Unterstützt sehr hohe Bandbreiten. Moderne Versionen wie NDR bieten bis zu 400 Gbit/s pro Port, und XDR erreicht bis zu 800 Gbit/s. Zukünftiges GDR wird voraussichtlich 1,6 Tbit/s erreichen.
  • RoCE v2: Kann hohe Bandbreiten unterstützen, bis zu 400 Gbit/s pro Port.
  • iWARP: Hat im Allgemeinen einen geringeren Durchsatz als RoCE.
  • Standard-TCP/IP: Der Durchsatz ist oft durch Protokoll-Overhead und Neuübertragungen begrenzt, was es schwierig macht, Verbindungen mit hoher Bandbreite effizient zu nutzen.
• CPU-Auslagerung:
  • InfiniBand, RoCE v2, iWARP: Alle drei RDMA-Technologien lagern erhebliche CPU-Arbeit aus, indem sie das Betriebssystem umgehen, wodurch CPU-Ressourcen für andere Aufgaben freigegeben werden.
  • Standard-TCP/IP: Verursacht eine hohe CPU-Last, da der Kernel stark an der Datenverarbeitung beteiligt ist.
• Verlustfreier Mechanismus:
  • InfiniBand: Bietet eine native, kreditbasierte Flusskontrolle auf Hardwareebene, die eine verlustfreie Kommunikation garantiert.
  • RoCE v2: Basiert auf einer verlustfreien Ethernet-Konfiguration unter Verwendung von Data Center Bridging (DCB)-Funktionen wie PFC und ECN. Es verfügt auch über einen Ende-zu-Ende-zuverlässigen Zustellungsmechanismus mit hardwarebasierten Neuübertragungen.
  • iWARP: Nutzt den integrierten zuverlässigen Transport von TCP für die Datenintegrität.
  • Standard-TCP/IP: Verwendet ein Best-Effort-Zustellungsmodell und verlässt sich auf Neuübertragungen auf höheren Schichten, um die Zuverlässigkeit zu gewährleisten, was die Latenz erhöht.

Die folgende Tabelle fasst die Leistungsmerkmale zusammen:

Merkmal	InfiniBand	RoCE v2	iWARP	Standard-Ethernet/TCP/IP
Kerntechnologie	Natives RDMA	RDMA über Ethernet (UDP/IP)	RDMA über Ethernet (TCP/IP)	Traditionelles Schichtenprotokoll
Typische Anwendungslatenz (µs)	2	5	>3 (2011 HCA)	50
Switch-Port-zu-Port-Latenz (ns)	100	230	N/A (basiert auf Ethernet)	Typischerweise höher, variabel
Max. Bandbreite (Gbit/s pro Port/Link)	400 (NDR), 800 (XDR), 1,6T (GDR)	400	Im Allgemeinen niedriger als RoCE	400+ (aber durch Protokoll-Overhead begrenzt)
CPU-Overhead	Nahezu Null	Sehr niedrig	Niedrig	Hoch
Verlustfreier Mechanismus	Native kreditbasierte Flusskontrolle	Erfordert verlustfreies Ethernet (PFC, ECN)	Zuverlässiger Transport von TCP	Best-Effort, verlässt sich auf Neuübertragungen
Routbarkeit (L2/L3)	L3 (über Subnet Manager)	L3 (Routable RoCE)	L3	L3 (Standard-IP-Routing)

B. Infrastruktur und Ökosystem

• Hardware-Abhängigkeiten:
  • InfiniBand: Erfordert einen vollständigen Satz spezialisierter Hardware, einschließlich InfiniBand-HCAs, -Switches und proprietärer Kabel.
  • RoCE v2: Erfordert RoCE-fähige HCAs, funktioniert aber über Standard-Ethernet-Switches und -Kabel, was die Integration in bestehende Netzwerke ermöglicht.
  • iWARP: Erfordert iWARP-fähige Netzwerkkarten, kann aber Standard-Ethernet-Switches verwenden.
  • Standard-Ethernet: Verwendet weit verbreitete, handelsübliche Ethernet-NICs und -Switches.
• Herstellerabhängigkeit (Vendor Lock-in):
  • InfiniBand: Das Ökosystem ist begrenzt und wird von Mellanox (NVIDIA) dominiert, was Bedenken hinsichtlich einer Herstellerabhängigkeit aufwerfen kann.
  • RoCE v2: Profitiert von einem großen und wettbewerbsintensiven Ethernet-Ökosystem mit mehreren Anbietern. Einige bieten „Universal RDMA“-NICs an, die sowohl RoCE als auch iWARP unterstützen und so die Abhängigkeit verringern.
  • iWARP: Profitiert ebenfalls vom breiten Ethernet-Ökosystem mit Unterstützung von Anbietern wie Intel und Chelsio.
• Interoperabilität:
  • InfiniBand: Als proprietärer Standard müssen alle Komponenten den IBTA-Spezifikationen entsprechen, um ihre Zusammenarbeit zu gewährleisten.
  • RoCE v2: Seine Grundlage auf Standard-Ethernet ermöglicht eine breitere Interoperabilität und eine einfachere Integration in bestehende Netzwerke.
  • iWARP: Basiert auf Standard-IETF-RFCs für TCP/IP, was eine hohe Kompatibilität innerhalb von Standard-IP-Netzwerken gewährleistet.

C. Kosteneffizienz

• Anfangsinvestition:
  • InfiniBand: Erfordert in der Regel eine höhere Anfangsinvestition aufgrund spezialisierter Hardware und Lizenzierung. Für große KI-Cluster können InfiniBand-Switches erheblich teurer sein als RoCE-Switches.
  • RoCE v2: Oft eine kostengünstigere Option, da es in bestehendes Ethernet integriert werden kann, was die Kosten für neue Hardware reduziert. Die Einsparungen bei Switches für große KI-Cluster können erheblich sein (49 % bis 70 % im Vergleich zu InfiniBand).
  • iWARP: Verwendet Standard-Ethernet-Switches, erfordert aber spezialisierte Adapter, was immer noch erhebliche Kosten verursachen kann.
  • Standard-Ethernet: Im Allgemeinen die kostengünstigste Option aufgrund seiner handelsüblichen Hardware.
• Gesamtbetriebskosten (TCO):
  • InfiniBand: Neigt zu höheren TCO aufgrund spezialisierter Hardware, Wartung und der Notwendigkeit von Personalschulungen für eine proprietäre Technologie.
  • RoCE v2: Kann niedrigere TCO haben, aber dies ist bedingt. Die Komplexität der Konfiguration und Wartung einer verlustfreien Ethernet-Fabric kann die Betriebskosten erheblich erhöhen. Während die anfänglichen Hardwarekosten niedriger sein können, können das spezielle Wissen und der Aufwand für Design, Fehlerbehebung und Wartung diese Einsparungen ausgleichen. Daher hängt die „Kosteneffizienz“ sowohl vom Hardwarepreis als auch von der Expertise und dem Verwaltungsaufwand der Organisation ab.
  • iWARP: Integrations- und Verwaltungsherausforderungen können sich auf die Gesamtbetriebskosten auswirken.

Die folgende Tabelle gibt einen vergleichenden Überblick über Infrastruktur- und Kostenaspekte:

Merkmal	InfiniBand	RoCE v2	iWARP	Standard-Ethernet/TCP/IP
Erforderliche Netzwerkhardware	Dedizierte IB-NICs, IB-Switches, IB-Kabel	RoCE-fähige NICs, Standard-Ethernet-Switches/-Kabel	iWARP-fähige NICs, Standard-Ethernet-Switches/-Kabel	Standard-Ethernet-NICs, Ethernet-Switches/-Kabel
Netzwerkkompatibilität	Proprietär (IBTA-Standard)	Standard-Ethernet (IEEE)	Standard-Ethernet (IETF-RFCs)	Standard-Ethernet (IEEE)
Verwaltungskomplexität	Schwierig (spezialisierter SM)	Schwierig (Konfig. für verlustfreies Ethernet)	Schwieriger als RoCE	Einfach
Anfängliche Hardwarekosten (relativ)	Hoch	Moderat (nutzt Vorhandenes)	Moderat (spezialisierte NICs)	Niedrig
Gesamtbetriebskosten (relativ)	Höher	Niedriger (bedingt durch Verwaltung)	Variabel (Integrationsprobleme)	Am niedrigsten
Anbieter-Ökosystem	Begrenzt (NVIDIA/Mellanox dominant)	Breit (mehrere Ethernet-Anbieter)	Breit (mehrere Ethernet-Anbieter)	Sehr breit

D. Skalierbarkeit und Flexibilität

• Routing-Fähigkeiten:
  • InfiniBand: Verwendet eine Switched Fabric mit zentral verwaltetem Routing durch einen Subnet Manager (SM). Es ist hoch skalierbar und unterstützt Cluster mit über 100.000 Knoten.
  • RoCE v2: Seine UDP/IP-Kapselung ermöglicht das Routing über Layer-3-IP-Netzwerke, was es über große Netzwerke und Cloud-Umgebungen hinweg skalierbar macht. Es unterstützt auch ECMP für eine effiziente Lastverteilung.
  • iWARP: Ist über IP-Netzwerke routbar.
  • Standard-Ethernet: Hoch skalierbar und flexibel, kann aber für HPC-ähnliche Effizienz erweiterte Konfigurationen wie Spine-Leaf-Architekturen erfordern.
• Netzwerktopologien:
  • InfiniBand: Optimiert für HPC/KI-Cluster und unterstützt Hochleistungstopologien wie Fat Tree, Dragonfly+ und mehrdimensionale Torus.
  • RoCE v2: Sein IP-basiertes Routing macht es anpassungsfähig an nahezu jede Netzwerktopologie.
  • Standard-Ethernet: Unterstützt eine breite Palette von Topologien, einschließlich Stern und Mesh.

E. Zuverlässigkeit und Überlastungskontrolle

• Zuverlässigkeit:
  • InfiniBand: Bietet native Zuverlässigkeit auf Hardwareebene mit seiner kreditbasierten Flusskontrolle, die eine verlustfreie Kommunikation garantiert.
  • RoCE v2: Basiert auf einer verlustfreien Ethernet-Konfiguration unter Verwendung von PFC und ETS. Es enthält auch einen Ende-zu-Ende-zuverlässigen Zustellungsmechanismus mit hardwarebasierter Paketneuübertragung.
  • iWARP: Profitiert von der inhärenten Zuverlässigkeit von TCP, das Fehlerkorrektur und Neuübertragungen bietet.
  • Standard-TCP/IP: Konzentriert sich auf Zuverlässigkeit durch Neuübertragungen, was erhebliche Latenz hinzufügen und den Durchsatz verringern kann.
• Überlastungskontrolle:
  • InfiniBand: Definiert eigene Überlastungskontrollmechanismen auf Basis von FECN/BECN-Markierungen.
  • RoCE v2: Implementiert ein Überlastungskontrollprotokoll unter Verwendung von IP-ECN-Bits und Congestion Notification Packets (CNPs). Branchenpraktiken wie DCQCN werden ebenfalls verwendet.
  • iWARP: Verlässt sich auf die etablierten Überlastungskontrollalgorithmen von TCP.

F. Anwendungseignung

• InfiniBand: Die ideale Wahl für Umgebungen, die höchsten Datendurchsatz und niedrigste Latenz benötigen. Dazu gehören wissenschaftliche Forschung, Finanzmodellierung, große HPC-Cluster und die anspruchsvollsten KI/ML-Trainings-Workloads.
• RoCE v2: Bevorzugt von Unternehmen, die ihre bestehende Ethernet-Infrastruktur nutzen und dennoch hohe Leistung benötigen. Es eignet sich gut für Speichernetzwerke, Echtzeitanalysen und Cloud-Dienste und bietet ein Gleichgewicht zwischen Leistung und Kosten.
• iWARP: Kann für Nischenanwendungen in Betracht gezogen werden, bei denen die bestehende TCP/IP-Infrastruktur eine strikte Anforderung ist und extrem niedrige Latenz nicht oberste Priorität hat. Es eignet sich für Anwendungen wie NVMeoF, iSER, SMB Direct und NFS über RDMA oder als kostengünstige Option für Testumgebungen.
• Standard-Ethernet/TCP/IP: Bleibt die beste Wahl für allgemeine Netzwerkanwendungen wie Unternehmens-LANs und Cloud-Infrastrukturen, bei denen extreme HPC/KI-Leistung nicht das Hauptziel ist.
• Das Trilemma aus Leistung, Kosten und Komplexität: Diese Analyse zeigt einen grundlegenden Kompromiss bei der Wahl eines Interconnects auf: ein Trilemma zwischen Leistung, Kosten und Komplexität. InfiniBand bietet Spitzenleistung und native Zuverlässigkeit, jedoch zu höheren Kosten. RoCE v2 bietet eine Leistung nahe an InfiniBand auf Ethernet, was potenziell die Hardwarekosten senkt, aber erhebliche Konfigurationskomplexität hinzufügt. iWARP bietet RDMA über TCP, jedoch mit geringerer Leistung. Standard-Ethernet ist kosteneffektiv, aber ihm fehlt die Leistung für anspruchsvolle Workloads. Es gibt keine einzelne „beste“ Lösung; die richtige Wahl erfordert das Abwägen dieser drei Faktoren basierend auf spezifischen Bedürfnissen und Fähigkeiten.

Die folgende Tabelle skizziert die Anwendungseignung für jede Technologie:

Technologie	Hauptanwendungsfälle	Am besten geeignet für	Weniger geeignet für
InfiniBand	HPC, KI/ML-Training, Big-Data-Analysen, Finanzdienstleistungen (Arbitrage)	Umgebungen, die absolut niedrigste Latenz, höchste Bandbreite und native verlustfreie Garantien erfordern	Kostensensible allgemeine Unternehmensnetzwerke, Umgebungen ohne spezialisiertes IT-Fachwissen
RoCE v2	Rechenzentren, Cloud-Dienste, Speichernetzwerke, Echtzeitanalysen, KI/ML-Inferenz	Organisationen, die vorhandene Ethernet-Infrastruktur für hohe Leistung nutzen; Gleichgewicht von Kosten und Leistung	Umgebungen, in denen native verlustfreie Garantien ohne umfassendes Konfigurationsexpertise nicht verhandelbar sind
iWARP	NVMeoF, iSER, SMB Direct, NFS über RDMA, Test-/Entwicklungsumgebungen	Spezifische Anwendungen, die RDMA über bestehendes TCP/IP erfordern, bei denen absolute Spitzenleistung nicht entscheidend ist	Große HPC/KI-Cluster, latenzempfindliche Echtzeitanwendungen
Standard-Ethernet/TCP/IP	Allgemeine Unternehmensnetzwerke, LANs, Internetkonnektivität, Cloud-Infrastruktur	Allgegenwärtige, kostengünstige und flexible allgemeine Netzwerkanwendungen	High-Performance Computing, KI/ML-Training und andere latenzempfindliche, CPU-intensive Workloads

VII. Aufkommende Hochleistungs-Interconnects und zukünftige Trends

Die Landschaft der Hochleistungsnetzwerke verändert sich ständig, angetrieben von datenintensiven Workloads und dem Bedarf an größerer Effizienz. Über etablierte RDMA-Technologien hinaus gestalten neue Interconnects und Trends die Zukunft von Rechenzentren.

A. Compute Express Link (CXL)

CXL ist ein moderner Interconnect, der auf der physikalischen Schicht von PCIe aufbaut und für allgemeine Computersysteme entwickelt wurde. Sein Hauptziel ist es, eine schnelle, nahtlose Kommunikation zwischen CPUs und Beschleunigern wie GPUs und FPGAs zu ermöglichen.

Zu den Hauptmerkmalen von CXL gehören Hochgeschwindigkeits-Datenübertragung, breite Kompatibilität und effiziente Speichernutzung durch Cache-Kohärenz. Es unterstützt drei Gerätetypen (für Beschleuniger, Cache-kohärente Geräte und Speichererweiterungen) und flexible Topologien. CXL/PCIe Gen5 bietet einen Spitzendurchsatz von 512 Gbit/s bei einer Latenz von etwa 500 Nanosekunden. Während InfiniBand eine niedrigere Latenz hat (etwa 100 Nanosekunden), ist CXL für den Speicherzugriff mit niedriger Latenz überlegen, bei dem Cache-Kohärenz entscheidend ist.

Eine wichtige Entwicklung war die Fusion der Gen-Z- und CXL-Konsortien im Jahr 2022, die CXL als einzigen Industriestandard für diese Klasse von speicherfokussierten Interconnects positioniert.

CXL stellt einen Wandel von der traditionellen Knoten-zu-Knoten-Vernetzung (wie RoCE und InfiniBand) hin zu Speicherkohärenz und Ressourcendisaggregation dar. Das bedeutet, dass CXL für bestimmte Workloads zum primären Interconnect werden könnte, der herkömmliche Netzwerk-Fabrics ergänzt oder deren Bedarf reduziert.

B. NVLink

NVLink ist NVIDIAs proprietärer Interconnect mit hoher Bandbreite und niedriger Latenz, der für die direkte GPU-zu-GPU- und GPU-zu-CPU-Kommunikation innerhalb seiner beschleunigten Computing-Plattformen entwickelt wurde.

NVLink ist ein wichtiger Bestandteil von NVIDIAs Lösungen für KI und HPC, wie z. B. seine GB200- und GB300-Architekturen. Es ist entscheidend für die Skalierung des Trainings von KI-Modellen, indem es extrem schnelle Datenübertragungen zwischen GPUs ermöglicht.

NVLink zeigt einen Trend zur vertikalen Integration und spezialisierten Leistung. Seine proprietäre Natur steht im Gegensatz zu offenen Standards wie RoCE oder InfiniBand. Dieses Design maximiert die Leistung innerhalb des Hardware-Stacks eines einzigen Anbieters. Während InfiniBand und RoCE die allgemeine Vernetzung zwischen Knoten übernehmen, optimiert NVLink die Kommunikation innerhalb und zwischen GPU-Systemen und schafft so eine gestufte Interconnect-Architektur, in der verschiedene Technologien unterschiedliche Bedürfnisse bedienen.

C. Zukünftige Ethernet-Geschwindigkeiten

Ethernet hat sich von 10 Mbit/s auf 400 Gbit/s entwickelt, und die Entwicklung geht mit 800-GbE- und 1,6-TbE-Standards am Horizont weiter. Diese schnelleren Geschwindigkeiten werden für Anwendungen der nächsten Generation wie Quantencomputing, fortschrittliche KI und immersive Technologien unerlässlich sein.

Der kontinuierliche Anstieg der Ethernet-Geschwindigkeiten kommt RoCE direkt zugute. Da RoCE auf Ethernet aufbaut, profitiert es automatisch von diesen Fortschritten, was ihm hilft, mit InfiniBand wettbewerbsfähig zu bleiben. Das Wachstum von Cloud-Diensten treibt bereits den Einsatz von 200 GbE und 400 GbE voran, wobei 800 GbE und 1,6 TbE als Nächstes folgen.

Die anhaltende Relevanz von Ethernet und RoCE sind eng miteinander verbunden. Mit fortschreitenden Ethernet-Geschwindigkeiten wird RoCE zu einem noch stärkeren Anwärter für Hochleistungsrechenzentren, insbesondere für Organisationen, die ihre bestehenden Ethernet-Investitionen nutzen und proprietäre Ökosysteme vermeiden möchten.

D. Disaggregated Computing und Photonik

• Disaggregated Computing: Dieser neue Ansatz zielt darauf ab, die Effizienz von Rechenzentren zu verbessern, indem Ressourcen wie Rechenleistung, Speicher und Arbeitsspeicher von traditionellen Servern entkoppelt werden. Diese Ressourcen werden dann in flexible Pools zusammengestellt, die durch fortschrittliche Netzwerke verbunden sind. Ein entscheidendes Ergebnis ist, dass Kommunikation, die einst innerhalb eines Servers stattfand, nun das Netzwerk durchquert, was die Last dramatisch erhöht und extrem niedrige Latenz kritisch macht. Dieser Trend verstärkt den Bedarf an Hochleistungs-Interconnects wie RoCE und InfiniBand und treibt die Entwicklung neuer wie CXL voran.
• Photonik in der Rechenzentrumsvernetzung: Silizium-Photonik integriert optische Komponenten auf Siliziumchips und ermöglicht so optische Interconnects mit hoher Geschwindigkeit und geringem Stromverbrauch. Diese Technologie bietet viel schnellere Datenübertragungsraten (über 100 Gbit/s), niedrigere Latenz und eine bessere Energieeffizienz als herkömmliches Kupfer. Sie wird unerlässlich, um den wachsenden Verkehrsanforderungen in Rechenzentren gerecht zu werden und die nächste Generation von Hochgeschwindigkeits-Ethernet zu ermöglichen.

Die Beziehung zwischen diesen Trends ist symbiotisch. Disaggregierte Architekturen erfordern fortschrittliche Netzwerke, die Interconnects wie RoCE, InfiniBand und CXL bereitstellen. Um die notwendigen Geschwindigkeiten für diese Interconnects zu erreichen, insbesondere für zukünftige 800-GbE- und 1,6-TbE-Standards, wird man sich wiederum auf Technologien wie die Silizium-Photonik verlassen müssen.

VIII. Empfehlungen und Fazit

Die Wahl eines Hochleistungs-Interconnects ist eine kritische strategische Entscheidung, die mit den spezifischen Bedürfnissen, dem Budget, der Infrastruktur und der langfristigen Vision einer Organisation übereinstimmen muss.

• Für maximale Rohleistung und geschäftskritisches HPC/KI: InfiniBand ist der klare Goldstandard. Sein natives RDMA, die kreditbasierte Flusskontrolle und das zweckgebundene Design liefern die niedrigste Latenz und den höchsten Durchsatz mit garantierter verlustfreier Leistung. Organisationen mit dem entsprechenden Budget und Fachwissen sollten InfiniBand für große Cluster wählen, bei denen jede Mikrosekunde zählt.
• Für hohe Leistung bei Kosteneffizienz und Ethernet-Integration: RoCE v2 ist eine starke und zunehmend beliebte Alternative. Es bietet erhebliche Leistungssteigerungen gegenüber TCP/IP und kann die Leistung von InfiniBand annähern, indem es vorhandene Ethernet-Infrastruktur nutzt. Es ist ideal für Organisationen, die ihre Rechenzentren ohne eine komplette Überholung aufrüsten. Diese Wahl erfordert jedoch die Verpflichtung, eine verlustfreie Ethernet-Fabric sorgfältig zu konfigurieren und zu verwalten.
• Für Nischenanwendungen oder ältere RDMA-über-TCP-Umgebungen: iWARP kann in spezifischen Fällen geeignet sein, insbesondere wenn die Nutzung der bestehenden TCP/IP-Infrastruktur ein Muss ist und Spitzenleistung nicht das primäre Ziel ist. Seine geringere Leistung und höhere Verwaltungskomplexität begrenzen jedoch seinen Einsatz in modernen Hochleistungsumgebungen.
• Für allgemeine Netzwerkanwendungen: Standard-Ethernet/TCP/IP bleibt die gebräuchlichste und kostengünstigste Wahl für Umgebungen ohne extreme Leistungsanforderungen. Seine Benutzerfreundlichkeit und handelsübliche Hardware machen es perfekt für allgemeine Unternehmensnetzwerke, LANs und Standard-Cloud-Infrastrukturen.
• Berücksichtigung aufkommender Technologien zur Zukunftssicherheit: Organisationen sollten die Entwicklung von CXL für speicherzentrierte und disaggregierte Architekturen beobachten, da es traditionelle Netzwerk-Fabrics ergänzt, indem es die Ressourcenbündelung optimiert. Ebenso ist NVLink entscheidend für die Optimierung der Kommunikation innerhalb der GPU-lastigen Systeme von NVIDIA. Diese Technologien zeigen eine Diversifizierung der Interconnects für verschiedene Schichten der Rechenhierarchie. Darüber hinaus werden die Entwicklung von 800-GbE- und 1,6-TbE-Ethernet sowie Fortschritte in der Photonik RoCE weiterhin zu einer noch leistungsfähigeren Option machen.

Zusammenfassend lässt sich sagen, dass die Hochleistungsvernetzung komplex ist, angetrieben von den Anforderungen von KI, HPC und dem Wandel hin zum disaggregated Computing. Während InfiniBand bei der absoluten Leistung für spezialisierte Umgebungen führend ist, bietet RoCE v2 eine leistungsstarke und flexible Alternative, die die Vorteile von RDMA mit der Allgegenwart von Ethernet verbindet. Das Aufkommen von CXL und NVLink deutet auf eine strategische Diversifizierung der Interconnects hin, die verschiedene Kommunikationsschichten optimieren. Die optimale Lösung wird immer ein strategisches Gleichgewicht aus Leistungsanforderungen, Kosten, bestehender Infrastruktur und einer zukunftsorientierten Vision sein.