Análisis exhaustivo de interconexiones de alto rendimiento: RoCE v2, InfiniBand, iWARP y alternativas emergentes para centros de datos modernos

I. Resumen ejecutivo

Los centros de datos modernos deben soportar cargas de trabajo exigentes como la computación de alto rendimiento (HPC), la inteligencia artificial/aprendizaje automático (IA/ML) y el análisis de macrodatos (Big Data). Estas aplicaciones requieren una latencia ultrabaja, un gran ancho de banda y un uso mínimo de la CPU. Los protocolos de red tradicionales como TCP/IP no pueden satisfacer estas necesidades debido a su alta sobrecarga y latencia.

El acceso directo a memoria remota (RDMA) es la tecnología clave que permite las interconexiones de alto rendimiento. RDMA permite que los ordenadores en red transfieran datos directamente entre sus memorias sin involucrar a sus sistemas operativos o CPU (de memoria a memoria). Este proceso reduce drásticamente la latencia y la carga de la CPU.

• InfiniBand es una red de interconexión (fabric) propietaria y especialmente diseñada para ofrecer el mayor rendimiento posible y una operación nativa sin pérdidas.
• RoCE v2 (RDMA over Converged Ethernet) aplica las ventajas de RDMA sobre Ethernet estándar, ofreciendo una opción enrutable y más rentable, pero requiere configuraciones específicas para funcionar sin pérdidas.
• iWARP es otra solución de RDMA sobre Ethernet basada en TCP, pero es generalmente menos común y ofrece un rendimiento inferior a RoCE v2.

Elegir la interconexión adecuada es una decisión estratégica que depende de las necesidades de rendimiento, el presupuesto, la infraestructura existente y los objetivos de escalabilidad. Este informe analiza estas tecnologías, las compara con Ethernet/TCP/IP estándar y explora nuevas alternativas como CXL y NVLink para guiar esta decisión crítica.

II. Introducción a las redes de alto rendimiento y RDMA

El mundo digital actual se caracteriza por un crecimiento exponencial de aplicaciones con un uso intensivo de datos, como la computación de alto rendimiento (HPC), la inteligencia artificial/aprendizaje automático (IA/ML) y el análisis de macrodatos. Estas cargas de trabajo deben mover conjuntos de datos masivos de forma rápida y eficiente entre los nodos de computación y el almacenamiento. Por ejemplo, las aplicaciones de IA son muy sensibles a la integridad de los datos y requieren redes sin pérdidas, donde un solo mensaje perdido podría arruinar una sesión de entrenamiento completa. El tráfico de gran ancho de banda también es esencial para que estas aplicaciones procesen los datos de manera eficiente.

Limitaciones de Ethernet TCP/IP tradicional para aplicaciones de alto rendimiento

Aunque es fiable para las redes de uso general, Ethernet TCP/IP tradicional tiene importantes limitaciones para las aplicaciones de alto rendimiento:

• Alta latencia y sobrecarga de la CPU: El diseño de TCP/IP envía datos a través de múltiples capas de software en el núcleo del sistema operativo, lo que requiere una participación significativa de la CPU. Este proceso añade una latencia considerable (normalmente decenas de microsegundos) y supone una pesada carga para la CPU. Para las aplicaciones sensibles a la latencia, esto se convierte en un cuello de botella importante, ya que la CPU dedica su tiempo a gestionar el tráfico de red en lugar de ejecutar la aplicación. Este «impuesto a la CPU» derivado del cambio de contexto y la copia de datos es una de las principales razones para adoptar tecnologías RDMA, que descargan el procesamiento de la red y liberan la CPU para las tareas de la aplicación.
• Limitaciones de rendimiento: Varios factores limitan el rendimiento efectivo de TCP, como el tamaño de la ventana de transmisión, el tamaño del segmento y la pérdida de paquetes. El tamaño estándar de la ventana de TCP (a menudo limitado a 65 535 bytes) puede impedir el uso completo de los enlaces de gran ancho de banda, especialmente en redes con mayor latencia. Además, el mecanismo principal de fiabilidad de TCP —la retransmisión de paquetes— introduce retrasos y utiliza ancho de banda adicional, lo que perjudica el rendimiento en redes congestionadas o con pérdidas.
• Desafíos de escalabilidad: Aunque TCP/IP escala bien para redes grandes, su diseño prioriza la fiabilidad general sobre el rendimiento bruto. Esto lo hace menos eficaz en escenarios que exigen un rendimiento extremo y una latencia mínima, como los clústeres de HPC a gran escala o la inferencia de IA en tiempo real.

Fundamentos del acceso directo a memoria remota (RDMA) y sus beneficios principales

El acceso directo a memoria remota (RDMA) se desarrolló para superar las limitaciones de TCP/IP en entornos de alto rendimiento. Sus principales beneficios provienen de eludir la CPU и el sistema operativo durante las transferencias de datos:

• Acceso directo a memoria (Zero-Copy): RDMA transfiere datos directamente de la memoria de un ordenador a la de otro sin involucrar a la CPU ni al sistema operativo de ninguno de los sistemas. Este enfoque de «copia cero» (zero-copy) elimina los búferes de datos intermedios y los cambios de contexto, que son las principales fuentes de sobrecarga en las redes tradicionales.
• Latencia y carga de la CPU reducidas: Al eludir la CPU y el sistema operativo, RDMA reduce drásticamente la latencia de comunicación y libera ciclos de la CPU. Esto se traduce directamente en cálculos más rápidos y un mejor procesamiento de datos en tiempo real. Por ejemplo, la latencia de la aplicación puede pasar de unos 50 microsegundos con TCP/IP a tan solo 2-5 microsegundos con RDMA.
• Mayor aprovechamiento del ancho de banda: La ruta de datos eficiente y la menor sobrecarga de RDMA permiten a las aplicaciones hacer un mejor uso del ancho de banda de red disponible, lo que se traduce en un mayor rendimiento efectivo.
• Implementaciones clave: Las principales tecnologías RDMA utilizadas en la actualidad son InfiniBand, RoCE (versiones 1 y 2) e iWARP.

III. RoCE v2: RDMA sobre Ethernet convergente

RoCE v2 es un gran paso adelante en las redes de alto rendimiento, ya que extiende las ventajas de RDMA al ecosistema de Ethernet, ampliamente utilizado.

A. Principios arquitectónicos

• Evolución desde RoCE v1: RoCE v1 era un protocolo de capa 2 (Ethertype 0x8915), lo que lo confinaba a un único dominio de difusión de Ethernet y limitaba su escalabilidad. RoCE v2 resuelve esto operando en la capa de internet. Encapsula el tráfico RDMA dentro de paquetes UDP/IP (utilizando el puerto de destino UDP 4791), lo que lo hace enrutable a través de redes IP de capa 3. Esta capacidad de enrutamiento es una mejora fundamental, que permite utilizar RoCE v2 en centros de datos a gran escala y entornos de nube.
• Integración de RDMA sobre Ethernet: RoCE proporciona un método para realizar RDMA sobre una red Ethernet estándar. Sustituye eficazmente la capa de red de InfiniBand por cabeceras IP y UDP, manteniendo al mismo tiempo la capa de transporte principal de InfiniBand y el protocolo RDMA. Este diseño permite a RoCE aprovechar la infraestructura Ethernet existente.
• Formato de paquete: Un paquete RoCE v2 incluye una cabecera IP y una cabecera UDP, que encapsulan el protocolo de transporte RDMA. Aunque UDP no garantiza el orden de los paquetes, el estándar RoCE v2 requiere que los paquetes con el mismo puerto de origen y dirección de destino no se reordenen.
• El compromiso de «lo mejor de ambos mundos»: El diseño de RoCE v2 es un compromiso estratégico, que busca ofrecer el alto rendimiento de RDMA sobre la plataforma Ethernet, flexible, rentable y omnipresente. Si bien este enfoque ofrece una amplia compatibilidad, crea un desafío clave: garantizar el rendimiento sin pérdidas que RDMA necesita sobre una red Ethernet, que es intrínsecamente propensa a las pérdidas.

B. Perfil de rendimiento

• Latencia: Los adaptadores de canal de host (HCA) de RoCE pueden alcanzar latencias muy bajas, de hasta 1,3 microsegundos. A nivel de aplicación, RoCE reduce la latencia a unos 5 microsegundos, una mejora enorme en comparación con los 50 microsegundos típicos de TCP/IP. Aunque InfiniBand ofrece una latencia nativa ligeramente inferior, el rendimiento de RoCE es excelente para aplicaciones en tiempo real.
• Ancho de banda: RoCE v2 soporta un gran ancho de banda, con velocidades de hasta 400 Gbps por puerto.
• Descarga de la CPU: Al igual que otros protocolos RDMA, RoCE elude la CPU para las transferencias de datos. Esta descarga libera valiosos recursos de la CPU para tareas de computación intensiva en lugar del procesamiento de red.
• Rendimiento sin pérdidas: Para igualar el rendimiento de InfiniBand, RoCE depende de una red Ethernet sin pérdidas. Esto se consigue normalmente implementando características de Data Center Bridging (DCB), especialmente el control de flujo prioritario (PFC) y la notificación explícita de congestión (ECN).

C. Infraestructura y gestión

• Requisitos de hardware/software: RoCE funciona con hardware Ethernet estándar como conmutadores y cables, lo que permite a las organizaciones utilizar su infraestructura existente. Sin embargo, requiere adaptadores de canal de host (HCA) compatibles con RoCE en los puntos finales. El soporte de software es maduro, con implementaciones en Mellanox OFED 2.3+ e integrado en el núcleo de Linux v4.5+.
• Configuración de red sin pérdidas: Aunque RoCE utiliza Ethernet estándar, crear una red DCB sin pérdidas puede ser más complejo que configurar una red InfiniBand. Cada componente, desde los puntos finales hasta los conmutadores, debe configurarse cuidadosamente. Esto incluye la configuración del control de flujo prioritario (PFC), la selección de transmisión mejorada (ETS) y los mecanismos de notificación de congestión. Para funcionar en redes de capa 3, estas características sin pérdidas deben mantenerse a través de los enrutadores, a menudo asignando la configuración de prioridad de capa 2 a la configuración de QoS DSCP de capa 3.
• Consideraciones de gestión: RoCE se puede gestionar con herramientas Ethernet estándar. Sin embargo, garantizar un rendimiento sin pérdidas constante y gestionar la congestión en implementaciones de RoCE v2 a gran escala puede ser un reto y requiere conocimientos especializados.
• El coste oculto de la «rentabilidad»: A menudo se dice que RoCE es «rentable» porque puede utilizar la infraestructura Ethernet existente, pero esto es una simplificación excesiva. Alcanzar un rendimiento similar al de InfiniBand requiere una red Ethernet sin pérdidas perfectamente configurada. La complejidad de configurar las características de Data Center Bridging (DCB) como PFC y ECN puede ser mucho mayor que la de configurar una red InfiniBand. Esta complejidad conduce a mayores costes operativos de diseño, solución de problemas y gestión de la red, y puede requerir conmutadores Ethernet más caros. Como resultado, los ahorros iniciales en hardware de RoCE podrían verse anulados por estos mayores costes operativos. Un análisis exhaustivo del coste total de propiedad (TCO) es esencial para una comparación precisa.

D. Aplicaciones clave

RoCE v2 es una solución excelente para muchas aplicaciones de centros de datos y empresariales. Es especialmente adecuada para entornos que necesitan una latencia ultrabaja y un alto rendimiento, como las cargas de trabajo de IA, el comercio de alta frecuencia y el análisis en tiempo real. También mejora el rendimiento de las aplicaciones que dependen en gran medida de las bases de datos o de la E/S de archivos. Además, RoCE v2 ayuda a la continuidad del negocio y a la recuperación de desastres al permitir una replicación de datos rápida y eficiente. Su uso generalizado en clústeres de entrenamiento de IA pone de relieve su importancia en la computación moderna.

IV. InfiniBand: La red de interconexión especializada de alto rendimiento

InfiniBand es una interconexión de alto rendimiento de primer nivel, diseñada desde el principio para proporcionar una velocidad inigualable, una latencia mínima y una alta fiabilidad para entornos informáticos exigentes.

A. Principios arquitectónicos

• RDMA nativo: InfiniBand se construyó con RDMA integrado en toda su pila de protocolos, desde la capa física hacia arriba. Este diseño desde cero garantiza que las operaciones de RDMA sean altamente eficientes, creando canales de datos directos y protegidos entre nodos sin la intervención de la CPU.
• Topología de red conmutada: InfiniBand utiliza una topología de red conmutada (switched fabric) para conexiones directas punto a punto entre dispositivos. La arquitectura incluye adaptadores de canal de host (HCA) en los procesadores y adaptadores de canal de destino (TCA) en los periféricos, lo que permite una comunicación eficiente.
• Control de flujo basado en créditos: Una característica principal de InfiniBand es su control de flujo basado en créditos. Este algoritmo a nivel de hardware garantiza una comunicación sin pérdidas al asegurar que un emisor solo transmite datos si el receptor tiene suficiente espacio de búfer (créditos) para aceptarlos. Esta fiabilidad nativa evita la pérdida de paquetes y diferencia a InfiniBand de las tecnologías que necesitan configuraciones de capa superior para funcionar sin pérdidas.
• Estándares propietarios: InfiniBand sigue estándares propietarios definidos por la InfiniBand Trade Association (IBTA), fundada en 1999. El ecosistema está fuertemente dominado por NVIDIA (a través de la adquisición de Mellanox), un fabricante líder de adaptadores y conmutadores InfiniBand.

B. Perfil de rendimiento

• Latencia ultrabaja: InfiniBand ofrece sistemáticamente la latencia más baja. Las latencias del adaptador pueden ser tan bajas como 0,5 microsegundos, y la latencia de puerto a puerto del conmutador es de unos 100 nanosegundos, significativamente inferior a los 230 nanosegundos de los conmutadores Ethernet comparables. A nivel de aplicación, InfiniBand puede alcanzar latencias de tan solo 2 microsegundos, en comparación con los 50 microsegundos de TCP/IP.
• Capacidades de alto rendimiento: InfiniBand admite velocidades de datos extremadamente altas. Las versiones modernas como HDR y NDR ofrecen hasta 200 Gbps y 400 Gbps por línea. Los enlaces agregados pueden alcanzar un rendimiento aún mayor, llegando a 800 Gbps (NDR) e incluso 1,6 Tbps (XDR).
• Eficiencia de la CPU: Un punto fuerte de InfiniBand es su capacidad para ofrecer una latencia ultrabaja y un ancho de banda extremadamente alto con un uso de la CPU casi nulo. Esta descarga del procesamiento de la red es un beneficio fundamental para las cargas de trabajo con un uso intensivo de la computación.
• Rendimiento por diseño frente a rendimiento por configuración: InfiniBand y RoCE tienen una diferencia fundamental en su enfoque. InfiniBand fue diseñado desde cero para RDMA, con sus capas física y de transporte concebidas para una fiabilidad a nivel de hardware, incluyendo un algoritmo nativo basado en créditos para una comunicación sin pérdidas. En cambio, RoCE funciona sobre Ethernet estándar y se basa en la configuración de características como el control de flujo prioritario (PFC) y la notificación explícita de congestión (ECN) para crear una red sin pérdidas. Esto significa que InfiniBand proporciona un alto rendimiento garantizado desde el primer momento, mientras que el rendimiento de RoCE depende de la calidad de la configuración de la red Ethernet subyacente.

C. Infraestructura y gestión

• Hardware dedicado: InfiniBand requiere hardware especializado, incluyendo adaptadores de canal de host (HCA) dedicados, conmutadores, enrutadores y cables propietarios. Esto suele dar lugar a una mayor inversión inicial en comparación con las soluciones basadas en Ethernet.
• Gestión centralizada: Las redes InfiniBand son gestionadas por un gestor de subred (Subnet Manager, SM) central, que calcula y distribuye las tablas de reenvío y gestiona configuraciones como las particiones y la calidad de servicio (QoS). Este enfoque centralizado puede simplificar la gestión en grandes clústeres tras la configuración inicial.
• Conocimientos especializados: El despliegue y mantenimiento de redes InfiniBand suele requerir conocimientos especializados, lo que puede aumentar los costes operativos y crear una curva de aprendizaje más pronunciada para el personal de TI.
• Ecosistema: El ecosistema de InfiniBand es maduro pero está dominado por NVIDIA/Mellanox.

D. Aplicaciones clave

InfiniBand es el estándar de la industria para entornos de computación de alto rendimiento (HPC) y es la interconexión de más rápido crecimiento para estas aplicaciones. Es la principal tecnología recomendada por la IBTA. Su latencia ultrabaja y su gran ancho de banda son esenciales para cargas de trabajo exigentes como el entrenamiento de modelos de IA/ML a gran escala, el análisis de macrodatos y las operaciones masivas de bases de datos. También es crucial para grandes simulaciones (por ejemplo, previsiones meteorológicas) y servicios financieros de alta frecuencia, donde la velocidad y la integridad de los datos son fundamentales. En junio de 2022, el 62 % de los 100 superordenadores más importantes del mundo utilizaban InfiniBand.

V. iWARP: RDMA sobre TCP/IP estándar

iWARP (Internet Wide Area RDMA Protocol) es otro método para implementar RDMA, destacable por su uso del conjunto de protocolos TCP/IP estándar.

A. Principios arquitectónicos

• RDMA sobre TCP/IP: iWARP es un protocolo que implementa RDMA sobre redes IP estándar. A diferencia de RoCE, que utiliza UDP, iWARP se basa en protocolos de transporte fiables como TCP y SCTP.
• Componentes clave: El funcionamiento de iWARP se basa en varios componentes. El protocolo de colocación directa de datos (Direct Data Placement Protocol, DDP) permite la transmisión sin copia al colocar los datos directamente en la memoria de una aplicación. El protocolo de acceso directo a memoria remota (Remote Direct Memory Access Protocol, RDMAP) proporciona los servicios para las operaciones de lectura y escritura de RDMA. Se necesita una capa de adaptación específica, el entramado alineado con PDU de marcador (Marker PDU Aligned, MPA), para habilitar DDP sobre TCP.
• Fiabilidad: Una característica única de iWARP es que su fiabilidad es proporcionada por el protocolo TCP subyacente. Esto es diferente de RoCE v2, que utiliza UDP y requiere mecanismos externos como Data Center Bridging (DCB) para la fiabilidad. Como resultado, iWARP solo admite comunicación fiable y conectada.

B. Perfil de rendimiento

• Latencia y rendimiento comparativos: Aunque iWARP tiene una latencia menor que el TCP/IP tradicional, su rendimiento es generalmente peor que el de RoCE. En 2011, la latencia más baja de un HCA iWARP era de 3 microsegundos, mientras que los HCA de RoCE alcanzaban los 1,3 microsegundos. Las pruebas de rendimiento (benchmarks) demuestran sistemáticamente que RoCE entrega los mensajes mucho más rápido que iWARP, con un rendimiento más de 2 veces superior a 40 GbE y 5 veces superior a 10 GbE.
• Descarga de la CPU: Al igual que otros protocolos RDMA, iWARP minimiza la carga de la CPU al permitir transferencias de memoria directas. Puede utilizar motores de descarga TCP (TCP Offload Engines, TOE) con hardware RDMA para lograr resultados de copia cero y reducir aún más la participación de la CPU.

C. Infraestructura y gestión

• Compatibilidad con Ethernet estándar: Una de las principales ventajas de iWARP es su capacidad para funcionar sobre la infraestructura Ethernet estándar con cambios mínimos en la red existente. Esto permite a las organizaciones aprovechar sus inversiones actuales.
• Requisitos de hardware: A pesar de su compatibilidad con los conmutadores Ethernet estándar, iWARP sigue requiriendo tarjetas de red compatibles con iWARP en los puntos finales.
• Aspectos de integración: iWARP está integrado en los principales sistemas operativos como Microsoft Windows Server y los núcleos de Linux modernos. Esto da soporte a aplicaciones como SMB Direct, iSCSI Extensions for RDMA (iSER) y Network File System over RDMA (NFS over RDMA).
• Desafíos de gestión: La gestión del tráfico iWARP puede ser difícil. Comparte el espacio de puertos de TCP, lo que complica la gestión de flujos y dificulta la identificación del tráfico RDMA. En general, se considera que iWARP es más difícil de gestionar que RoCE.

D. Relevancia en el mercado

• Adopción limitada: iWARP es una implementación de RDMA «poco común» o «menos utilizada» en comparación con InfiniBand y RoCE v2. Sus soluciones han tenido un «éxito limitado» debido a los desafíos de implementación y despliegue.
• La paradoja de la dependencia de TCP: La decisión de diseño de iWARP de superponer RDMA sobre TCP proporciona fiabilidad y compatibilidad integradas pero, paradójicamente, le impide alcanzar plenamente los beneficios principales de RDMA. La sobrecarga inherente del protocolo TCP, incluso con descarga de hardware, parece impedir que iWARP alcance la latencia ultrabaja y el alto rendimiento de InfiniBand o RoCE. Esta contrapartida en el rendimiento ha llevado a su limitada adopción en el mercado.

VI. Análisis comparativo: RoCE v2 vs. InfiniBand vs. iWARP vs. Ethernet estándar

Una comparación detallada de las métricas de rendimiento, infraestructura y operativas es clave para seleccionar la interconexión de alto rendimiento adecuada.

A. Pruebas de rendimiento (Benchmarks)

El rendimiento de estas interconexiones difiere enormemente, especialmente en latencia, ancho de banda y uso de la CPU.

• Latencia:
  • InfiniBand: Ofrece la latencia más baja. La latencia de puerto a puerto del conmutador es de unos 100 nanosegundos, mientras que la latencia del adaptador es de tan solo 0,5 a 1,3 microsegundos. La latencia a nivel de aplicación puede ser tan baja como 2 microsegundos.
  • RoCE v2: Proporciona una latencia ultrabaja. La latencia del conmutador Ethernet es de unos 230 nanosegundos, mientras que la latencia del HCA puede ser tan baja como 1,3 microsegundos. La latencia a nivel de aplicación suele ser de unos 5 microsegundos.
  • iWARP: Tiene una latencia mayor que RoCE, con una latencia de HCA reportada de unos 3 microsegundos (datos de 2011). Su rendimiento es sistemáticamente peor que el de RoCE.
  • TCP/IP estándar: Tiene la latencia más alta, con una latencia unidireccional de 10 a 55 milisegundos. La latencia a nivel de aplicación suele ser de unos 50 microsegundos.
• Ancho de banda:
  • InfiniBand: Admite un ancho de banda muy alto. Las versiones modernas como NDR ofrecen hasta 400 Gbps por puerto, y XDR alcanza hasta 800 Gbps. Se prevé que la futura versión GDR alcance los 1,6 Tbps.
  • RoCE v2: Capaz de un gran ancho de banda, soportando hasta 400 Gbps por puerto.
  • iWARP: Generalmente tiene un rendimiento inferior al de RoCE.
  • TCP/IP estándar: El rendimiento suele estar limitado por la sobrecarga del protocolo y las retransmisiones, lo que dificulta el uso eficiente de los enlaces de gran ancho de banda.
• Descarga de la CPU:
  • InfiniBand, RoCE v2, iWARP: Las tres tecnologías RDMA descargan una cantidad significativa de trabajo de la CPU al eludir el sistema operativo, liberando recursos de la CPU para otras tareas.
  • TCP/IP estándar: Genera una alta carga en la CPU porque el núcleo está muy involucrado en el procesamiento de datos.
• Mecanismo sin pérdidas:
  • InfiniBand: Cuenta con un control de flujo nativo basado en créditos a nivel de hardware, que garantiza una comunicación sin pérdidas.
  • RoCE v2: Se basa en una configuración de Ethernet sin pérdidas, utilizando características de Data Center Bridging (DCB) como PFC y ECN. También tiene un mecanismo de entrega fiable de extremo a extremo con retransmisiones por hardware.
  • iWARP: Utiliza el transporte fiable incorporado de TCP para la integridad de los datos.
  • TCP/IP estándar: Utiliza un modelo de entrega de «mejor esfuerzo», dependiendo de las retransmisiones en las capas superiores para garantizar la fiabilidad, lo que añade latencia.

La siguiente tabla resume las características de rendimiento:

Característica	InfiniBand	RoCE v2	iWARP	Ethernet/TCP/IP estándar
Tecnología principal	RDMA nativo	RDMA sobre Ethernet (UDP/IP)	RDMA sobre Ethernet (TCP/IP)	Protocolo tradicional en capas
Latencia de aplicación típica (µs)	2	5	>3 (HCA 2011)	50
Latencia de puerto a puerto de conmutador (ns)	100	230	N/A (depende de Ethernet)	Normalmente mayor, variable
Ancho de banda máximo (Gbps por puerto/enlace)	400 (NDR), 800 (XDR), 1,6T (GDR)	400	Generalmente inferior a RoCE	400+ (pero limitado por la sobrecarga del protocolo)
Sobrecarga de la CPU	Casi nula	Muy baja	Baja	Alta
Mecanismo sin pérdidas	Control de flujo nativo basado en créditos	Requiere Ethernet sin pérdidas (PFC, ECN)	Transporte fiable de TCP	Mejor esfuerzo, depende de retransmisiones
Capacidad de enrutamiento (L2/L3)	L3 (vía Subnet Manager)	L3 (RoCE enrutable)	L3	L3 (Enrutamiento IP estándar)

B. Infraestructura y ecosistema

• Dependencias de hardware:
  • InfiniBand: Requiere un conjunto completo de hardware especializado, incluyendo HCA InfiniBand, conmutadores y cables propietarios.
  • RoCE v2: Requiere HCA compatibles con RoCE pero funciona sobre conmutadores y cables Ethernet estándar, lo que permite la integración con redes existentes.
  • iWARP: Requiere tarjetas de red compatibles con iWARP pero puede utilizar conmutadores Ethernet estándar.
  • Ethernet estándar: Utiliza NIC y conmutadores Ethernet de bajo coste y ampliamente disponibles.
• Dependencia del proveedor (Vendor Lock-in):
  • InfiniBand: El ecosistema es limitado y está dominado por Mellanox (NVIDIA), lo que puede generar preocupaciones sobre la dependencia del proveedor.
  • RoCE v2: Se beneficia de un ecosistema Ethernet grande y competitivo con múltiples proveedores. Algunos ofrecen NIC de «RDMA universal» que admiten tanto RoCE como iWARP, lo que reduce la dependencia.
  • iWARP: También se beneficia del amplio ecosistema Ethernet, con soporte de proveedores como Intel y Chelsio.
• Interoperabilidad:
  • InfiniBand: Al ser un estándar propietario, todos los componentes deben cumplir las especificaciones de la IBTA para garantizar que funcionen juntos.
  • RoCE v2: Su base en Ethernet estándar permite una mayor interoperabilidad y una integración más fácil con las redes existentes.
  • iWARP: Se basa en los RFC estándar del IETF para TCP/IP, lo que garantiza una alta compatibilidad con las redes IP estándar.

C. Rentabilidad

• Inversión inicial:
  • InfiniBand: Suele requerir una mayor inversión inicial debido al hardware especializado y las licencias. Para grandes clústeres de IA, los conmutadores InfiniBand pueden ser significativamente más caros que los conmutadores RoCE.
  • RoCE v2: A menudo es una opción más rentable porque puede integrarse con la infraestructura Ethernet existente, reduciendo los costes de nuevo hardware. Los ahorros en conmutadores para grandes clústeres de IA pueden ser sustanciales (del 49 % al 70 % en comparación con InfiniBand).
  • iWARP: Utiliza conmutadores Ethernet estándar pero requiere adaptadores especializados, lo que puede suponer un coste notable.
  • Ethernet estándar: Generalmente, la opción de menor coste debido a su hardware de bajo coste.
• Coste total de propiedad (TCO):
  • InfiniBand: Tiende a tener un TCO más alto debido al hardware especializado, el mantenimiento y la necesidad de formar al personal en una tecnología propietaria.
  • RoCE v2: Puede tener un TCO más bajo, pero esto es condicional. La complejidad de configurar y mantener una red Ethernet sin pérdidas puede aumentar significativamente los costes operativos. Aunque los costes iniciales de hardware pueden ser más bajos, los conocimientos especializados y el esfuerzo necesarios para el diseño, la solución de problemas y el mantenimiento pueden contrarrestar estos ahorros. Por lo tanto, la «rentabilidad» depende tanto del precio del hardware como de la experiencia y la carga de gestión de la organización.
  • iWARP: Los desafíos de integración y gestión pueden afectar a su TCO global.

La siguiente tabla ofrece una visión comparativa de las consideraciones de infraestructura y coste:

Característica	InfiniBand	RoCE v2	iWARP	Ethernet/TCP/IP estándar
Hardware de red requerido	NIC IB dedicadas, conmutadores IB, cables IB	NIC compatibles con RoCE, conmutadores/cables Ethernet estándar	NIC compatibles con iWARP, conmutadores/cables Ethernet estándar	NIC Ethernet estándar, conmutadores/cables Ethernet estándar
Compatibilidad de red	Propietaria (Estándar IBTA)	Ethernet estándar (IEEE)	Ethernet estándar (RFC del IETF)	Ethernet estándar (IEEE)
Complejidad de gestión	Difícil (SM especializado)	Difícil (Config. Ethernet sin pérdidas)	Más difícil que RoCE	Fácil
Coste inicial de hardware (relativo)	Alto	Moderado (aprovecha lo existente)	Moderado (NIC especializadas)	Bajo
Coste total de propiedad (relativo)	Más alto	Más bajo (condicional a la gestión)	Variable (desafíos de integración)	El más bajo
Ecosistema de proveedores	Limitado (dominante NVIDIA/Mellanox)	Amplio (múltiples proveedores de Ethernet)	Amplio (múltiples proveedores de Ethernet)	Muy amplio

D. Escalabilidad y flexibilidad

• Capacidades de enrutamiento:
  • InfiniBand: Utiliza una red conmutada (switched fabric) con enrutamiento gestionado centralmente por un gestor de subred (SM). Es altamente escalable y admite clústeres de más de 100 000 nodos.
  • RoCE v2: Su encapsulación UDP/IP permite enrutarlo a través de redes IP de capa 3, lo que lo hace escalable en grandes redes y entornos de nube. También es compatible con ECMP para un equilibrio de carga eficiente.
  • iWARP: Es enrutable sobre redes IP.
  • Ethernet estándar: Altamente escalable y flexible, pero puede requerir configuraciones avanzadas como arquitecturas spine-leaf para una eficiencia a nivel de HPC.
• Topologías de red:
  • InfiniBand: Optimizado para clústeres de HPC/IA, admite topologías de alto rendimiento como Fat Tree, Dragonfly+ y Torus multidimensional.
  • RoCE v2: Su enrutamiento basado en IP lo hace adaptable a casi cualquier topología de red.
  • Ethernet estándar: Admite una amplia gama de topologías, incluyendo estrella y malla.

E. Fiabilidad y control de congestión

• Fiabilidad:
  • InfiniBand: Proporciona una fiabilidad nativa a nivel de hardware con su control de flujo basado en créditos, garantizando una comunicación sin pérdidas.
  • RoCE v2: Se basa en una configuración de Ethernet sin pérdidas utilizando PFC y ETS. También incluye un mecanismo de entrega fiable de extremo a extremo con retransmisión de paquetes por hardware.
  • iWARP: Se beneficia de la fiabilidad inherente de TCP, que proporciona corrección de errores y retransmisiones.
  • TCP/IP estándar: Se centra en la fiabilidad a través de retransmisiones, lo que puede añadir una latencia significativa y reducir el rendimiento.
• Control de congestión:
  • InfiniBand: Define sus propios mecanismos de control de congestión basados en el marcado FECN/BECN.
  • RoCE v2: Implementa un protocolo de control de congestión utilizando los bits ECN de IP y paquetes de notificación de congestión (CNP). También se utilizan prácticas de la industria como DCQCN.
  • iWARP: Se basa en los algoritmos de control de congestión establecidos de TCP.

F. Idoneidad de la aplicación

• InfiniBand: La opción ideal para entornos que necesitan el mayor rendimiento de datos y la menor latencia. Esto incluye la investigación científica, el modelado financiero, los clústeres de HPC a gran escala y las cargas de trabajo de entrenamiento de IA/ML más exigentes.
• RoCE v2: Favorecido por empresas que desean utilizar su infraestructura Ethernet existente sin renunciar a un alto rendimiento. Es muy adecuado para redes de almacenamiento, análisis en tiempo real y servicios en la nube, ofreciendo un equilibrio entre rendimiento y coste.
• iWARP: Puede considerarse para aplicaciones de nicho en las que la infraestructura TCP/IP existente es un requisito estricto y la latencia ultrabaja no es la máxima prioridad. Es adecuado para aplicaciones como NVMeoF, iSER, SMB Direct y NFS sobre RDMA, o como una opción de bajo coste para entornos de prueba.
• Ethernet/TCP/IP estándar: Sigue siendo la mejor opción para las redes de uso general, como las LAN empresariales y la infraestructura en la nube donde el rendimiento extremo de HPC/IA no es el objetivo principal.
• El trilema rendimiento-coste-complejidad: Este análisis revela una disyuntiva fundamental al elegir una interconexión: un trilema entre rendimiento, coste y complejidad. InfiniBand ofrece el máximo rendimiento y fiabilidad nativa, pero a un coste mayor. RoCE v2 proporciona un rendimiento cercano al de InfiniBand sobre Ethernet, reduciendo potencialmente los costes de hardware pero añadiendo una complejidad de configuración significativa. iWARP ofrece RDMA sobre TCP pero con un rendimiento inferior. Ethernet estándar es rentable pero carece del rendimiento para cargas de trabajo exigentes. No existe una única solución «mejor»; la elección correcta requiere equilibrar estos tres factores en función de las necesidades y capacidades específicas.

La siguiente tabla resume la idoneidad de cada tecnología para diferentes aplicaciones:

Tecnología	Casos de uso principales	Ideal para	Menos adecuado para
InfiniBand	HPC, entrenamiento de IA/ML, análisis de macrodatos, servicios financieros (arbitraje)	Entornos que exigen la latencia más baja posible, el mayor ancho de banda y garantías nativas sin pérdidas	Redes empresariales generales sensibles al coste, entornos sin experiencia especializada en TI
RoCE v2	Centros de datos, servicios en la nube, redes de almacenamiento, análisis en tiempo real, inferencia de IA/ML	Organizaciones que aprovechan la infraestructura Ethernet existente para un alto rendimiento; equilibrio entre coste y rendimiento	Entornos en los que las garantías nativas sin pérdidas no son negociables sin una amplia experiencia en configuración
iWARP	NVMeoF, iSER, SMB Direct, NFS sobre RDMA, entornos de prueba/desarrollo	Aplicaciones específicas que requieren RDMA sobre TCP/IP existente, donde el rendimiento máximo no es crítico	Clústeres de HPC/IA a gran escala, aplicaciones en tiempo real sensibles a la latencia
Ethernet/TCP/IP estándar	Redes empresariales generales, LAN, conectividad a internet, infraestructura en la nube	Redes de uso general ubicuas, rentables y flexibles	Computación de alto rendimiento, entrenamiento de IA/ML y otras cargas de trabajo sensibles a la latencia e intensivas en CPU

VII. Interconexiones emergentes de alto rendimiento y tendencias futuras

El panorama de las redes de alto rendimiento está en constante cambio, impulsado por las cargas de trabajo intensivas en datos y la necesidad de una mayor eficiencia. Más allá de las tecnologías RDMA establecidas, nuevas interconexiones y tendencias están dando forma al futuro de los centros de datos.

A. Compute Express Link (CXL)

CXL es una interconexión moderna construida sobre la capa física de PCIe, diseñada para sistemas de computación de uso general. Su principal objetivo es permitir una comunicación rápida y fluida entre las CPU y los aceleradores como las GPU y las FPGA.

Las características clave de CXL incluyen la transferencia de datos de alta velocidad, una amplia compatibilidad y un uso compartido eficiente de la memoria a través de la coherencia de caché. Admite tres tipos de dispositivos (para aceleradores, dispositivos con coherencia de caché y expansores de memoria) y topologías flexibles. CXL/PCIe Gen5 ofrece un rendimiento máximo de 512 Gbps con una latencia de unos 500 nanosegundos. Aunque InfiniBand tiene una latencia menor (unos 100 nanosegundos), CXL es superior para el acceso a memoria de baja latencia donde la coherencia de caché es crítica.

Un avance importante fue la fusión de los consorcios Gen-Z y CXL en 2022, que posiciona a CXL como el único estándar de la industria para esta clase de interconexiones centradas en la memoria.

CXL representa un cambio de la red tradicional de nodo a nodo (como RoCE e InfiniBand) hacia la coherencia de memoria y la desagregación de recursos. Esto significa que, para ciertas cargas de trabajo, CXL puede convertirse en la interconexión principal, complementando o reduciendo la necesidad de redes de interconexión tradicionales.

B. NVLink

NVLink es la interconexión propietaria de alta velocidad y baja latencia de NVIDIA, diseñada para la comunicación directa de GPU a GPU y de GPU a CPU dentro de sus plataformas de computación acelerada.

NVLink es una parte clave de las soluciones de NVIDIA para IA y HPC, como sus arquitecturas GB200 y GB300. Es crucial para escalar el entrenamiento de modelos de IA al proporcionar transferencias de datos extremadamente rápidas entre GPU.

NVLink muestra una tendencia hacia la integración vertical y el rendimiento especializado. Su naturaleza propietaria contrasta con estándares abiertos como RoCE o InfiniBand. Este diseño maximiza el rendimiento dentro de la pila de hardware de un único proveedor. Mientras que InfiniBand y RoCE se encargan de la red general entre nodos, NVLink optimiza la comunicación dentro y entre los sistemas de GPU, creando una arquitectura de interconexión por niveles donde diferentes tecnologías satisfacen diferentes necesidades.

C. Velocidades futuras de Ethernet

Ethernet ha evolucionado de 10 Mbps a 400 Gbps, y el desarrollo continúa con los estándares de 800GbE y 1,6TbE en el horizonte. Estas velocidades más rápidas serán esenciales para las aplicaciones de próxima generación como la computación cuántica, la IA avanzada y las tecnologías inmersivas.

El aumento continuo de las velocidades de Ethernet beneficia directamente a RoCE. Como RoCE se basa en Ethernet, se beneficia automáticamente de estos avances, lo que le ayuda a mantenerse competitivo frente a InfiniBand. El crecimiento de los servicios en la nube ya está impulsando el despliegue de 200GbE y 400GbE, con 800GbE y 1,6TbE como siguientes pasos.

La relevancia continua de Ethernet y RoCE están estrechamente vinculadas. A medida que las velocidades de Ethernet avanzan, RoCE se convierte en un competidor aún más fuerte para los centros de datos de alto rendimiento, especialmente para las organizaciones que quieren aprovechar sus inversiones existentes en Ethernet y evitar ecosistemas propietarios.

D. Computación desagregada y fotónica

• Computación desagregada: Este nuevo enfoque tiene como objetivo mejorar la eficiencia de los centros de datos desacoplando recursos como la computación, el almacenamiento y la memoria de los servidores tradicionales. Estos recursos se reensamblan luego en grupos flexibles conectados por redes avanzadas. Un resultado clave es que la comunicación que antes ocurría dentro de un servidor ahora cruza la red, lo que aumenta drásticamente la carga y hace que la latencia ultrabaja sea crítica. Esta tendencia refuerza la necesidad de interconexiones de alto rendimiento como RoCE e InfiniBand e impulsa el desarrollo de otras nuevas como CXL.
• Fotónica en las redes de centros de datos: La fotónica de silicio integra componentes ópticos en chips de silicio, permitiendo interconexiones ópticas de alta velocidad y bajo consumo. Esta tecnología ofrece velocidades de transferencia de datos mucho más rápidas (más de 100 Gbps), menor latencia y mejor eficiencia energética que el cobre tradicional. Se está volviendo esencial para satisfacer las crecientes demandas de tráfico en los centros de datos y para permitir la próxima generación de Ethernet de alta velocidad.

La relación entre estas tendencias es simbiótica. Las arquitecturas desagregadas requieren redes avanzadas, que proporcionan interconexiones como RoCE, InfiniBand y CXL. A su vez, alcanzar las velocidades necesarias para estas interconexiones, especialmente para los futuros estándares de 800GbE y 1,6TbE, dependerá de tecnologías como la fotónica de silicio.

VIII. Recomendaciones y conclusión

Elegir una interconexión de alto rendimiento es una decisión estratégica fundamental que debe alinearse con las necesidades específicas, el presupuesto, la infraestructura y la visión a largo plazo de una organización.

• Para el máximo rendimiento bruto y HPC/IA de misión crítica: InfiniBand es el estándar de referencia indiscutible. Su RDMA nativo, su control de flujo basado en créditos y su diseño específico ofrecen la latencia más baja y el mayor rendimiento con un funcionamiento sin pérdidas garantizado. Las organizaciones con el presupuesto y la experiencia necesarios deberían elegir InfiniBand para clústeres a gran escala donde cada microsegundo cuenta.
• Para un alto rendimiento con rentabilidad e integración con Ethernet: RoCE v2 es una alternativa sólida y cada vez más popular. Ofrece importantes mejoras de rendimiento sobre TCP/IP y puede acercarse al rendimiento de InfiniBand utilizando la infraestructura Ethernet existente. Es ideal para organizaciones que actualizan sus centros de datos sin una renovación completa. Sin embargo, esta elección requiere el compromiso de configurar y gestionar cuidadosamente una red Ethernet sin pérdidas.
• Para aplicaciones de nicho o entornos RDMA heredados sobre TCP: iWARP puede ser adecuado en casos específicos, especialmente donde el uso de la infraestructura TCP/IP existente es un requisito indispensable y el rendimiento máximo no es el objetivo principal. Sin embargo, su menor rendimiento y su mayor complejidad de gestión limitan su uso en despliegues modernos de alto rendimiento.
• Para redes de uso general: Ethernet/TCP/IP estándar sigue siendo la opción más común y rentable para entornos sin demandas extremas de rendimiento. Su facilidad de uso y su hardware de bajo coste lo hacen perfecto para redes empresariales generales, LAN e infraestructura de nube estándar.
• Considerar tecnologías emergentes para estar preparados para el futuro: Las organizaciones deben seguir de cerca el desarrollo de CXL para arquitecturas centradas en la memoria y desagregadas, ya que complementa las redes de interconexión tradicionales al optimizar la agrupación de recursos. Del mismo modo, NVLink es fundamental para optimizar la comunicación dentro de los sistemas de NVIDIA con gran carga de GPU. Estas tecnologías muestran una diversificación de las interconexiones para diferentes capas de la jerarquía de computación. Además, el desarrollo de Ethernet a 800GbE y 1,6TbE, junto con los avances en fotónica, seguirá haciendo de RoCE una opción aún más potente.

En conclusión, las redes de alto rendimiento son complejas, impulsadas por las demandas de la IA, el HPC y el cambio hacia la computación desagregada. Mientras que InfiniBand lidera en rendimiento absoluto para entornos especializados, RoCE v2 proporciona una alternativa potente y flexible que une los beneficios de RDMA con la ubicuidad de Ethernet. La aparición de CXL y NVLink indica una diversificación estratégica de las interconexiones, optimizando diferentes capas de comunicación. La solución óptima siempre será un equilibrio estratégico entre los requisitos de rendimiento, el coste, la infraestructura existente y una visión de futuro.