Uma Análise Abrangente de Interconexões de Alto Desempenho: RoCE v2, InfiniBand, iWARP e Alternativas Emergentes para Centros de Dados Modernos

I. Sumário Executivo

Os centros de dados modernos têm de suportar cargas de trabalho exigentes como a Computação de Alto Desempenho (HPC), Inteligência Artificial/Aprendizagem Automática (IA/ML) e análise de Big Data. Estas aplicações requerem latência ultrabaixa, elevada largura de banda e um consumo mínimo de CPU. Os protocolos de rede tradicionais como o TCP/IP não conseguem satisfazer estas necessidades devido à sua elevada sobrecarga e latência.

O Acesso Remoto Direto à Memória (RDMA) é a tecnologia-chave que possibilita interconexões de alto desempenho. O RDMA permite que computadores em rede transfiram dados diretamente entre as suas memórias sem envolver os seus sistemas operativos ou CPUs (memória-a-memória). Este processo reduz drasticamente a latência e a carga sobre a CPU.

• InfiniBand é uma malha proprietária, construída de raiz, projetada para o mais alto desempenho possível e operação nativa sem perdas.
• RoCE v2 (RDMA over Converged Ethernet) aplica os benefícios do RDMA sobre Ethernet padrão, oferecendo uma opção encaminhável e mais económica, mas que requer configurações específicas para não ter perdas.
• iWARP é outra solução de RDMA sobre Ethernet baseada em TCP, mas é geralmente menos comum e oferece um desempenho inferior ao RoCE v2.

A escolha da interconexão correta é uma decisão estratégica que depende das necessidades de desempenho, do orçamento, da infraestrutura existente e dos objetivos de escalabilidade. Este relatório analisa estas tecnologias, compara-as com a Ethernet/TCP/IP padrão e explora novas alternativas como CXL e NVLink para ajudar a orientar esta decisão crítica.

II. Introdução às Redes de Alto Desempenho e RDMA

O mundo digital de hoje caracteriza-se pelo crescimento exponencial de aplicações com uso intensivo de dados, como a Computação de Alto Desempenho (HPC), Inteligência Artificial/Aprendizagem Automática (IA/ML) e análise de Big Data. Estas cargas de trabalho necessitam de mover enormes conjuntos de dados de forma rápida e eficiente entre nós de computação e armazenamento. Por exemplo, as aplicações de IA são altamente sensíveis à integridade dos dados e requerem redes sem perdas, onde uma única mensagem perdida pode arruinar uma sessão de treino inteira. O tráfego de alta largura de banda também é essencial para que estas aplicações processem dados eficientemente.

Limitações da Ethernet TCP/IP Tradicional para Aplicações de Alto Desempenho

Apesar de ser fiável para redes genéricas, a Ethernet TCP/IP tradicional tem grandes limitações para aplicações de alto desempenho:

• Elevada Latência e Sobrecarga da CPU: O design do TCP/IP envia dados através de múltiplas camadas de software no kernel do sistema operativo, exigindo um envolvimento significativo da CPU. Este processo adiciona uma latência considerável (tipicamente dezenas de microssegundos) e impõe uma carga pesada à CPU. Para aplicações sensíveis à latência, isto torna-se um grande estrangulamento, uma vez que a CPU passa o seu tempo a gerir o tráfego de rede em vez de executar a aplicação. Este "imposto sobre a CPU" resultante da mudança de contexto e da cópia de dados é uma das principais razões para a adoção de tecnologias RDMA, que descarregam o processamento de rede e libertam a CPU para tarefas da aplicação.
• Limitações de Débito: Vários fatores limitam o débito efetivo do TCP, incluindo o tamanho da janela de transmissão, o tamanho do segmento e a perda de pacotes. O tamanho padrão da janela TCP (frequentemente limitado a 65.535 bytes) pode impedir a utilização total de ligações de alta largura de banda, especialmente em redes com maior latência. Além disso, o principal mecanismo de fiabilidade do TCP — a retransmissão de pacotes — introduz atrasos e utiliza largura de banda extra, prejudicando o desempenho em redes congestionadas ou com perdas.
• Desafios de Escalabilidade: Embora o TCP/IP escale bem para redes grandes, o seu design prioriza a fiabilidade geral em detrimento do desempenho bruto. Isto torna-o menos eficaz para cenários que exigem débito extremo e latência mínima, como clusters HPC de grande escala ou inferência de IA em tempo real.

Fundamentos do Acesso Remoto Direto à Memória (RDMA) e os Seus Benefícios Principais

O Acesso Remoto Direto à Memória (RDMA) foi desenvolvido para superar as limitações do TCP/IP em ambientes de alto desempenho. Os seus principais benefícios provêm do facto de contornar a CPU e o sistema operativo durante as transferências de dados:

• Acesso Direto à Memória (Zero-Copy): O RDMA transfere dados diretamente da memória de um computador para a de outro sem envolver a CPU ou o SO de nenhum dos sistemas. Esta abordagem "zero-copy" elimina buffers de dados intermédios e mudanças de contexto, que são as principais fontes de sobrecarga nas redes tradicionais.
• Latência e Carga da CPU Reduzidas: Ao contornar a CPU e o SO, o RDMA reduz drasticamente a latência de comunicação e liberta ciclos de CPU. Isto resulta diretamente em computações mais rápidas e melhor processamento de dados em tempo real. Por exemplo, a latência da aplicação pode descer de cerca de 50 microssegundos com TCP/IP para apenas 2-5 microssegundos com RDMA.
• Maior Utilização da Largura de Banda: O caminho de dados eficiente e a sobrecarga reduzida do RDMA permitem que as aplicações utilizem melhor a largura de banda de rede disponível, resultando num débito efetivo mais elevado.
• Principais Implementações: As principais tecnologias RDMA utilizadas atualmente são InfiniBand, RoCE (versões 1 e 2) e iWARP.

III. RoCE v2: RDMA sobre Ethernet Convergente

O RoCE v2 representa um grande avanço nas redes de alto desempenho, estendendo as vantagens do RDMA ao ecossistema Ethernet amplamente utilizado.

A. Princípios Arquitetónicos

• Evolução do RoCE v1: O RoCE v1 era um protocolo de Camada 2 (Ethertype 0x8915), o que o confinava a um único domínio de broadcast Ethernet e limitava a sua escalabilidade. O RoCE v2 resolve isto operando na camada de internet. Encapsula o tráfego RDMA em pacotes UDP/IP (utilizando a porta de destino UDP 4791), tornando-o encaminhável através de redes IP de Camada 3. Esta capacidade de encaminhamento é uma melhoria crítica, permitindo que o RoCE v2 seja utilizado em centros de dados de grande escala e ambientes de nuvem.
• Integração de RDMA sobre Ethernet: O RoCE fornece um método para realizar RDMA sobre uma rede Ethernet padrão. Substitui efetivamente a camada de rede InfiniBand por cabeçalhos IP e UDP, mantendo a camada de transporte principal do InfiniBand e o protocolo RDMA. Este design permite que o RoCE tire partido da infraestrutura Ethernet existente.
• Formato do Pacote: Um pacote RoCE v2 inclui um cabeçalho IP e um cabeçalho UDP, que encapsulam o Protocolo de Transporte RDMA. Embora o UDP não garanta a ordem dos pacotes, a norma RoCE v2 exige que os pacotes com a mesma porta de origem e endereço de destino não sejam reordenados.
• O Compromisso do "Melhor de Dois Mundos": O design do RoCE v2 é um compromisso estratégico, que visa oferecer o alto desempenho do RDMA na plataforma Ethernet flexível, económica e ubíqua. Embora esta abordagem ofereça uma ampla compatibilidade, cria um desafio fundamental: garantir o desempenho sem perdas de que o RDMA necessita numa rede Ethernet, que é inerentemente com perdas.

B. Perfil de Desempenho

• Latência: Os Adaptadores de Canal de Host (HCAs) RoCE podem atingir latências muito baixas, de apenas 1,3 microssegundos. Ao nível da aplicação, o RoCE reduz a latência para cerca de 5 microssegundos, uma melhoria enorme em relação aos 50 microssegundos típicos com TCP/IP. Embora o InfiniBand ofereça uma latência nativa ligeiramente inferior, o desempenho do RoCE é excelente para aplicações em tempo real.
• Largura de Banda: O RoCE v2 suporta alta largura de banda, com velocidades de até 400 Gbps por porta.
• Descarga da CPU: Tal como outros protocolos RDMA, o RoCE contorna a CPU para as transferências de dados. Esta descarga liberta recursos valiosos da CPU para tarefas computacionalmente intensivas, em vez do processamento de rede.
• Desempenho Sem Perdas: Para igualar o desempenho do InfiniBand, o RoCE depende de uma rede Ethernet sem perdas. Isto é tipicamente alcançado através da implementação de funcionalidades de Data Center Bridging (DCB), especialmente o Controlo de Fluxo Prioritário (PFC) e a Notificação Explícita de Congestionamento (ECN).

C. Infraestrutura e Gestão

• Requisitos de Hardware/Software: O RoCE funciona com hardware Ethernet padrão, como switches e cabos, permitindo que as organizações utilizem a sua infraestrutura existente. No entanto, requer Adaptadores de Canal de Host (HCAs) compatíveis com RoCE nos pontos de extremidade. O suporte de software é maduro, com implementações no Mellanox OFED 2.3+ e integrado no Kernel Linux v4.5+.
• Configuração de Rede Sem Perdas: Embora o RoCE utilize Ethernet padrão, criar uma rede DCB sem perdas pode ser mais complexo do que configurar uma rede InfiniBand. Todos os componentes, desde os pontos de extremidade até aos switches, devem ser cuidadosamente configurados. Isto inclui a configuração do Controlo de Fluxo Prioritário (PFC), da Seleção de Transmissão Melhorada (ETS) e de mecanismos de notificação de congestionamento. Para funcionar em redes de Camada 3, estas características sem perdas devem ser mantidas através dos routers, muitas vezes mapeando as definições de prioridade da Camada 2 para as definições de QoS DSCP da Camada 3.
• Considerações de Gestão: O RoCE pode ser gerido com ferramentas Ethernet padrão. No entanto, garantir um desempenho consistente sem perdas e gerir o congestionamento em implementações de RoCE v2 de grande escala pode ser desafiador e requer conhecimentos especializados.
• O Custo Oculto da "Relação Custo-Benefício": O RoCE é frequentemente chamado de "económico" porque pode utilizar a infraestrutura Ethernet existente, mas isto é uma simplificação excessiva. Alcançar um desempenho semelhante ao do InfiniBand requer uma rede Ethernet sem perdas perfeitamente configurada. A complexidade da configuração de funcionalidades de Data Center Bridging (DCB), como PFC e ECN, pode ser muito superior à configuração de uma rede InfiniBand. Esta complexidade leva a custos operacionais mais elevados no design, resolução de problemas e gestão da rede, e pode exigir switches Ethernet mais caros. Como resultado, as poupanças iniciais de hardware com o RoCE podem ser anuladas por estes custos operacionais mais elevados. Uma análise aprofundada do custo total de propriedade (TCO) é essencial para uma comparação precisa.

D. Aplicações Principais

O RoCE v2 é uma excelente solução para muitas aplicações de centros de dados e empresariais. É especialmente adequado para ambientes que necessitam de latência ultrabaixa e alto débito, como cargas de trabalho de IA, negociação de alta frequência e análise em tempo real. Também melhora o desempenho de aplicações que dependem fortemente de bases de dados ou de E/S de ficheiros. Além disso, o RoCE v2 ajuda na continuidade de negócios e na recuperação de desastres, permitindo uma replicação de dados rápida e eficiente. A sua utilização generalizada em clusters de treino de IA destaca a sua importância na computação moderna.

IV. InfiniBand: A Malha Especializada de Alto Desempenho

O InfiniBand é uma interconexão de alto desempenho de primeira linha, projetada desde o início para fornecer velocidade inigualável, latência mínima e alta fiabilidade para ambientes de computação exigentes.

A. Princípios Arquitetónicos

• RDMA Nativo: O InfiniBand foi construído com RDMA integrado em toda a sua pilha de protocolos, desde a camada física até ao topo. Este design de raiz garante que as operações RDMA sejam altamente eficientes, criando canais de dados diretos e protegidos entre nós sem envolvimento da CPU.
• Topologia de Malha Comutada: O InfiniBand utiliza uma topologia de malha comutada para ligações ponto-a-ponto diretas entre dispositivos. A arquitetura inclui Adaptadores de Canal de Host (HCAs) nos processadores e Adaptadores de Canal de Destino (TCAs) nos periféricos, permitindo uma comunicação eficiente.
• Controlo de Fluxo Baseado em Créditos: Uma característica central do InfiniBand é o seu controlo de fluxo baseado em créditos. Este algoritmo a nível de hardware garante uma comunicação sem perdas, assegurando que um remetente só transmite dados se o recetor tiver espaço de buffer (créditos) suficiente para os aceitar. Esta fiabilidade nativa impede a perda de pacotes e distingue o InfiniBand de tecnologias que necessitam de configurações de camadas superiores para não terem perdas.
• Normas Proprietárias: O InfiniBand segue normas proprietárias definidas pela InfiniBand Trade Association (IBTA), fundada em 1999. O ecossistema é fortemente dominado pela NVIDIA (através da sua aquisição da Mellanox), um dos principais fabricantes de adaptadores e switches InfiniBand.

B. Perfil de Desempenho

• Latência Ultrabaixa: O InfiniBand oferece consistentemente a latência mais baixa. As latências dos adaptadores podem ser tão baixas quanto 0,5 microssegundos, e a latência de porta a porta do switch é de cerca de 100 nanossegundos — significativamente inferior aos 230 nanossegundos de switches Ethernet comparáveis. Ao nível da aplicação, o InfiniBand pode atingir latências de apenas 2 microssegundos, em comparação com os 50 microssegundos do TCP/IP.
• Capacidades de Alto Débito: O InfiniBand suporta taxas de dados extremamente elevadas. Versões modernas como HDR e NDR oferecem até 200 Gbps e 400 Gbps por via. Ligações agregadas podem atingir um débito ainda maior, chegando a 800 Gbps (NDR) e até 1,6 Tbps (XDR).
• Eficiência da CPU: Um dos pontos fortes do InfiniBand é a sua capacidade de fornecer latência ultrabaixa e largura de banda extremamente elevada com quase nenhum consumo de CPU. Esta descarga do processamento de rede é um benefício crítico para cargas de trabalho computacionalmente pesadas.
• Desempenho por Design vs. Desempenho por Configuração: O InfiniBand e o RoCE têm uma diferença fundamental na sua abordagem. O InfiniBand foi projetado de raiz para RDMA, com as suas camadas física e de transporte concebidas para fiabilidade a nível de hardware, incluindo um algoritmo nativo baseado em créditos para comunicação sem perdas. Em contraste, o RoCE funciona em Ethernet padrão e depende da configuração de funcionalidades como o Controlo de Fluxo Prioritário (PFC) e a Notificação Explícita de Congestionamento (ECN) para criar uma rede sem perdas. Isto significa que o InfiniBand oferece um alto desempenho garantido de imediato, enquanto o desempenho do RoCE depende da qualidade da configuração Ethernet subjacente.

C. Infraestrutura e Gestão

• Hardware Dedicado: O InfiniBand requer hardware especializado, incluindo Adaptadores de Canal de Host (HCAs) dedicados, switches, routers e cabos proprietários. Isto resulta tipicamente num investimento inicial mais elevado em comparação com soluções baseadas em Ethernet.
• Gestão Centralizada: As redes InfiniBand são geridas por um Gestor de Sub-rede (SM) central, que calcula e distribui tabelas de encaminhamento e gere configurações como partições e Qualidade de Serviço (QoS). Esta abordagem centralizada pode simplificar a gestão em grandes clusters após a configuração inicial.
• Conhecimentos Especializados: A implementação e manutenção de redes InfiniBand geralmente requerem conhecimentos especializados, o que pode aumentar os custos operacionais e criar uma curva de aprendizagem mais acentuada para a equipa de TI.
• Ecossistema: O ecossistema InfiniBand é maduro, mas dominado pela NVIDIA/Mellanox.

D. Aplicações Principais

O InfiniBand é o padrão da indústria para ambientes de Computação de Alto Desempenho (HPC) e é a interconexão com o crescimento mais rápido para estas aplicações. É a principal tecnologia recomendada pela IBTA. A sua latência ultrabaixa e alta largura de banda são essenciais para cargas de trabalho exigentes como o treino de modelos de IA/ML de grande escala, análise de big data e operações massivas de bases de dados. Também é crucial para grandes simulações (por exemplo, previsão meteorológica) e serviços financeiros de alta frequência, onde a velocidade e a integridade dos dados são críticas. Em junho de 2022, 62% dos 100 maiores supercomputadores do mundo utilizavam InfiniBand.

V. iWARP: RDMA sobre TCP/IP Padrão

O iWARP (Internet Wide Area RDMA Protocol) é outro método para implementar RDMA, notável pelo seu uso do conjunto de protocolos TCP/IP padrão.

A. Princípios Arquitetónicos

• RDMA sobre TCP/IP: O iWARP é um protocolo que implementa RDMA sobre redes IP padrão. Ao contrário do RoCE, que utiliza UDP, o iWARP é construído sobre protocolos de transporte fiáveis como o TCP e o SCTP.
• Componentes-Chave: A operação do iWARP depende de vários componentes. O Protocolo de Colocação Direta de Dados (DDP) permite a transmissão zero-copy, colocando os dados diretamente na memória de uma aplicação. O Protocolo de Acesso Remoto Direto à Memória (RDMAP) fornece os serviços para operações de leitura e escrita RDMA. É necessária uma camada de adaptação específica, o enquadramento Alinhado com PDU de Marcador (MPA), para permitir o DDP sobre TCP.
• Fiabilidade: Uma característica única do iWARP é que a sua fiabilidade é fornecida pelo protocolo TCP subjacente. Isto é diferente do RoCE v2, que utiliza UDP e requer mecanismos externos como o Data Center Bridging (DCB) para fiabilidade. Como resultado, o iWARP suporta apenas comunicação fiável e conectada.

B. Perfil de Desempenho

• Latência e Débito Comparativos: Embora o iWARP tenha uma latência inferior à do TCP/IP tradicional, o seu desempenho é geralmente pior do que o do RoCE. Em 2011, a latência mais baixa do HCA iWARP era de 3 microssegundos, enquanto os HCAs RoCE atingiam 1,3 microssegundos. Os benchmarks mostram consistentemente que o RoCE entrega mensagens muito mais rápido do que o iWARP, com um débito mais de 2X superior a 40GbE e 5X superior a 10GbE.
• Descarga da CPU: Tal como outros protocolos RDMA, o iWARP minimiza a carga da CPU ao permitir transferências diretas de memória. Pode utilizar Motores de Descarga TCP (TOE) com hardware RDMA para alcançar resultados zero-copy e reduzir ainda mais o envolvimento da CPU.

C. Infraestrutura e Gestão

• Compatibilidade com Ethernet Padrão: Um dos principais benefícios do iWARP é a sua capacidade de funcionar sobre a infraestrutura Ethernet padrão com alterações mínimas na rede existente. Isto permite que as organizações aproveitem os seus investimentos atuais.
• Requisitos de Hardware: Apesar da sua compatibilidade com switches Ethernet padrão, o iWARP ainda requer placas de rede compatíveis com iWARP nos pontos de extremidade.
• Aspetos de Integração: O iWARP está integrado nos principais sistemas operativos como o Microsoft Windows Server e os kernels Linux modernos. Isto suporta aplicações como SMB Direct, Extensões iSCSI para RDMA (iSER) e Sistema de Ficheiros em Rede sobre RDMA (NFS sobre RDMA).
• Desafios de Gestão: Gerir o tráfego iWARP pode ser difícil. Partilha o espaço de portas do TCP, o que complica a gestão de fluxos e torna difícil identificar o tráfego RDMA. No geral, o iWARP é considerado mais difícil de gerir do que o RoCE.

D. Relevância no Mercado

• Adoção Limitada: O iWARP é uma implementação de RDMA "incomum" ou "menos utilizada" em comparação com o InfiniBand e o RoCE v2. As suas soluções tiveram um "sucesso limitado" devido a desafios na implementação e implantação.
• O Paradoxo da Dependência do TCP: A escolha de design do iWARP de sobrepor o RDMA ao TCP proporciona fiabilidade e compatibilidade incorporadas mas, paradoxalmente, impede-o de alcançar plenamente os benefícios centrais do RDMA. A sobrecarga inerente do protocolo TCP, mesmo com descarga de hardware, parece impedir o iWARP de atingir a latência ultrabaixa e o alto débito do InfiniBand ou do RoCE. Este compromisso de desempenho levou à sua limitada adoção no mercado.

VI. Análise Comparativa: RoCE v2 vs. InfiniBand vs. iWARP vs. Ethernet Padrão

Uma comparação detalhada das métricas de desempenho, infraestrutura e operacionais é fundamental para selecionar a interconexão de alto desempenho correta.

A. Benchmarks de Desempenho

O desempenho destas interconexões difere muito, especialmente em latência, largura de banda e utilização da CPU.

• Latência:
  • InfiniBand: Oferece a latência mais baixa. A latência de porta a porta do switch é de cerca de 100 nanossegundos, enquanto a latência do adaptador é tão baixa quanto 0,5 a 1,3 microssegundos. A latência ao nível da aplicação pode ser de apenas 2 microssegundos.
  • RoCE v2: Proporciona uma latência ultrabaixa. A latência do switch Ethernet é de cerca de 230 nanossegundos, enquanto a latência do HCA pode ser tão baixa quanto 1,3 microssegundos. A latência ao nível da aplicação é tipicamente de cerca de 5 microssegundos.
  • iWARP: Tem uma latência superior à do RoCE, com a latência do HCA reportada em cerca de 3 microssegundos (dados de 2011). Tem consistentemente um desempenho pior do que o RoCE.
  • TCP/IP Padrão: Tem a latência mais alta, com uma latência unidirecional de 10 a 55 milissegundos. A latência ao nível da aplicação é tipicamente de cerca de 50 microssegundos.
• Largura de Banda:
  • InfiniBand: Suporta uma largura de banda muito elevada. Versões modernas como o NDR oferecem até 400 Gbps por porta, e o XDR atinge até 800 Gbps. O futuro GDR está projetado para atingir 1,6 Tbps.
  • RoCE v2: Capaz de alta largura de banda, suportando até 400 Gbps por porta.
  • iWARP: Geralmente tem um débito inferior ao do RoCE.
  • TCP/IP Padrão: O débito é frequentemente limitado pela sobrecarga do protocolo e pelas retransmissões, tornando difícil a utilização eficiente de ligações de alta largura de banda.
• Descarga da CPU:
  • InfiniBand, RoCE v2, iWARP: Todas as três tecnologias RDMA descarregam um trabalho significativo da CPU ao contornar o sistema operativo, libertando recursos da CPU para outras tarefas.
  • TCP/IP Padrão: Incorre numa elevada carga de CPU porque o kernel está fortemente envolvido no processamento de dados.
• Mecanismo Sem Perdas:
  • InfiniBand: Apresenta um controlo de fluxo nativo, baseado em créditos a nível de hardware, que garante uma comunicação sem perdas.
  • RoCE v2: Depende de uma configuração Ethernet sem perdas, utilizando funcionalidades de Data Center Bridging (DCB) como PFC e ECN. Também possui um mecanismo de entrega fiável de ponta a ponta com retransmissões por hardware.
  • iWARP: Utiliza o transporte fiável incorporado do TCP para a integridade dos dados.
  • TCP/IP Padrão: Utiliza um modelo de entrega de melhor esforço (best-effort), dependendo de retransmissões em camadas superiores para garantir a fiabilidade, o que adiciona latência.

A tabela seguinte resume as características de desempenho:

Característica	InfiniBand	RoCE v2	iWARP	Ethernet/TCP/IP Padrão
Tecnologia Principal	RDMA Nativo	RDMA sobre Ethernet (UDP/IP)	RDMA sobre Ethernet (TCP/IP)	Protocolo em Camadas Tradicional
Latência Típica da Aplicação (µs)	2	5	>3 (HCA 2011)	50
Latência Porta-a-Porta do Switch (ns)	100	230	N/A (depende da Ethernet)	Tipicamente mais alta, variável
Largura de Banda Máx. (Gbps por porta/ligação)	400 (NDR), 800 (XDR), 1.6T (GDR)	400	Geralmente inferior ao RoCE	400+ (mas limitado pela sobrecarga do protocolo)
Sobrecarga da CPU	Quase Nula	Muito Baixa	Baixa	Alta
Mecanismo Sem Perdas	Controlo de Fluxo Nativo Baseado em Créditos	Requer Ethernet Sem Perdas (PFC, ECN)	Transporte Fiável do TCP	Melhor Esforço, Depende de Retransmissões
Encaminhamento (L2/L3)	L3 (via Gestor de Sub-rede)	L3 (RoCE Encaminhável)	L3	L3 (Encaminhamento IP Padrão)

B. Infraestrutura e Ecossistema

• Dependências de Hardware:
  • InfiniBand: Requer um conjunto completo de hardware especializado, incluindo HCAs InfiniBand, switches e cabos proprietários.
  • RoCE v2: Requer HCAs compatíveis com RoCE, mas funciona sobre switches e cabos Ethernet padrão, permitindo a integração com redes existentes.
  • iWARP: Requer placas de rede compatíveis com iWARP, mas pode usar switches Ethernet padrão.
  • Ethernet Padrão: Utiliza NICs e switches Ethernet de baixo custo, amplamente disponíveis.
• Dependência de Fornecedor (Vendor Lock-in):
  • InfiniBand: O ecossistema é limitado e dominado pela Mellanox (NVIDIA), o que pode levantar preocupações sobre a dependência de um único fornecedor.
  • RoCE v2: Beneficia de um ecossistema Ethernet grande e competitivo com múltiplos fornecedores. Alguns oferecem NICs "Universal RDMA" que suportam tanto RoCE como iWARP, reduzindo a dependência.
  • iWARP: Também beneficia do amplo ecossistema Ethernet, com suporte de fornecedores como a Intel e a Chelsio.
• Interoperabilidade:
  • InfiniBand: Como uma norma proprietária, todos os componentes devem aderir às especificações da IBTA para garantir que funcionam em conjunto.
  • RoCE v2: A sua base em Ethernet padrão permite uma interoperabilidade mais ampla e uma integração mais fácil com redes existentes.
  • iWARP: Baseado em RFCs IETF padrão para TCP/IP, garantindo alta compatibilidade em redes IP padrão.

C. Relação Custo-Benefício

• Investimento Inicial:
  • InfiniBand: Tipicamente requer um investimento inicial mais elevado devido ao hardware especializado e ao licenciamento. Para grandes clusters de IA, os switches InfiniBand podem ser significativamente mais caros do que os switches RoCE.
  • RoCE v2: Muitas vezes uma opção mais económica porque pode ser integrado com a Ethernet existente, reduzindo os custos com novo hardware. As poupanças em switches para grandes clusters de IA podem ser substanciais (49% a 70% em comparação com InfiniBand).
  • iWARP: Utiliza switches Ethernet padrão, mas requer adaptadores especializados, o que ainda pode representar um custo notável.
  • Ethernet Padrão: Geralmente a opção de menor custo devido ao seu hardware de consumo massivo (commodity).
• Custo Total de Propriedade (TCO):
  • InfiniBand: Tende a ter um TCO mais elevado devido ao hardware especializado, à manutenção e à necessidade de formação da equipa numa tecnologia proprietária.
  • RoCE v2: Pode ter um TCO mais baixo, mas isto é condicional. A complexidade de configurar e manter uma malha Ethernet sem perdas pode aumentar significativamente os custos operacionais. Embora os custos iniciais de hardware possam ser mais baixos, o conhecimento especializado e o esforço necessários para o design, resolução de problemas e manutenção podem anular essas poupanças. Portanto, a "relação custo-benefício" depende tanto do preço do hardware como da experiência e da carga de gestão da organização.
  • iWARP: Os desafios de integração e gestão podem afetar o seu TCO geral.

A tabela seguinte fornece uma visão geral comparativa das considerações de infraestrutura e custo:

Característica	InfiniBand	RoCE v2	iWARP	Ethernet/TCP/IP Padrão
Hardware de Rede Necessário	NICs IB Dedicadas, Switches IB, Cabos IB	NICs compatíveis com RoCE, Switches/Cabos Ethernet Padrão	NICs compatíveis com iWARP, Switches/Cabos Ethernet Padrão	NICs Ethernet Padrão, Switches/Cabos Ethernet
Compatibilidade de Rede	Proprietária (Norma IBTA)	Ethernet Padrão (IEEE)	Ethernet Padrão (RFCs IETF)	Ethernet Padrão (IEEE)
Complexidade de Gestão	Difícil (SM Especializado)	Difícil (Config. Ethernet Sem Perdas)	Mais difícil que RoCE	Fácil
Custo Inicial de Hardware (Relativo)	Alto	Moderado (Aproveita existente)	Moderado (NICs Especializadas)	Baixo
Custo Total de Propriedade (Relativo)	Mais Alto	Mais Baixo (Condicional à gestão)	Variável (Desafios de integração)	O Mais Baixo
Ecossistema de Fornecedores	Limitado (NVIDIA/Mellanox dominante)	Amplo (Múltiplos fornecedores Ethernet)	Amplo (Múltiplos fornecedores Ethernet)	Muito Amplo

D. Escalabilidade e Flexibilidade

• Capacidades de Encaminhamento:
  • InfiniBand: Utiliza uma malha comutada com encaminhamento gerido centralmente por um Gestor de Sub-rede (SM). É altamente escalável, suportando clusters com mais de 100.000 nós.
  • RoCE v2: A sua encapsulação UDP/IP permite que seja encaminhado sobre redes IP de Camada 3, tornando-o escalável em grandes redes e ambientes de nuvem. Também suporta ECMP para um balanceamento de carga eficiente.
  • iWARP: É encaminhável sobre redes IP.
  • Ethernet Padrão: Altamente escalável e flexível, mas pode requerer configurações avançadas como arquiteturas spine-leaf para eficiência ao nível de HPC.
• Topologias de Rede:
  • InfiniBand: Otimizado para clusters HPC/IA, suportando topologias de alto desempenho como Fat Tree, Dragonfly+ e Torus multidimensional.
  • RoCE v2: O seu encaminhamento baseado em IP torna-o adaptável a quase qualquer topologia de rede.
  • Ethernet Padrão: Suporta uma vasta gama de topologias, incluindo estrela e malha (mesh).

E. Fiabilidade e Controlo de Congestionamento

• Fiabilidade:
  • InfiniBand: Fornece fiabilidade nativa a nível de hardware com o seu controlo de fluxo baseado em créditos, garantindo uma comunicação sem perdas.
  • RoCE v2: Depende de uma configuração Ethernet sem perdas utilizando PFC e ETS. Inclui também um mecanismo de entrega fiável de ponta a ponta com retransmissão de pacotes baseada em hardware.
  • iWARP: Beneficia da fiabilidade inerente do TCP, que fornece correção de erros e retransmissões.
  • TCP/IP Padrão: Foca-se na fiabilidade através de retransmissões, o que pode adicionar latência significativa e reduzir o débito.
• Controlo de Congestionamento:
  • InfiniBand: Define os seus próprios mecanismos de controlo de congestionamento baseados na marcação FECN/BECN.
  • RoCE v2: Implementa um protocolo de controlo de congestionamento utilizando bits IP ECN e Pacotes de Notificação de Congestionamento (CNPs). Práticas da indústria como o DCQCN também são utilizadas.
  • iWARP: Depende dos algoritmos de controlo de congestionamento estabelecidos do TCP.

F. Adequação à Aplicação

• InfiniBand: A escolha ideal para ambientes que necessitam do mais alto débito de dados e da menor latência. Isto inclui investigação científica, modelação financeira, clusters HPC de grande escala e as cargas de trabalho de treino de IA/ML mais exigentes.
• RoCE v2: Favorecido por empresas que querem utilizar a sua infraestrutura Ethernet existente, mas que ainda necessitam de alto desempenho. É adequado para redes de armazenamento, análise em tempo real e serviços de nuvem, oferecendo um equilíbrio entre desempenho e custo.
• iWARP: Pode ser considerado para aplicações de nicho onde a infraestrutura TCP/IP existente é um requisito estrito e a latência ultrabaixa não é a principal prioridade. É adequado para aplicações como NVMeoF, iSER, SMB Direct e NFS sobre RDMA, ou como uma opção de baixo custo para ambientes de teste.
• Ethernet/TCP/IP Padrão: Continua a ser a melhor escolha para redes de uso geral, como LANs empresariais e infraestruturas de nuvem onde o desempenho extremo de HPC/IA não é o principal objetivo.
• O Trilema Desempenho-Custo-Complexidade: Esta análise revela um compromisso fundamental na escolha de uma interconexão: um trilema entre desempenho, custo e complexidade. O InfiniBand oferece desempenho de topo e fiabilidade nativa, mas a um custo mais elevado. O RoCE v2 proporciona um desempenho próximo do InfiniBand em Ethernet, potencialmente reduzindo os custos de hardware, mas adicionando uma complexidade de configuração significativa. O iWARP oferece RDMA sobre TCP, mas com menor desempenho. A Ethernet padrão é económica, mas não tem o desempenho necessário para cargas de trabalho exigentes. Não existe uma única solução "melhor"; a escolha certa requer um equilíbrio destes três fatores com base em necessidades e capacidades específicas.

A tabela seguinte descreve a adequação de cada tecnologia às aplicações:

Tecnologia	Casos de Uso Principais	Mais Adequado Para	Menos Adequado Para
InfiniBand	HPC, Treino de IA/ML, Análise de Big Data, Serviços Financeiros (Arbitragem)	Ambientes que exigem a latência mais baixa absoluta, a maior largura de banda e garantias nativas sem perdas	Redes empresariais gerais sensíveis ao custo, ambientes sem conhecimentos de TI especializados
RoCE v2	Centros de Dados, Serviços de Nuvem, Redes de Armazenamento, Análise em Tempo Real, Inferência de IA/ML	Organizações que aproveitam a infraestrutura Ethernet existente para alto desempenho; equilíbrio entre custo e desempenho	Ambientes onde as garantias nativas sem perdas não são negociáveis sem vastos conhecimentos de configuração
iWARP	NVMeoF, iSER, SMB Direct, NFS sobre RDMA, Ambientes de Teste/Desenvolvimento	Aplicações específicas que requerem RDMA sobre TCP/IP existente, onde o desempenho máximo absoluto não é crítico	Clusters HPC/IA de grande escala, aplicações em tempo real sensíveis à latência
Ethernet/TCP/IP Padrão	Redes Empresariais Gerais, LANs, Conectividade à Internet, Infraestrutura de Nuvem	Redes de uso geral ubíquas, económicas e flexíveis	Computação de alto desempenho, treino de IA/ML e outras cargas de trabalho sensíveis à latência e intensivas em CPU

VII. Interconexões de Alto Desempenho Emergentes e Tendências Futuras

O panorama das redes de alto desempenho está sempre a mudar, impulsionado por cargas de trabalho intensivas em dados e pela necessidade de maior eficiência. Para além das tecnologias RDMA estabelecidas, novas interconexões e tendências estão a moldar o futuro dos centros de dados.

A. Compute Express Link (CXL)

O CXL é uma interconexão moderna construída sobre a camada física PCIe, projetada para sistemas de computação geral. O seu principal objetivo é permitir uma comunicação rápida e transparente entre CPUs e aceleradores como GPUs e FPGAs.

As principais características do CXL incluem transferência de dados de alta velocidade, ampla compatibilidade e partilha eficiente de memória através da Coerência de Cache. Suporta três tipos de dispositivos (para aceleradores, dispositivos com coerência de cache e expansores de memória) e topologias flexíveis. O CXL/PCIe Gen5 oferece um débito máximo de 512 Gbps com uma latência de cerca de 500 nanossegundos. Embora o InfiniBand tenha uma latência mais baixa (cerca de 100 nanossegundos), o CXL é superior para o acesso à memória de baixa latência onde a coerência de cache é crítica.

Um desenvolvimento importante foi a fusão dos Consórcios Gen-Z e CXL em 2022, o que posiciona o CXL como o único padrão da indústria para esta classe de interconexões focadas na memória.

O CXL representa uma mudança da rede tradicional de nó-a-nó (como RoCE e InfiniBand) para a coerência de memória e a desagregação de recursos. Isto significa que, para certas cargas de trabalho, o CXL pode tornar-se a interconexão principal, complementando ou reduzindo a necessidade de malhas de rede tradicionais.

B. NVLink

O NVLink é a interconexão proprietária de alta largura de banda e baixa latência da NVIDIA, concebida para a comunicação direta GPU-a-GPU e GPU-a-CPU nas suas plataformas de computação acelerada.

O NVLink é uma parte fundamental das soluções da NVIDIA para IA e HPC, como as suas arquiteturas GB200 e GB300. É crucial para escalar o treino de modelos de IA, fornecendo transferências de dados extremamente rápidas entre GPUs.

O NVLink mostra uma tendência para a integração vertical e o desempenho especializado. A sua natureza proprietária contrasta com padrões abertos como o RoCE ou o InfiniBand. Este design maximiza o desempenho dentro da pilha de hardware de um único fornecedor. Enquanto o InfiniBand e o RoCE lidam com a rede geral entre nós, o NVLink otimiza a comunicação dentro e entre sistemas de GPU, criando uma arquitetura de interconexão em camadas onde diferentes tecnologias servem diferentes necessidades.

C. Velocidades Futuras da Ethernet

A Ethernet evoluiu de 10 Mbps para 400 Gbps, e o desenvolvimento continua com os padrões de 800GbE e 1.6TbE no horizonte. Estas velocidades mais rápidas serão essenciais para aplicações de próxima geração como a computação quântica, IA avançada e tecnologias imersivas.

O aumento contínuo nas velocidades da Ethernet beneficia diretamente o RoCE. Como o RoCE é construído sobre Ethernet, beneficia automaticamente destes avanços, ajudando-o a manter-se competitivo com o InfiniBand. O crescimento dos serviços de nuvem já está a impulsionar a implementação de 200GbE e 400GbE, com 800GbE e 1.6TbE a seguir.

A relevância contínua da Ethernet e do RoCE estão intimamente ligadas. À medida que as velocidades da Ethernet avançam, o RoCE torna-se um concorrente ainda mais forte para os centros de dados de alto desempenho, especialmente para organizações que querem aproveitar os seus investimentos em Ethernet existentes e evitar ecossistemas proprietários.

D. Computação Desagregada e Fotónica

• Computação Desagregada: Esta nova abordagem visa melhorar a eficiência dos centros de dados, desacoplando recursos como computação, armazenamento e memória dos servidores tradicionais. Estes recursos são depois reagrupados em conjuntos flexíveis ligados por redes avançadas. Um resultado fundamental é que a comunicação que antes ocorria dentro de um servidor agora atravessa a rede, aumentando drasticamente a carga e tornando a latência ultrabaixa crítica. Esta tendência reforça a necessidade de interconexões de alto desempenho como RoCE e InfiniBand e impulsiona o desenvolvimento de novas como o CXL.
• Fotónica nas Redes de Centros de Dados: A fotónica de silício integra componentes óticos em chips de silício, permitindo interconexões óticas de alta velocidade e baixo consumo de energia. Esta tecnologia oferece taxas de transferência de dados muito mais rápidas (acima de 100 Gbps), menor latência e melhor eficiência energética do que o cobre tradicional. Está a tornar-se essencial para satisfazer as crescentes exigências de tráfego nos centros de dados e para permitir a próxima geração de Ethernet de alta velocidade.

A relação entre estas tendências é simbiótica. As arquiteturas desagregadas requerem redes avançadas, que interconexões como RoCE, InfiniBand e CXL fornecem. Por sua vez, alcançar as velocidades necessárias para estas interconexões, especialmente para os futuros padrões de 800GbE e 1.6TbE, dependerá de tecnologias como a fotónica de silício.

VIII. Recomendações e Conclusão

A escolha de uma interconexão de alto desempenho é uma decisão estratégica crítica que deve estar alinhada com as necessidades específicas, orçamento, infraestrutura e visão a longo prazo de uma organização.

• Para Máximo Desempenho Bruto e HPC/IA de Missão Crítica: O InfiniBand é claramente o padrão de excelência. O seu RDMA nativo, controlo de fluxo baseado em créditos e design construído de raiz proporcionam a latência mais baixa e o débito mais elevado com desempenho garantido sem perdas. Organizações com orçamento e conhecimentos técnicos devem escolher InfiniBand para clusters de grande escala onde cada microssegundo conta.
• Para Alto Desempenho com Relação Custo-Benefício e Integração Ethernet: O RoCE v2 é uma alternativa forte e cada vez mais popular. Oferece ganhos de desempenho significativos sobre o TCP/IP e pode aproximar-se do desempenho do InfiniBand utilizando a infraestrutura Ethernet existente. É ideal para organizações que estão a atualizar os seus centros de dados sem uma remodelação completa. No entanto, esta escolha requer o compromisso de configurar e gerir cuidadosamente uma malha Ethernet sem perdas.
• Para Aplicações de Nicho ou Ambientes RDMA Legados sobre TCP: O iWARP pode ser adequado em casos específicos, especialmente onde a utilização da infraestrutura TCP/IP existente é obrigatória e o desempenho máximo não é a principal prioridade. No entanto, o seu desempenho inferior e maior complexidade de gestão limitam o seu uso em implementações modernas de alto desempenho.
• Para Redes de Uso Geral: A Ethernet/TCP/IP padrão continua a ser a escolha mais comum e económica para ambientes sem exigências extremas de desempenho. A sua facilidade de uso e hardware de consumo massivo tornam-na perfeita para redes empresariais gerais, LANs e infraestrutura de nuvem padrão.
• Considerar Tecnologias Emergentes para Prova de Futuro: As organizações devem observar o desenvolvimento do CXL para arquiteturas centradas na memória e desagregadas, pois complementa as malhas de rede tradicionais ao otimizar o agrupamento de recursos. Da mesma forma, o NVLink é crítico para otimizar a comunicação dentro dos sistemas pesados em GPU da NVIDIA. Estas tecnologias mostram uma diversificação das interconexões para diferentes camadas da hierarquia de computação. Além disso, o desenvolvimento da Ethernet de 800GbE e 1.6TbE, juntamente com os avanços na fotónica, continuarão a tornar o RoCE uma opção ainda mais poderosa.

Em conclusão, as redes de alto desempenho são complexas, impulsionadas pelas exigências da IA, do HPC e pela mudança para a computação desagregada. Embora o InfiniBand lidere em desempenho absoluto para ambientes especializados, o RoCE v2 oferece uma alternativa poderosa e flexível que une os benefícios do RDMA à ubiquidade da Ethernet. O surgimento do CXL e do NVLink indica uma diversificação estratégica das interconexões, otimizando diferentes camadas de comunicação. A solução ideal será sempre um equilíbrio estratégico entre requisitos de desempenho, custo, infraestrutura existente e uma visão de futuro.