A nova HGX B200 oferece um enorme aumento de desempenho para cargas de trabalho de IA em comparação com a HGX H200, particularmente em áreas como operações FP8, INT8, FP16/BF16 e TF32 Tensor Core, onde apresenta uma melhoria de 125%.
No entanto, quando analisamos o desempenho em FP32 e FP64, o salto é menor, situando-se em torno de 18,5%.
Surpreendentemente, o desempenho do FP64 Tensor Core sofre efetivamente uma quebra, diminuindo cerca de 40%.
A B200 destaca-se no departamento de memória, oferecendo uma maior capacidade de memória total (1,5 TB vs 1,1 TB) e uma largura de banda NVSwitch GPU-para-GPU duplicada. Esta comunicação mais rápida é uma mais-valia para o treino de modelos de IA em grande escala.
No entanto, quando incluímos o preço estimado na equação, as coisas tornam-se interessantes.
O preço da B200 é cerca de 21,5% superior, portanto, embora obtenha um grande aumento no desempenho de IA, a melhoria de computação por euro gasto é menos impressionante, situando-se em torno de 85% para a maioria das operações de IA (ainda assim, enorme).
Para cargas de trabalho que dependem fortemente de FP32 e FP64, poderá até obter ligeiramente menos retorno pelo seu investimento com a B200.
| Característica | Unidade | HGX H200 (8x H200 SXM) | HGX B200 (8x B200 SXM) | Diferença de Desempenho | Diferença de Computação por Euro Gasto |
|---|---|---|---|---|---|
| INT8 Tensor Core | POPS | 32 | 72 | 125.00% | 85.11% |
| FP4 Tensor Core | PFLOPS | – | 144 | – | – |
| FP6 Tensor Core | PFLOPS | – | 72 | – | – |
| FP8 Tensor Core | PFLOPS | 32 | 72 | 125.00% | 85.11% |
| FP16/BF16 Tensor Core | PFLOPS | 16 | 36 | 125.00% | 85.11% |
| TF32 Tensor Core | PFLOPS | 8 | 18 | 125.00% | 85.11% |
| FP32 | TFLOPS | 540 | 640 | 18.52% | -2.50% |
| FP64 | TFLOPS | 270 | 320 | 18.52% | -2.50% |
| FP64 Tensor Core | TFLOPS | 540 | 320 | -40.74% | -51.25% |
| Memória | TB | 1.1 | 1.5 | 36.36% | 12.18% |
| Largura de Banda NVSwitch GPU-para-GPU | GB/s | 900 | 1800 | 100.00% | 64.52% |
| Largura de Banda Agregada Total | TB/s | 7.2 | 14.4 | 100.00% | 64.52% |
| Preço Estimado | USD | 290000 | 352500 | 21.55% | – |