El nuevo HGX B200 ofrece un aumento masivo en el rendimiento para cargas de trabajo de IA en comparación con el HGX H200, particularmente en áreas como las operaciones FP8, INT8, FP16/BF16 y TF32 Tensor Core, donde presume de una mejora del 125 %.
Sin embargo, cuando observamos FP32 y FP64, el salto es menor, de alrededor del 18,5 %.
Sorprendentemente, el rendimiento del FP64 Tensor Core en realidad se ve afectado, con una caída de alrededor del 40 %.
El B200 sí que destaca en el departamento de memoria, ofreciendo una mayor capacidad de memoria total (1,5 TB frente a 1,1 TB) y un ancho de banda NVSwitch GPU a GPU duplicado. Esta comunicación más rápida cambia las reglas del juego para el entrenamiento de modelos de IA a gran escala.
Sin embargo, cuando se introduce el precio estimado en la ecuación, las cosas se ponen interesantes.
El precio del B200 es aproximadamente un 21,5 % más alto, por lo que, si bien se obtiene un gran impulso en el rendimiento de la IA, la mejora del cómputo por dólar es menos espectacular, situándose alrededor del 85 % para la mayoría de las operaciones de IA (que sigue siendo enorme).
Para las cargas de trabajo que dependen en gran medida de FP32 y FP64, es posible que incluso estés obteniendo ligeramente menos por tu dinero con el B200.
| Feature | Unit | HGX H200 (8x H200 SXM) | HGX B200 (8x B200 SXM) | Performance Difference | Compute per Dollar Difference |
|---|---|---|---|---|---|
| INT8 Tensor Core | POPS | 32 | 72 | 125.00% | 85.11% |
| FP4 Tensor Core | PFLOPS | – | 144 | – | – |
| FP6 Tensor Core | PFLOPS | – | 72 | – | – |
| FP8 Tensor Core | PFLOPS | 32 | 72 | 125.00% | 85.11% |
| FP16/BF16 Tensor Core | PFLOPS | 16 | 36 | 125.00% | 85.11% |
| TF32 Tensor Core | PFLOPS | 8 | 18 | 125.00% | 85.11% |
| FP32 | TFLOPS | 540 | 640 | 18.52% | -2.50% |
| FP64 | TFLOPS | 270 | 320 | 18.52% | -2.50% |
| FP64 Tensor Core | TFLOPS | 540 | 320 | -40.74% | -51.25% |
| Memory | TB | 1.1 | 1.5 | 36.36% | 12.18% |
| NVSwitch GPU-to-GPU Bandwidth | GB/s | 900 | 1800 | 100.00% | 64.52% |
| Total Aggregate Bandwidth | TB/s | 7.2 | 14.4 | 100.00% | 64.52% |
| Estimated Price | USD | 290000 | 352500 | 21.55% | – |