Le nouveau HGX B200 offre une augmentation massive des performances pour les charges de travail d’IA par rapport au HGX H200, en particulier dans des domaines tels que les opérations FP8, INT8, FP16/BF16 et TF32 Tensor Core, où il affiche une amélioration de 125 %.
Cependant, si l’on considère les opérations FP32 et FP64, le gain est plus modeste, de l’ordre de 18,5 %.
Étonnamment, les performances du FP64 Tensor Core sont en réalité en baisse, diminuant d’environ 40 %.
Le B200 excelle en matière de mémoire, offrant une plus grande capacité de mémoire totale (1,5 To contre 1,1 To) et une bande passante NVSwitch GPU-à-GPU doublée. Cette communication plus rapide change la donne pour l’entraînement de modèles d’IA à grande échelle.
Cependant, lorsque l’on prend en compte le prix estimé, les choses deviennent intéressantes.
Le prix du B200 est environ 21,5 % plus élevé, donc bien que vous obteniez un gain important en performances d’IA, l’amélioration du calcul par dollar est moins spectaculaire, à environ 85 % pour la plupart des opérations d’IA (ce qui reste énorme).
Pour les charges de travail reposant fortement sur les opérations FP32 et FP64, vous pourriez même en avoir légèrement moins pour votre argent avec le B200.
| Feature | Unit | HGX H200 (8x H200 SXM) | HGX B200 (8x B200 SXM) | Performance Difference | Compute per Dollar Difference |
|---|---|---|---|---|---|
| INT8 Tensor Core | POPS | 32 | 72 | 125.00% | 85.11% |
| FP4 Tensor Core | PFLOPS | – | 144 | – | – |
| FP6 Tensor Core | PFLOPS | – | 72 | – | – |
| FP8 Tensor Core | PFLOPS | 32 | 72 | 125.00% | 85.11% |
| FP16/BF16 Tensor Core | PFLOPS | 16 | 36 | 125.00% | 85.11% |
| TF32 Tensor Core | PFLOPS | 8 | 18 | 125.00% | 85.11% |
| FP32 | TFLOPS | 540 | 640 | 18.52% | -2.50% |
| FP64 | TFLOPS | 270 | 320 | 18.52% | -2.50% |
| FP64 Tensor Core | TFLOPS | 540 | 320 | -40.74% | -51.25% |
| Memory | TB | 1.1 | 1.5 | 36.36% | 12.18% |
| NVSwitch GPU-to-GPU Bandwidth | GB/s | 900 | 1800 | 100.00% | 64.52% |
| Total Aggregate Bandwidth | TB/s | 7.2 | 14.4 | 100.00% | 64.52% |
| Estimated Price | USD | 290000 | 352500 | 21.55% | – |