Il nuovo HGX B200 offre un notevole incremento delle prestazioni per i carichi di lavoro di intelligenza artificiale rispetto all’HGX H200, in particolare in aree come le operazioni FP8, INT8, FP16/BF16 e TF32 Tensor Core, dove vanta un miglioramento del 125%.
Tuttavia, se guardiamo a FP32 e FP64, il miglioramento è più contenuto, intorno al 18,5%.
Sorprendentemente, le prestazioni del FP64 Tensor Core subiscono un calo, diminuendo di circa il 40%.
Il B200 eccelle nel reparto memoria, offrendo una maggiore capacità di memoria totale (1,5 TB contro 1,1 TB) e una larghezza di banda NVSwitch GPU-to-GPU raddoppiata. Questa comunicazione più veloce cambia le carte in tavola per l’addestramento di modelli di intelligenza artificiale su larga scala.
Tuttavia, quando si considera il prezzo stimato, le cose si fanno interessanti.
Il prezzo del B200 è circa il 21,5% più alto, quindi, sebbene si ottenga un grande aumento delle prestazioni dell’intelligenza artificiale, il miglioramento del calcolo per dollaro è meno significativo, pari a circa l’85% per la maggior parte delle operazioni di intelligenza artificiale (comunque notevole).
Per i carichi di lavoro che si basano pesantemente su FP32 e FP64, si potrebbe persino ottenere un rapporto qualità-prezzo leggermente inferiore con il B200.
| Feature | Unit | HGX H200 (8x H200 SXM) | HGX B200 (8x B200 SXM) | Performance Difference | Compute per Dollar Difference |
|---|---|---|---|---|---|
| INT8 Tensor Core | POPS | 32 | 72 | 125.00% | 85.11% |
| FP4 Tensor Core | PFLOPS | – | 144 | – | – |
| FP6 Tensor Core | PFLOPS | – | 72 | – | – |
| FP8 Tensor Core | PFLOPS | 32 | 72 | 125.00% | 85.11% |
| FP16/BF16 Tensor Core | PFLOPS | 16 | 36 | 125.00% | 85.11% |
| TF32 Tensor Core | PFLOPS | 8 | 18 | 125.00% | 85.11% |
| FP32 | TFLOPS | 540 | 640 | 18.52% | -2.50% |
| FP64 | TFLOPS | 270 | 320 | 18.52% | -2.50% |
| FP64 Tensor Core | TFLOPS | 540 | 320 | -40.74% | -51.25% |
| Memory | TB | 1.1 | 1.5 | 36.36% | 12.18% |
| NVSwitch GPU-to-GPU Bandwidth | GB/s | 900 | 1800 | 100.00% | 64.52% |
| Total Aggregate Bandwidth | TB/s | 7.2 | 14.4 | 100.00% | 64.52% |
| Estimated Price | USD | 290000 | 352500 | 21.55% | – |