Den nya HGX B200 ger ett enormt prestandalyft för AI-arbetslaster jämfört med HGX H200, särskilt inom områden som FP8, INT8, FP16/BF16 och TF32 Tensor Core-operationer, där den ståtar med en förbättring på 125 %.
Men när vi tittar på FP32 och FP64 är steget mindre, runt 18,5 %.
Förvånande nog får FP64 Tensor Core-prestandan faktiskt en smäll, och minskar med cirka 40 %.
B200 glänser dock när det gäller minne, och erbjuder en större total minneskapacitet (1,5 TB jämfört med 1,1 TB) och en fördubblad NVSwitch GPU-till-GPU-bandbredd. Denna snabbare kommunikation förändrar spelet för storskalig AI-modellträning.
Men när man tar med det uppskattade priset i bilden blir det intressant.
B200:s prislapp är cirka 21,5 % högre, så även om du får ett stort lyft i AI-prestanda är förbättringen i beräkning per krona mindre dramatisk, på ungefär 85 % för de flesta AI-operationer (fortfarande enormt).
För arbetslaster som är starkt beroende av FP32 och FP64 kan du till och med få något mindre valuta för pengarna med B200.
| Feature | Unit | HGX H200 (8x H200 SXM) | HGX B200 (8x B200 SXM) | Performance Difference | Compute per Dollar Difference |
|---|---|---|---|---|---|
| INT8 Tensor Core | POPS | 32 | 72 | 125.00% | 85.11% |
| FP4 Tensor Core | PFLOPS | – | 144 | – | – |
| FP6 Tensor Core | PFLOPS | – | 72 | – | – |
| FP8 Tensor Core | PFLOPS | 32 | 72 | 125.00% | 85.11% |
| FP16/BF16 Tensor Core | PFLOPS | 16 | 36 | 125.00% | 85.11% |
| TF32 Tensor Core | PFLOPS | 8 | 18 | 125.00% | 85.11% |
| FP32 | TFLOPS | 540 | 640 | 18.52% | -2.50% |
| FP64 | TFLOPS | 270 | 320 | 18.52% | -2.50% |
| FP64 Tensor Core | TFLOPS | 540 | 320 | -40.74% | -51.25% |
| Memory | TB | 1.1 | 1.5 | 36.36% | 12.18% |
| NVSwitch GPU-to-GPU Bandwidth | GB/s | 900 | 1800 | 100.00% | 64.52% |
| Total Aggregate Bandwidth | TB/s | 7.2 | 14.4 | 100.00% | 64.52% |
| Estimated Price | USD | 290000 | 352500 | 21.55% | – |