Noviji HGX B200 nudi znatno povećanje performansi za AI radna opterećenja u usporedbi s HGX H200, posebno u područjima kao što su operacije s FP8, INT8, FP16/BF16 i TF32 Tensor jezgrama, gdje se hvali s poboljšanjem od 125%.
Međutim, kada pogledamo FP32 i FP64, napredak je manji, oko 18,5%.
Iznenađujuće, performanse FP64 Tensor jezgri zapravo su pale, za oko 40%.
B200 se ističe u segmentu memorije, nudeći veći ukupni kapacitet memorije (1,5 TB naspram 1,1 TB) i dvostruko veću propusnost NVSwitch GPU-to-GPU. Ova brža komunikacija mijenja pravila igre za opsežno treniranje AI modela.
Međutim, kada u jednadžbu ubacite procijenjenu cijenu, stvari postaju zanimljive.
Cijena B200 je oko 21,5% viša, tako da, iako dobivate veliko povećanje performansi umjetne inteligencije, poboljšanje računalne snage po uloženom dolaru manje je dramatično, na oko 85% za većinu AI operacija (što je i dalje ogromno).
Za radna opterećenja koja se uvelike oslanjaju na FP32 i FP64, možda ćete čak dobiti i nešto manje za svoj novac s B200.
| Značajka | Jedinica | HGX H200 (8x H200 SXM) | HGX B200 (8x B200 SXM) | Razlika u performansama | Razlika u računalnoj snazi po uloženom dolaru |
|---|---|---|---|---|---|
| INT8 Tensor jezgra | POPS | 32 | 72 | 125.00% | 85.11% |
| FP4 Tensor jezgra | PFLOPS | – | 144 | – | – |
| FP6 Tensor jezgra | PFLOPS | – | 72 | – | – |
| FP8 Tensor jezgra | PFLOPS | 32 | 72 | 125.00% | 85.11% |
| FP16/BF16 Tensor jezgra | PFLOPS | 16 | 36 | 125.00% | 85.11% |
| TF32 Tensor jezgra | PFLOPS | 8 | 18 | 125.00% | 85.11% |
| FP32 | TFLOPS | 540 | 640 | 18.52% | -2.50% |
| FP64 | TFLOPS | 270 | 320 | 18.52% | -2.50% |
| FP64 Tensor jezgra | TFLOPS | 540 | 320 | -40.74% | -51.25% |
| Memorija | TB | 1.1 | 1.5 | 36.36% | 12.18% |
| NVSwitch GPU-to-GPU propusnost | GB/s | 900 | 1800 | 100.00% | 64.52% |
| Ukupna agregatna propusnost | TB/s | 7.2 | 14.4 | 100.00% | 64.52% |
| Procijenjena cijena | USD | 290000 | 352500 | 21.55% | – |
