Uuem HGX B200 pakub AI-koormuste jaoks tohutut jõudluse kasvu võrreldes HGX H200-ga, eriti sellistes valdkondades nagu FP8, INT8, FP16/BF16 ja TF32 Tensor Core operatsioonid, kus see uhkeldab 125% paranemisega.
Kui aga vaatame FP32 ja FP64, on see väiksem hüpe, umbes 18,5%.
Üllataval kombel FP64 Tensor Core jõudlus tegelikult langeb, langedes umbes 40%.
B200 paistab silma mälumahuga, pakkudes suuremat kogumälu (1,5 TB vs 1,1 TB) ja kahekordset NVSwitch GPU-GPU ribalaiust. See kiirem suhtlus on suur muutus suuremahulise AI-mudeli treenimisel.
Kui aga tuua pildile hinnanguline hind, muutuvad asjad huvitavaks.
B200 hinnasilt on umbes 21,5% kõrgem, nii et kuigi saate suure tõuke AI jõudluses, on arvutusvõimsus dollari kohta vähem dramaatiline, umbes 85% enamiku AI-operatsioonide puhul (ikka väga suur).
Töökoormuste puhul, mis sõltuvad suuresti FP32 ja FP64, võite B200-ga isegi saada veidi vähem raha eest.
| Funktsioon | Ühik | HGX H200 (8x H200 SXM) | HGX B200 (8x B200 SXM) | Jõudluse erinevus | Arvutusvõimsuse erinevus dollari kohta |
|---|---|---|---|---|---|
| INT8 Tensor Core | POPS | 32 | 72 | 125.00% | 85.11% |
| FP4 Tensor Core | PFLOPS | – | 144 | – | – |
| FP6 Tensor Core | PFLOPS | – | 72 | – | – |
| FP8 Tensor Core | PFLOPS | 32 | 72 | 125.00% | 85.11% |
| FP16/BF16 Tensor Core | PFLOPS | 16 | 36 | 125.00% | 85.11% |
| TF32 Tensor Core | PFLOPS | 8 | 18 | 125.00% | 85.11% |
| FP32 | TFLOPS | 540 | 640 | 18.52% | -2.50% |
| FP64 | TFLOPS | 270 | 320 | 18.52% | -2.50% |
| FP64 Tensor Core | TFLOPS | 540 | 320 | -40.74% | -51.25% |
| Mälu | TB | 1.1 | 1.5 | 36.36% | 12.18% |
| NVSwitch GPU-GPU ribalaius | GB/s | 900 | 1800 | 100.00% | 64.52% |
| Kogulaiusribalaius | TB/s | 7.2 | 14.4 | 100.00% | 64.52% |
| Hinnanguline hind | USD | 290000 | 352500 | 21.55% | – |