Novejša HGX B200 ponuja ogromno povečanje zmogljivosti za obremenitve z umetno inteligenco v primerjavi s HGX H200, zlasti na področjih, kot so operacije FP8, INT8, FP16/BF16 in TF32 Tensor Core, kjer se ponaša s 125-odstotnim izboljšanjem.
Če pa pogledamo FP32 in FP64, je skok manjši, približno 18,5-odstoten.
Presenetljivo pa se je zmogljivost FP64 Tensor Core dejansko poslabšala in padla za približno 40 %.
B200 se izkaže na področju pomnilnika, saj ponuja večjo skupno kapaciteto pomnilnika (1,5 TB proti 1,1 TB) in podvojeno pasovno širino NVSwitch GPU-to-GPU. Ta hitrejša komunikacija bistveno vpliva na obsežno usposabljanje modelov umetne inteligence.
Ko pa v enačbo vključite še ocenjeno ceno, postanejo stvari zanimive.
Cena B200 je približno 21,5 % višja, zato je izboljšanje računske moči na dolar, kljub veliki povečanju zmogljivosti umetne inteligence, manj dramatično in znaša približno 85 % za večino operacij umetne inteligence (še vedno ogromno).
Pri obremenitvah, ki se močno zanašajo na FP32 in FP64, boste z B200 morda dobili celo nekoliko manj za svoj denar.
| Funkcija | Enota | HGX H200 (8x H200 SXM) | HGX B200 (8x B200 SXM) | Razlika v zmogljivosti | Razlika v računalništvu na dolar |
|---|---|---|---|---|---|
| INT8 Tensor Core | POPS | 32 | 72 | 125,00 % | 85,11 % |
| FP4 Tensor Core | PFLOPS | – | 144 | – | – |
| FP6 Tensor Core | PFLOPS | – | 72 | – | – |
| FP8 Tensor Core | PFLOPS | 32 | 72 | 125,00 % | 85,11 % |
| FP16/BF16 Tensor Core | PFLOPS | 16 | 36 | 125,00 % | 85,11 % |
| TF32 Tensor Core | PFLOPS | 8 | 18 | 125,00 % | 85,11 % |
| FP32 | TFLOPS | 540 | 640 | 18,52 % | -2,50 % |
| FP64 | TFLOPS | 270 | 320 | 18,52 % | -2,50 % |
| FP64 Tensor Core | TFLOPS | 540 | 320 | -40,74 % | -51,25 % |
| Pomnilnik | TB | 1,1 | 1,5 | 36,36 % | 12,18 % |
| Pasovna širina NVSwitch GPU-to-GPU | GB/s | 900 | 1800 | 100,00 % | 64,52 % |
| Skupna združena pasovna širina | TB/s | 7,2 | 14,4 | 100,00 % | 64,52 % |
| Ocenjena cena | USD | 290000 | 352500 | 21,55 % | – |