Naujesnis HGX B200 siūlo didžiulį našumo šuolį dirbtinio intelekto užduotims, palyginti su HGX H200, ypač tokiose srityse kaip FP8, INT8, FP16/BF16 ir TF32 Tensor Core operacijos, kur jis gali pasigirti 125 % pagerėjimu.
Tačiau, jei pažvelgsime į FP32 ir FP64, tai šuolis yra mažesnis, apie 18,5 %.
Stebėtina, bet FP64 Tensor Core našumas iš tikrųjų sumažėja, krentant apie 40 %.
B200 tikrai blizga atminties srityje, siūlydamas didesnę bendrą atminties talpą (1,5 TB, palyginti su 1,1 TB) ir padvigubintą NVSwitch GPU-GPU pralaidumą. Šis greitesnis ryšys keičia žaidimo taisykles didelio masto DI modelių apmokymui.
Tačiau, kai įtraukiate numatomą kainą, reikalai tampa įdomūs.
B200 kaina yra apie 21,5 % didesnė, taigi, nors gaunate didelį DI našumo padidėjimą, skaičiavimo galios už dolerį pagerėjimas yra mažiau dramatiškas, apie 85 % daugumai DI operacijų (vis dar didelis).
Užduotims, kurios labai priklauso nuo FP32 ir FP64, su B200 galite gauti net šiek tiek mažiau naudos už savo pinigus.
| Funkcija | Vienetas | HGX H200 (8x H200 SXM) | HGX B200 (8x B200 SXM) | Našumo skirtumas | Skaičiavimo galios už dolerį skirtumas |
|---|---|---|---|---|---|
| INT8 Tensor Core | POPS | 32 | 72 | 125.00% | 85.11% |
| FP4 Tensor Core | PFLOPS | – | 144 | – | – |
| FP6 Tensor Core | PFLOPS | – | 72 | – | – |
| FP8 Tensor Core | PFLOPS | 32 | 72 | 125.00% | 85.11% |
| FP16/BF16 Tensor Core | PFLOPS | 16 | 36 | 125.00% | 85.11% |
| TF32 Tensor Core | PFLOPS | 8 | 18 | 125.00% | 85.11% |
| FP32 | TFLOPS | 540 | 640 | 18.52% | -2.50% |
| FP64 | TFLOPS | 270 | 320 | 18.52% | -2.50% |
| FP64 Tensor Core | TFLOPS | 540 | 320 | -40.74% | -51.25% |
| Atmintis | TB | 1.1 | 1.5 | 36.36% | 12.18% |
| NVSwitch GPU-GPU pralaidumas | GB/s | 900 | 1800 | 100.00% | 64.52% |
| Bendras sujungtas pralaidumas | TB/s | 7.2 | 14.4 | 100.00% | 64.52% |
| Numatoma kaina | USD | 290000 | 352500 | 21.55% | – |