नया HGX B200, HGX H200 की तुलना में AI वर्कलोड के लिए परफॉर्मेंस में बहुत बड़ी उछाल प्रदान करता है, खासकर FP8, INT8, FP16/BF16 और TF32 टेंसर कोर ऑपरेशन्स जैसे क्षेत्रों में, जहाँ यह 125% सुधार का दावा करता है।
हालाँकि, जब हम FP32 और FP64 को देखते हैं, तो यह लगभग 18.5% की मामूली बढ़त है।
हैरानी की बात है कि FP64 टेंसर कोर परफॉर्मेंस में वास्तव में गिरावट आती है, जो लगभग 40% तक गिर जाती है।
B200 मेमोरी डिपार्टमेंट में चमकता है, जो बड़ी कुल मेमोरी क्षमता (1.5 TB बनाम 1.1 TB) और दोगुनी NVSwitch GPU-to-GPU बैंडविड्थ प्रदान करता है। यह तेज़ कम्युनिकेशन बड़े पैमाने पर AI मॉडल ट्रेनिंग के लिए गेम-चेंजर है।
हालाँकि, जब आप अनुमानित कीमत को पिक्चर में लाते हैं, तो चीजें दिलचस्प हो जाती हैं।
B200 की कीमत लगभग 21.5% अधिक है, इसलिए जबकि आपको AI परफॉर्मेंस में बड़ी उछाल मिलती है, प्रति डॉलर कंप्यूट में सुधार कम नाटकीय है, जो अधिकांश AI ऑपरेशन्स के लिए लगभग 85% है (फिर भी बहुत बड़ा है)।
FP32 और FP64 पर बहुत अधिक निर्भर वर्कलोड के लिए, आपको B200 के साथ अपने पैसे का थोड़ा कम मूल्य भी मिल सकता है।
| फ़ीचर | यूनिट | HGX H200 (8x H200 SXM) | HGX B200 (8x B200 SXM) | परफॉर्मेंस अंतर | प्रति डॉलर कंप्यूट अंतर |
|---|---|---|---|---|---|
| INT8 टेंसर कोर | POPS | 32 | 72 | 125.00% | 85.11% |
| FP4 टेंसर कोर | PFLOPS | – | 144 | – | – |
| FP6 टेंसर कोर | PFLOPS | – | 72 | – | – |
| FP8 टेंसर कोर | PFLOPS | 32 | 72 | 125.00% | 85.11% |
| FP16/BF16 टेंसर कोर | PFLOPS | 16 | 36 | 125.00% | 85.11% |
| TF32 टेंसर कोर | PFLOPS | 8 | 18 | 125.00% | 85.11% |
| FP32 | TFLOPS | 540 | 640 | 18.52% | -2.50% |
| FP64 | TFLOPS | 270 | 320 | 18.52% | -2.50% |
| FP64 टेंसर कोर | TFLOPS | 540 | 320 | -40.74% | -51.25% |
| मेमोरी | TB | 1.1 | 1.5 | 36.36% | 12.18% |
| NVSwitch GPU-to-GPU बैंडविड्थ | GB/s | 900 | 1800 | 100.00% | 64.52% |
| कुल एग्रीगेट बैंडविड्थ | TB/s | 7.2 | 14.4 | 100.00% | 64.52% |
| अनुमानित कीमत | USD | 290000 | 352500 | 21.55% | – |