推理性能提升30倍！英偉達發佈最新一代AI芯片

格隆匯3月19日｜據上觀，英偉達GPU技術大會(GTC)如期舉行，備受期待的最新AI芯片Blackwell GPU也被如期推出。英偉達CEO黃仁勛一邊説着“Hopper很棒，但我們需要更大的GPU”，一邊在現場展示了英偉達的首款Blackwell芯片。這款芯片被命名為B200，計劃於今年晚些時候上市。 從外觀來看，Blackwell GPU的體積明顯大於H100，採用台積電的4納米(4NP)工藝蝕刻而成，整合了兩個獨立製造的裸晶(Die)，共有2080億個晶體管。英偉達使用傳輸速度達到10 TB每秒的NVLink 5.0技術來連接每塊裸晶。 黃仁勛介紹，一個B200 GPU能夠從其2080億個晶體管中提供高達20 petaflops(每秒千萬億次浮點運算)的FP4八精度浮點運算能力。相比之下，英偉達H100芯片所包含的晶體管數量為800億個，提供4 petaflops的FP4八精度浮點運算能力。 在此基礎上，一個GB200加速卡結合了兩個B200 GPU和一個獨立的Grace CPU，將能夠使大模型推理工作負載的性能提升30倍，同時提高效率。相比於H100，它可以“將成本和能源消耗降至1/25”。 這就意味着，以前訓練一個擁有1.8萬億參數的模型需要8000個Hopper GPU 和15兆瓦的功耗。而今天，黃仁勛表示，同樣的工作只需要2000個Blackwell GPU就能完成，功耗僅為4兆瓦。同時，取決於各種Blackwell設備的內存容量和帶寬配置，工作負載的實際性能可能會更高。 而在參數為1750億的GPT-3 LLM基準測試中，GB200的性能達到了H100的7倍，而訓練速度則達到了H100的4倍。