智通財經APP獲悉,中金髮布研報稱,AI浪潮迭起,大模型高效訓練的達成需要以集羣內更大規模的數據承載量和高效的傳輸速率爲前提,在上週召開的英偉達GTC 2024上,也明確觀察到網絡技術能力再升級趨勢,裸片、芯片、機櫃間互連方式革新不斷、帶寬提速;而作爲以太網、PCIe、NVLink等通信協議PHY層的底層技術支撐,預期SerDes向224G演進有望爲102.4T交換芯片的面世提供底層支撐,助力實現1.6T網絡連接。
中金主要觀點如下:
D2D:裸片間通信需求增加,先進封裝工藝不斷進階
D2D通信發生於芯片封裝內部,其接口物理層可採用高速SerDes或高密度並行架構。中金認爲隨着Chiplet等衆核異構滲透率逐漸提升,Die間通信需求有望進一步增加,對先進封裝技術、互連標準提出更高要求:1)先進封裝的精進如2.5D/3D封裝能夠爲D2D連接帶來更高I/O密度,臺積電CoWoS作爲主流2.5D先進封裝技術廣泛應用於A/H100等AI芯片封裝;2)UCIe協議的出現有望助推Die間互連接口標準化以實現不同芯粒的自由整合,D2D互連生態有望趨於開放。
C2C:PCIe總線持續升級,NVLink引領片間通信新變革
主板總線是C2C通信的重要媒介,其中PCIe主要用連接CPU與高速外圍設備,平均每三年升級一代標準,目前已迭代至6.0版本,16通道下可實現256GB/s的傳輸速率。在AI場景中,異構並行計算架構成爲主流,中金觀察到GPU間、異構xPU間的C2C互連逐漸由PCIe主導向性能更強的專用互連技術演進,NVLink實現GPU間高速、低時延的直接互連,並引入NVSwitch解決通訊不均衡,GTC 2024發佈新一代NVLink和NVSwitch,C2C互連雙向帶寬提升至1.8TB/s。
B2B:機間高速互連提升AI訓練效能,協議與硬件並進
中金認爲,機間通信效率的提升需要協議和硬件端的配套支持:1)協議:從傳統的TCP/IP向RDMA演進以優化網絡性能,InfiniBand時延低、上線快、但生態相對封閉、價格高昂,RoCE性能略低於InfiniBand,然兼具成本效益和可擴展性,長期來看InfiniBand或與升級以太網平分秋色;2)硬件:接口傳輸速率需迭代上行,交換芯片作爲核心硬件其性能面臨升級,中金預期SerDes向224G演進有望爲102.4T交換芯片的面世提供底層支撐,助力實現1.6T網絡連接。
風險
AI大模型及應用發展不及預期,SerDes技術迭代不及預期。