互聯戰爭:被羣毆的英偉達

今年早些時候,外媒曝光了微軟與OpenAI的一項“瘋狂計劃”:斥資千億美金,定製一個史無前例的數據中心。然而,面對這一重大利好,英偉達卻心情複雜:

爆料顯示,OpenAI拒絕使用英偉達的InfiniBand網絡設備,轉而投奔以太網的陣營[1]。

衆所周知,一個數據中心往往有數千甚至上萬臺服務器;而連通這些服務器的,正是以InfiniBand和以太網爲代表的網絡互聯技術。

英偉達是InfiniBand路線的主要玩家,獨家提供了相關的交換機、電纜等硬件設備;其餘的科技公司,則扎堆在以太網賽道。

英偉達Quantum-X800 InfiniBand 交換機

OpenAI的“反水”,對英偉達而言是個巨大噩耗。

要知道,InfiniBand與以太網,彼此已互相競爭多年。InfiniBand曾一度遙遙領先:2015年時,超級計算機Top500榜單中,超半數的上榜者都在使用InfiniBand。但在當下,隨着大客戶陸續倒戈,InfiniBand正在輸掉比賽。

去年7月,AMD、微軟等9家硅谷大廠聯手成立了超以太網聯盟(UEC),準備徹底擊潰InfiniBand。今年一季度,英偉達的InfiniBand網絡設備收入,出現了環比下降[2]。與數據中心等一路狂飆的業務相比,顯得格外突出。

那麼問題來了:

1.英偉達的“親兒子”InfiniBand,爲何會處於劣勢?

2.對於英偉達而言,互聯爲何是場不能失敗的競賽?

派別之爭

InfiniBand的初衷,是爲了解決當前算力最大的瓶頸——傳輸速度。

兩臺服務器連接在一起,“1+1”所實現的算力必定會“小於2”,因爲數據傳輸速度遠遠小於服務器的算力。可以把每臺服務器,想象成一座擁有一萬輛卡車的小城鎮;受制於客觀環境,每天只能往隔壁城鎮運輸200卡車的貨物。

數據中心則是由上千個小鎮構成的王國。小鎮與小鎮之間的運輸問題,會嚴重拖累整個王國的發展。

而限制傳輸速度的罪魁禍首,是落後的網絡協議。

所謂網絡協議,可以簡單理解爲一種“交通規則”。計算機之間的信息傳輸,都沿着這一“交通規則”有序進行。最初的交通規則 ,是一種名爲TCP/IP的網絡協議。

這項交通規則,有個明顯缺陷:數據在傳輸時,需要經過CPU,極度佔用CPU資源,導致延遲特別高。

相當於卡車運貨的公路上,設有大批人工收費站。車子每開一段路,都要停下來掏出錢包繳費,造成了嚴重擁堵,運行效率可想而知。

在這一大背景下,全新的RDMA網絡協議(遠程直接內存訪問)應運而生。顧名思義,它可以繞過CPU,直接訪問另一臺服務器的內存。換句話說,新的交通規則,將高速公路上的人工收費站全撤走了,改設成ETC。

但基於RDMA網絡協議,業界卻衍生出了兩個不同的實現方向:

一是“外部革新派”。

基於RDMA全部推翻重來,重新構建一套網絡協議,以實現極致的性能。其成果,正是英偉達的InfiniBand。全新的交通規則,使得數據傳輸可以同時繞過CPU與內存,相當於把ETC也撤了,直接通過GPU進行數據交互。

InfiniBand(無限帶寬)這個名字,正是其極致理念的一種體現。

二是“內部改良派”。

一個熱知識,以太網是最普及的局域網技術,幾乎所有計算機系統都支持以太網設備。改良派的做法,正是利用RDMA網絡協議,去改造以太網。

由此可見,InfiniBand與以太網的競爭,本質是同一技術路線的派別之爭。

在算力供應嚴重不足的當下,大刀闊斧革新的InfiniBand,本應更加受到市場青睞。然而,各大硅谷巨頭卻“十動然拒”。不光是微軟,Meta也選擇全面擁抱以太網。

InfiniBand之所以如此不受待見,問題恰恰出在革新過於激進了。

激進的代價

2019年,圍繞以色列公司Mellanox,微軟、英特爾、英偉達三家巨頭展開了激烈的競購。

Mellanox是InfiniBand方案的唯一提供商,市值爲22億美金。爲此,英特爾專門預留了60億美金的現金流,本以爲勝券在握;沒想到英偉達更狠,以69億美金的高價將Mellanox收入囊中[7]。

這是英偉達有史以來最貴的一筆收購。然而,老黃的梭哈,給英偉達帶來了不菲的經濟回報。

前文曾提到,InfiniBand只是一種“交通規則”;想要使用這項技術,還得搭配硬件。

然而,由於InfiniBand的革新過於激進,重新設計了物理鏈路層、網絡層、傳輸層,並不適配傳統的硬件,需要更換整套基礎設施,包括專門的交換機、網卡、電纜。

這些配套網絡設備,全部由英偉達獨家提供。

相當於InfiniBand重新定義了一套更高效的交通規則,但並不適用於小鎮原本的燃油卡車;爲了提升送貨效率,小鎮還得向英偉達採購一批新能源卡車。

由此可見,InfiniBand其實是一套“專用”方案。通過推廣這一方案,英偉達可以大搞捆綁銷售,向客戶兜售專用的配套網絡設施。

因此,InfiniBand的使用成本一直很高。科技公司在建設數據中心時,需要掏出20%的開支用於InfiniBand;如果改成通用的以太網方案,只需要一半甚至更少的費用[8]。

爲了讓科技公司用InfiniBand,老黃可謂用盡套路:

例如英偉達同時售賣InfiniBand與以太網的網卡,兩者的電路板設計完全相同,但以太網的交貨時間明顯更長[9]。

用於InfiniBand的ConnectX-8 超級網卡

英偉達的小算盤在於,雖然咱貴,但性能強啊。InfiniBand方案可以大大改善AI訓練,早點把模型做出來投入市場,這錢不就賺回來了嗎?

然而,令英偉達尷尬的是,隨着“內部改良派”陣營不斷壯大,InfiniBand與以太網的性能差距被縮小了。

2014年時,改良派的最新成果RoCE v2網絡協議問世,改變了InfiniBand一枝獨秀的局面。去年,英偉達面向InfiniBand與以太網,分別推出了一款交換機。儘管兩者定位有所不同,但均能實現800Gb/s的端到端吞吐量。

當通用方案也能做到85分時,專用方案便開始失去魅力。5-10分的領先,很難讓科技公司多付一倍的價錢。

而去年7月成立的超以太網聯盟,則打算在RoCE v2網絡協議的基礎上,面向大模型這一場景,開發一套新的以太網協議,全面超越InfiniBand。

新的“反英偉達聯盟”一呼百應。截至今年3月,包括字節跳動、阿里雲、百度等國內科技公司,也加入了其中。

圖:部分UEC技術指導委員會成員

面對超以太網聯盟的“正義羣毆”,英偉達沒有再負隅頑抗。

過去一年,黃仁勳越來越少在公開場合提及InfiniBand。將來,InfiniBand與以太網之爭或將漸漸劃上句號。然而,英偉達並沒有放棄互聯這塊蛋糕,轉而將籌碼押注到自家的Spectrum X以太網平臺上。

因爲,互聯正日漸成爲大模型時代的兵家必爭之地。

下一個戰場

今年1月,美國諮詢公司Dell'Oro Group發佈了一份報告,當中提到:隨着人工智能爆發,科技公司對通信互聯的需求激增,從而帶動交換機市場擴大50%[10]。

科技公司之所以對互聯這麼熱情,是因爲在過去一年的野蠻擴張中,漸漸觸碰到了天花板。而以InfiniBand和以太網爲代表的互聯技術,正是打破瓶頸的關鍵。

科技公司遇到的第一個問題,是算力開支過於昂貴。

英偉達的AI芯片,一向以昂貴著稱:最新的B200芯片,單塊起售價達到了3-4萬美金。衆所周知,大模型是一隻喂不飽的“算力吞金獸”。爲了滿足日常使用,科技公司通常需要採購至少上千塊AI芯片,這錢燒得比直接碎鈔都快。

如果自研芯片,同樣也會遇到類似的問題。由於芯片製程迭代放緩,提升芯片算力上限,需要付出更多的成本。

然而,由於傳輸速度的限制,數據中心並沒有發揮出芯片全部的算力。相比於硬着頭皮堆芯片,提升數據傳輸速度,提高算力利用率,相對更具性價比一些。

第二個問題是功耗。

隨着數據中心越做越大,功耗也在直線上升。扎克伯格曾在採訪中提到,近幾年新建的數據中心,功耗已經達到了50-100兆瓦,稍大一點的已經達到了150兆瓦。按照這個趨勢下去,300、500乃至1000兆瓦,都只是時間問題[11]。

然而,根據美國能源信息署的數據,在2022年夏天,硅谷所在的加州,總髮電量爲85981兆瓦[12]。面對越來越多的“電力怪獸”,電網實在有些滿頭大汗。

爲了訓練GPT-6,微軟與OpenAI曾搭建了一個由10萬張H100組成的服務器集羣,測試了一下發現當地電網直接罷工。

目前,微軟與OpenAI的解決方案,是“跨地區的分佈式超大規模集羣訓練”。

翻譯成人話就是,將幾十甚至上百萬塊AI芯片,分散在多個城市或者地區,再借助InfiniBand或者以太網,連成一個整體——互聯又一次發揮了至關重要的作用[13]。

如果說,大模型世界的準則,是大力出奇跡;那麼互聯的價值,就在於拔高大力出奇跡的物理上限,讓scaling law的飛輪再轉得久一些。

在人工智能時代,互聯註定將會是最重要的議題之一;而對英偉達,以及其他科技公司而言,這都是一場輸不起的比賽。

尾聲

在硅谷,英偉達越來越像只“惡龍”。在互聯的領域,大半科技公司都站在了英偉達的對立面。至於GPU就更不必說,大廠自研芯片擺脫英偉達,早已是個公開的秘密。

老黃這麼不受待見,很大一個原因,是因爲錢基本都被他賺去了。

不論是InfiniBand,還是AI芯片,英偉達都幾乎做到了壟斷,擁有很強的議價權。相比之下,科技公司們扎堆大煉AI,卻苦於沒有成熟的商業模式。大家回頭一看,發現只有一個皮衣男子賺得盆滿鉢滿,難免心有不快。

所以,也不怪硅谷大廠們都開始“自力更生”了。畢竟,“窮”纔是推動進步的原動力。

參考資料

[1] OpenAI Moves to Lessen Reliance on Some Nvidia Hardware,the information

[2] 以太網崛起,英偉達Infiniband正在遭受蠶食,半導體行業觀察

[3] 黃仁勳最新2萬字演講實錄:將打破摩爾定律發佈新產品,機器人時代已經到來,騰訊科技

[4] IB or RoCE?AI數據中心網絡互聯,Haipi智途

[5] Is InfiniBand finally ready for prime time,computerworld

[6] InfiniBand見解:在數字時代推動高性能計算,飛速社區

[7] CONNECTING THE DOTS ON WHY NVIDIA IS BUYING MELLANOX,The Next Platform

[8] GREASING THE SKIDS TO MOVE AI FROM INFINIBAND TO ETHERNET,The Next Platform

[9] Nvidia’s Plans To Crush Competition – B100, “X100”, H200, 224G SerDes, OCS, CPO, PCIe 7.0, HBM3E,SemiAnalysis

[10] AI Workloads Require New Network Buildouts Expanding Data Center Switch Market by 50 Percent, According to Dell’Oro Group

[11] AI GPU bottleneck has eased, but now power will constrain AI growth warns Zuckerberg,tomshardware

[12] Energy Information Administration

[13] 爲什麼說“互聯”會是未來科技投資重要命題,信息平權

[14] AI以太網價值幾何,國盛證券

編輯:陳彬

視覺設計:疏睿

責任編輯:陳彬