2023 年 2 月，微軟向 OpenAI 投資了 100 億美元，你或許覺得這筆錢應(yīng)該能花好一陣子。

但在今天，100 億美金幾乎才是 2024 年做大模型的起平線。撇開現(xiàn)金流充足的谷歌，OpenAI、Anthropic 和 xAI 分別獲得了約 130 億美元、70 億美元、60 億美元融資額，來「卷」新一代大模型。

這主要是由于做大模型所需要的算力一再擴張，尤其是隨著多模態(tài)融合成為新的 AGI 大模型路線。如果說去年做大模型的算力門檻是 1 萬張英偉達 H100 的算力集群，那么，今年這個數(shù)字變成了至少 10 萬張 H100，這是馬斯克籌集 60 億美元資金的主要用途。

據(jù) The Information 采訪的一位投資者，馬斯克在最近與潛在和現(xiàn)有 xAI 投資者的通話中表示，公司將把大部分資金用于租用 AI 芯片，并幫助其在 2025 年下半年達到 10 萬個 GPU，以便改進 Grok 背后的模型。

這位人士說，馬斯克暗示，他是僅有的幾位能籌集到足夠資金與領(lǐng)先的人工智能公司競爭的高管之一。

上個月，馬斯克在 X.com 上的現(xiàn)場音頻聊天中表示，xAI 將需要 10 萬個 Nvidia H100 GPU 來訓(xùn)練 Grok 3.0。他表示，該公司目前正在大約 20,000 個 H100 芯片上訓(xùn)練 Grok 2.0。

英偉達沒有公布過其芯片的成本，但研究公司 SemiAnalysis 的首席分析師 Dylan Patel 表示，租用 10 萬臺 H100 每年可能花費約 17 億美元；即將推出的被稱為 GB200 的 Nvidia AI 芯片可能比前代產(chǎn)品貴 50%。

能不能「借」到錢買算力是一方面，有了錢能不能買到算力又是另一方面。當前，英偉達最高端的 GPU 系列仍舊供不應(yīng)求，云廠商能用來訓(xùn)練大模型的算力集群有限。

馬斯克將目光鎖定在了三大云廠商之外的另一家——甲骨文 Oracle。

與亞馬遜云 AWS、谷歌云、微軟云 Azure 不同，甲骨文與 OpenAI 或 Anthropic 沒有業(yè)務(wù)往來，這可能使其對馬斯克作為合作伙伴更具吸引力。

同時，馬斯克也是甲骨文聯(lián)合創(chuàng)始人埃里森的老朋友，埃里森此前曾擔任馬斯克的另一家公司特斯拉的董事會董事，并出資幫助馬斯克接管了當時還被稱為 Twitter 的 X。據(jù)直接知情人士透露，XAI 已經(jīng)是 Oracle 最大的 H100 客戶，使用了超過 15000 個芯片。

現(xiàn)在，馬斯克已經(jīng)明確 xAI 將需要多達 10 萬個專用半導(dǎo)體來訓(xùn)練和運行下一代 Grok。他告訴投資者，xAI 計劃將所有這些芯片串聯(lián)成一臺大型計算機，他稱之為「算力超級工廠」（gigafactory of compute）。馬斯克希望在 2025 年秋天之前讓這臺超級計算機投入運行，并將親自負責按時交付。他稱，這些連接起來的 H100 集群，建成后的規(guī)模將至少是目前最大 GPU 集群的四倍。

在「算力超級工廠」的計劃下，XAI 可能與甲骨文公司合作開發(fā)超級計算機，也可能選擇其他合作方或合作形式。一個細節(jié)體現(xiàn)在本輪融資的出資方包括紅杉、A16Z 等基金，唯獨沒有甲骨文的身影。相比之下，其他三大云廠商和大模型公司之間的合作則通過投資來「鎖定」云客戶。

無論如何，「算力超級工廠」給了 Grok 上一線牌桌的起點，這場 AI 背后的算力競賽，還將繼續(xù)加碼。

此前，扎克伯格表示，到 2024 年底，Meta 將擁有 35 萬臺 H100，其中一些將用于訓(xùn)練公司的 Llama 開源大模型。微軟計劃在今年和明年為 OpenAI 提供容納數(shù)十萬個 GPU 的服務(wù)器。OpenAI 和微軟已經(jīng)在討論到 2028 年開發(fā)一臺價值 1000 億美元的超級計算機。