20萬顆GPU“燒出”Grok3：業(yè)界稱“大力出奇跡”仍可行，算力仍是護城河

　　Grok 3表明依靠算力堆積的“大力出奇跡”路徑目前依舊可行。

　　2月18日，特斯拉創(chuàng)始人埃隆·馬斯克旗下xAI推出最新大模型Grok 3。據(jù)介紹，雖然Grok起步較晚，但MMLU(大規(guī)模多任務語言理解基準測試)得分已追上ChatGPT，Grok 3和輕量化的Grok 3 mini在多個性能上都超過或媲美Gemini、DeepSeek和GPT-4o等對手。

　　Grok 3在xAI位于孟菲斯的Colossus超算中心進行訓練。xAI透露，這一超算中心的算力已經(jīng)翻倍，擁有的英偉達GPU數(shù)量已達到20萬顆。

　　本以為是馬斯克又在虛張聲勢，但這次Grok 3的確沒有令人失望。

　　基于Grok 3的優(yōu)秀表現(xiàn)，不少業(yè)內(nèi)人士再度表露了對算力堆積這種“大力出奇跡”路徑的認可。更有分析人士指出，Grok 3證明了縮放法則(scaling law)在達到上限之前仍有發(fā)展空間——這對整個行業(yè)來說是一個令人鼓舞的信號。

　　AI大牛、前OpenAI 研究員、前特斯拉AI負責人Andrej Karpathy在成為Grok 3首批用戶后，在社交媒體上發(fā)布了一份詳細的測評總結(jié)。他稱贊了Grok 3 的邏輯推理能力，并指出其性能可與OpenAI的o1-pro模型相媲美，后者的月度費用為200美元。他還認為，Grok 3的推理能力略優(yōu)于DeepSeek-R1、谷歌的Gemini 2.0 Flash Thinking。

　　不過，他也指出了Grok 3的一些局限性，包括搜索功能DeepSearch中偶爾出現(xiàn)的幻覺和事實錯誤。

　　“考慮到該團隊大約1年前才從零開始，這真是令人難以置信，他們以前所未有的速度達到了幾乎業(yè)內(nèi)最高水平�！盞arpathy表示。

　　不少科技領(lǐng)域的分析人士表明，Grok 3的成功，在很大程度上就是依靠算力堆積。

　　人工智能服務網(wǎng)站Maginative創(chuàng)始人兼主編Chris McKay認為，xAI自成立以來，僅用了一年多的時間就迅速開發(fā)出了具有競爭力的AI技術(shù)，其成功很大程度上得益于創(chuàng)新的計算基礎(chǔ)設施和對大量計算資源的訪問。隨著更多超算集群的規(guī)劃，xAI似乎有望繼續(xù)提升模型能力。

　　沃頓商學院人工智能教授Ethan Mollick認為Grok 3完全符合預期。他指出，人工智能仍在加速發(fā)展，速度和算力都是護城河，“人才和芯片就是打造前沿模型的公開秘訣”。

　　“護城河可能不深，但足以淹死初創(chuàng)企業(yè)�！毖┏谴髮W公共傳播學院教授、咨詢公司The Palmer Group首席執(zhí)行官Shelly Palmer評論說。在他看來，Grok 3的護城河“已經(jīng)被金錢填滿”。英偉達H100 GPU的價格在3萬至4萬美元之間，即使馬斯克拿到了折扣，這仍然是一項30億到50億美元的龐大投資。

　　公開信息顯示，OpenAI訓練GPT-4用了大約2.5萬張A100 GPU，而H100的訓練吞吐量遠高于A100；據(jù)DeepSeek公布的信息，DeepSeek-V3模型預訓練費用僅為557.6萬美元，在2048塊英偉達H800 GPU(針對中國市場的低配版GPU)集群上耗時55天完成。

　　隨著DeepSeek的橫空出世，不少人提出縮放法則(scaling law)可能會失效或者不再完全適用�？s放法則是AI研究中的一個重要指導原則，它認為，在大多數(shù)情況下，增加規(guī)模(模型參數(shù)、數(shù)據(jù)量、算力)都能提高模型的表現(xiàn)，但效益遞減。

　　科技領(lǐng)域博主Zain Kahn表示，近幾個月來，有觀點認為，向大模型投入更多數(shù)據(jù)和算力將不再奏效，但Grok 3證明了這種懷疑并不正確。xAI才進入這個領(lǐng)域兩年，就已經(jīng)與頂尖公司展開了激烈競爭，甚至擊敗了頂尖公司。

　　Kahn強調(diào)說，xAI龐大的Colossus超算集群將大模型推向了新的高度，“預訓練縮放法則在達到上限之前仍有發(fā)展空間——這對整個行業(yè)來說是一個令人鼓舞的信號�！�

　　機構(gòu)也對算力的作用給出了肯定，指出算力堆積仍是模型進步的關(guān)鍵變量。

　　華泰證券在2月20日發(fā)布的研報中提出，Grok 3證明預訓練在算力提升下仍能突破。雖然目前在預訓練數(shù)據(jù)上存在瓶頸，但是合成數(shù)據(jù)、RL(強化學習)數(shù)據(jù)、工程能力優(yōu)化，甚至Transformer架構(gòu)迭代，或能逐步打破瓶頸，Grok 3已經(jīng)證明預訓練依然有突破空間。

　　國泰君安也提到，xAI算力資源儲備與開源策略的平衡，凸顯算力與算法的同等重要性。高昂的算力投入已經(jīng)形成了顯著的技術(shù)門檻。

　　中信證券指出，Grok 3作為全球首個在十萬卡集群上訓練的大模型，綜合能力較前代模型Grok 2提升顯著，意味著算力堆積仍是模型進步的關(guān)鍵變量之一。

　　記者 吳遇利