大模型預(yù)訓(xùn)練“縮放定律”定律失效？模型推理成“解藥”，英偉達(dá)一家獨(dú)大格局要變天？

“縮放定律”指導(dǎo)下，AI大模型預(yù)訓(xùn)練目前遭遇瓶頸。據(jù)路透12日?qǐng)?bào)道，硅谷主要AI實(shí)驗(yàn)室的新模型訓(xùn)練計(jì)劃目前普遍進(jìn)展不順，新模型訓(xùn)練遭遇拖延和令人失望的結(jié)果。比起GPT-4o，Orion被曝幾乎沒有任何改進(jìn)，谷歌的Gemini 2.0也存在類似問題。

為克服瓶頸，OpenAI正探索“訓(xùn)練時(shí)計(jì)算”（training runs）技術(shù)，讓模型不再受限于預(yù)訓(xùn)練，而能夠以多步驟方法思考問題（推理）來提升表現(xiàn)。報(bào)道稱，相關(guān)技術(shù)的應(yīng)用最終推動(dòng)OpenAI發(fā)布o(jì)1模型。

這可能會(huì)改變?nèi)斯ぶ悄苡布母?jìng)爭(zhēng)格局。

目前為止，AI硬件市場(chǎng)主要由對(duì)英偉達(dá)訓(xùn)練芯片的無限需求主導(dǎo)。但如果通過增加訓(xùn)練時(shí)間和測(cè)試（推理）時(shí)間，模型就能獲得更好的結(jié)果，那新一代模型可能就不再需要那么大的參數(shù)，較小的模型將直接降低成本。市場(chǎng)需求或?qū)拇笠?guī)模預(yù)訓(xùn)練集群轉(zhuǎn)向推理云，英偉達(dá)在推理芯片市場(chǎng)可能會(huì)面臨更多競(jìng)爭(zhēng)。

“縮放定律”面臨挑戰(zhàn)

硅谷主要AI實(shí)驗(yàn)室的新模型訓(xùn)練目前普遍進(jìn)展不順。

據(jù)科技媒體The Information報(bào)道，OpenAI開發(fā)的下一個(gè)旗艦?zāi)Ｐ汀癘rion”，目前已經(jīng)完成20%的訓(xùn)練。盡管表現(xiàn)已接近現(xiàn)有的GPT-4，但進(jìn)步幅度卻遠(yuǎn)不如前兩代旗艦?zāi)Ｐ椭g的飛躍。

Orion在語言任務(wù)上表現(xiàn)更好，但在編碼等任務(wù)上可能不會(huì)優(yōu)于以前的模型。且與最近發(fā)布的其他模型相比，OpenAI在其數(shù)據(jù)中心運(yùn)行 Orion 的成本可能更高。

Orion的進(jìn)展放緩直接挑戰(zhàn)了人工智能領(lǐng)域一直奉行的“縮放定律”，即在數(shù)據(jù)量和計(jì)算資源不斷增加的前提下，模型性能將持續(xù)大幅度提升。

當(dāng)年最早將“縮放定律”應(yīng)用于實(shí)踐，并最終成功創(chuàng)造出ChatGPT的前Open AI聯(lián)合創(chuàng)始人Ilya Sutskever在接受路透采訪時(shí)直言，AI模型擴(kuò)展訓(xùn)練的結(jié)果，已經(jīng)趨于平穩(wěn)。通過在預(yù)訓(xùn)練中使用更多的數(shù)據(jù)和算力，讓AI模型性能暴漲的階段可能已經(jīng)到頭了：

2010年代是“縮放定律”的時(shí)代，現(xiàn)在，我們?cè)俅位氐搅似孥E和發(fā)現(xiàn)的時(shí)代。每個(gè)人都在尋找下一個(gè)奇跡。

現(xiàn)在重要的是“擴(kuò)大正確的規(guī)模”。

Ilya透露，他的團(tuán)隊(duì)正在研究一種全新的替代方法，來擴(kuò)展預(yù)訓(xùn)練。

OpenAI則極力否認(rèn)

OpenAI則極力否認(rèn)AI模型訓(xùn)練面臨瓶頸。

OpenAI著名研究科學(xué)家Noam Brown表示AI的發(fā)展短期內(nèi)并不會(huì)放緩，對(duì)于對(duì)于OpenAI CEO山姆?奧特曼的 AGI 發(fā)展路徑已經(jīng)清晰的言論（事情的發(fā)展速度將比人們現(xiàn)在預(yù)想的要快得多），OpenAI 的大多數(shù)研究者都表示比較認(rèn)同。

OpenAI的Adam GPT則認(rèn)為，大模型的“縮放定律”和推理時(shí)間的優(yōu)化是兩個(gè)可以互相增益的維度。也就是說就算其中一個(gè)維度放緩，也不能得出 AI 整體發(fā)展放緩的結(jié)論。

扎克伯格、奧特曼和其他AI開發(fā)商的首席執(zhí)行官也公開表示，他們尚未達(dá)到傳統(tǒng)“縮放定律”的極限。因此，OpenAI 等公司仍在開發(fā)昂貴的、價(jià)值數(shù)十億美元的數(shù)據(jù)中心，以盡可能多地提升預(yù)訓(xùn)練模型的性能。

“測(cè)試時(shí)計(jì)算”會(huì)是破局方法嗎？

但作為應(yīng)對(duì)，OpenAI研究人員正在已探索一項(xiàng)“訓(xùn)練時(shí)計(jì)算”（training runs）的技術(shù)。十幾位AI科學(xué)家、研究人員和投資者告訴路透社，他們認(rèn)為正是這些技術(shù)，推動(dòng)了OpenAI發(fā)布o(jì)1模型。

所謂測(cè)試時(shí)計(jì)算技術(shù)，是指在推理階段（模型被使用時(shí)）就將模型增強(qiáng)，讓模型可以實(shí)時(shí)生成和評(píng)估多種可能性，而不是理解選擇單一答案，最終選擇出最佳路徑。

這種方法可以允許模型將更多的處理能力，用于數(shù)學(xué)、編碼問題等具有挑戰(zhàn)性的任務(wù)，及需要類人推理和決策的復(fù)雜操作。

在新技術(shù)的運(yùn)用下，o1在GPT-4等基礎(chǔ)模型上進(jìn)行另一套訓(xùn)練。該模型不再受限于預(yù)訓(xùn)練，而能夠以多步驟方法思考問題（類似于人類推理）來提升表現(xiàn)。o1還涉及了來自博士和行業(yè)專家策劃的數(shù)據(jù)和反饋。

參與o1開發(fā)的OpenAI 研究員在上個(gè)月TEDAI大會(huì)上直言：

讓AI在一手撲克牌中思考20秒，所獲得的性能提升，與將模型擴(kuò)大10萬倍、訓(xùn)練時(shí)間延長(zhǎng)10萬倍的效果相同。

英偉達(dá)壟斷地位有望打破？

其他科技巨頭也在積極跟進(jìn)。

路透援引多名知情人士報(bào)道稱，來自Anthropic、xAI 和 Google DeepMind 等其他頂尖人工智能實(shí)驗(yàn)室的研究人員也在開發(fā)自己的技術(shù)版本的“training runs”。

這可能會(huì)改變?nèi)斯ぶ悄苡布母?jìng)爭(zhēng)格局。

目前為止，AI硬件市場(chǎng)主要由對(duì)英偉達(dá)訓(xùn)練芯片的無限需求主導(dǎo)。但如果通過增加訓(xùn)練時(shí)間和測(cè)試（推理）時(shí)間，模型就能獲得更好的結(jié)果，那新一代模型可能就不再需要那么大的參數(shù)，較小的模型將直接降低成本。

從紅杉資本到 Andreessen Horowitz 等知名風(fēng)險(xiǎn)投資公司，他們已經(jīng)投入數(shù)十億美元資助 OpenAI 和 xAI 等多個(gè)人工智能實(shí)驗(yàn)室昂貴的人工智能模型開發(fā)，他們正在關(guān)注這一轉(zhuǎn)變，并權(quán)衡其昂貴賭注的影響。

紅杉資本合伙人 Sonya Huang 向路透社表示：

這種轉(zhuǎn)變將使我們從大規(guī)模預(yù)訓(xùn)練集群的世界轉(zhuǎn)向推理云，即用于推理的分布式云服務(wù)器。

這或許打破英偉達(dá)在訓(xùn)練芯片領(lǐng)域的壟斷地位，公司在推理芯片市場(chǎng)可能會(huì)面臨更多競(jìng)爭(zhēng)。類似Groq的推理芯片公司或能“撕開”行業(yè)缺口。

英偉達(dá)也坦誠推理芯片需求的變化，在上個(gè)月印度演講中，黃仁勛談到了新技術(shù)對(duì)芯片進(jìn)行推理的需求不斷增加，強(qiáng)調(diào)了 o1 模型背后的技術(shù)的重要性：

我們現(xiàn)在發(fā)現(xiàn)了第二條“縮放定律”，這是推理時(shí)的“縮放定律”……所有這些因素都導(dǎo)致對(duì) Blackwell 的需求非常高。

本文來自華爾街見聞，歡迎下載APP查看更多