在大模型出現(xiàn)之后，有關(guān)其進(jìn)展或發(fā)展的動(dòng)態(tài)，就一直備受業(yè)內(nèi)人士關(guān)注，比如在最近，有關(guān)有關(guān)GPT-5的消息就又火起來了。Gary Marcus也做了分析，或許從GPT-4到GPT-5，其過程將涉及到AI范式的變化。一起來看看本篇內(nèi)容。

有關(guān)GPT-5的消息最近又火起來了。

從最一開始的爆料，說OpenAI正在秘密訓(xùn)練GPT-5，到后來Sam Altman澄清；再到后來說需要多少?gòu)圚100 GPU來訓(xùn)練GPT-5，DeepMind的CEO Suleyman采訪「實(shí)錘」OpenAI正在秘密訓(xùn)練GPT-5。

然后又是新一輪的猜測(cè)。

中間還穿插了Altman的大膽預(yù)測(cè)，什么GPT-10會(huì)在2030年前出現(xiàn)，超過全人類的智慧總和，是真正的AGI云云。

再到最近OpenAI名叫Gobi的多模態(tài)模型，強(qiáng)勢(shì)叫板谷歌的Gimini模型，兩家巨頭的競(jìng)爭(zhēng)一觸即發(fā)。

一時(shí)間，有關(guān)大語言模型的最新進(jìn)展成了圈內(nèi)最熱門的話題。

套用一句古詩(shī)詞，「猶抱琵琶半遮面」來形容，還挺貼切的。就是不知道，什么時(shí)候能真的「千呼萬喚始出來」。

一、時(shí)間線回顧

今天要聊的內(nèi)容和GPT-5直接相關(guān)，是咱們的老朋友Gary Marcus的一篇分析。

核心觀點(diǎn)就一句話：GPT-4到5，不是光擴(kuò)大模型規(guī)模那么簡(jiǎn)單，是整個(gè)AI范式的變化。而從這一點(diǎn)來看，開發(fā)出GPT-4的OpenAI并不一定是先到達(dá)5的那一家公司。

換句話說，當(dāng)范式需要變革的時(shí)候，之前的積累可遷移性不大。

不過在走進(jìn)Marcus的觀點(diǎn)之前，我們還是簡(jiǎn)要復(fù)習(xí)一下最近有關(guān)傳說中的GPT-5都發(fā)生什么了，輿論場(chǎng)都說了些什么。

一開始是OpenAI的聯(lián)合創(chuàng)始人Karpathy發(fā)推表示，H100是巨頭們追捧的熱門，大家都關(guān)心這東西誰有，有多少。

然后就是一大波討論，各家公司需要多少?gòu)圚100 GPU來訓(xùn)練。

大概就是這樣。

• GPT-4可能在大約10000-25000張A100上進(jìn)行了訓(xùn)練
• Meta大約21000 A100
• Tesla大約7000 A100
• Stability AI大約5000 A100
• Falcon-40B在384個(gè)A100上進(jìn)行了訓(xùn)練

有關(guān)這個(gè)，馬斯克也參與了討論，根據(jù)馬斯克的說法，GPT-5的訓(xùn)練可能需要30000到50000個(gè)H100。

此前，摩根士丹利也說過類似的預(yù)測(cè)，不過總體數(shù)量要比馬斯克說的少一點(diǎn)，大概是25000個(gè)GPU。

當(dāng)然這波把GPT-5放到臺(tái)面上去聊，肯定少不了Sam Altman出來辟謠，表明OpenAI沒在訓(xùn)練GPT-5.

有大膽的網(wǎng)友猜測(cè)，OpenAI之所以否認(rèn)，很有可能只是把下一代模型的名字給改了，并不叫GPT-5而已。

反正根據(jù)Sam Altman的說法，正是因?yàn)镚PU的數(shù)量不足，才讓很多計(jì)劃被耽擱了。甚至還表示，不希望太多人使用GPT-4。

整個(gè)業(yè)內(nèi)對(duì)GPU的渴求都是如此。據(jù)統(tǒng)計(jì)，所有科技巨頭所需的GPU加起來，得有個(gè)43萬張還要多。這可是一筆天文數(shù)字的money，得差不多150億美元。

但通過GPU的用量來倒推GPT-5有點(diǎn)太迂回了，于是DeepMind的創(chuàng)始人Suleyman直接在采訪中「錘」了，表示OpenAI就是在秘密訓(xùn)練GPT-5，別藏了。

當(dāng)然在完整的訪談中，Suleyman還聊了不少業(yè)內(nèi)大八卦，比方說在和OpenAI的競(jìng)爭(zhēng)中，DeepMind為啥就落后了，明明時(shí)間上也沒滯后太多。

還有不少內(nèi)部消息，比如當(dāng)時(shí)谷歌收購(gòu)的時(shí)候發(fā)生了什么。但這些跟GPT-5怎么著關(guān)系就不大了，有興趣的朋友可以去自行了解。

總而言之，這波是業(yè)內(nèi)大佬下場(chǎng)聊GPT-5的最新進(jìn)展，讓大伙不禁疑云陡起。

在這之后，Sam Altman在一場(chǎng)一對(duì)一連線中又表示，「我覺得2030年之前，AGI要出現(xiàn)，叫GPT-10，超過全人類的智慧總和?！?/p>

一方面大膽預(yù)測(cè)，一方面否認(rèn)在訓(xùn)練GPT-5，這讓別人很難真正知道OpenAI在做些什么。

在這場(chǎng)連線中，Altman設(shè)想了很多屬于未來的圖景。比如他自己怎么理解AGI，什么時(shí)候會(huì)出現(xiàn)AGI，真出現(xiàn)AGI了OpenAI會(huì)怎么辦，全人類又該怎么辦。

不過就實(shí)際進(jìn)展來說，Altman是這么規(guī)劃的，「我和公司中的員工說，我們的目標(biāo)就是每12個(gè)月能讓我們的原型產(chǎn)品性能提升10%?！?/p>

「如果把這個(gè)目標(biāo)設(shè)定到20%可能就會(huì)有些過高了?！?/p>

這算是個(gè)具體安排。但是10%、20%和GPT-5之間的聯(lián)系又在哪，也沒說得很清楚。

最有含金量的還是下面這個(gè)——OpenAI的Gobi多模態(tài)模型。

重點(diǎn)在于谷歌和OpenAI之間的白熱化競(jìng)爭(zhēng)，到了哪個(gè)階段。

說Gobi之前，先得說說GPT-vision。這一代模型就很厲害了。拍個(gè)草圖照片，直接發(fā)給GPT，網(wǎng)站分分鐘給你做出來。

寫代碼那更不用說了。

而GPT-vision完了，OpenAI才有可能會(huì)推出更強(qiáng)大的多模態(tài)大模型，代號(hào)為Gobi。

跟GPT-4不同，Gobi從一開始就是按多模態(tài)模型構(gòu)建的。

這也讓圍觀群眾的興趣一下被勾起來了——Gobi就是傳說中的GPT-5嗎？

當(dāng)然現(xiàn)在我們還不知道Gobi訓(xùn)練到哪一步了，也沒有確切消息。

而Suleyman還是堅(jiān)定地認(rèn)為，Sam Altman最近說過他們沒有訓(xùn)練GPT-5，可能沒有說實(shí)話。

二、Marcus觀點(diǎn)

開宗明義，Marcus首先表示，很有可能，在科技史上，沒有任何一款預(yù)發(fā)布的產(chǎn)品（iPhone可能是個(gè)例外）比 GPT-5被寄予了更多的期望。

這不僅僅是因?yàn)橄M(fèi)者對(duì)它的熱捧，也不僅僅是因?yàn)橐淮笈髽I(yè)正計(jì)劃著圍繞它白手起家，甚至就連有些外交政策也是圍繞GPT-5制定的。

此外，GPT-5的問世也可能加劇剛剛進(jìn)一步升級(jí)的芯片戰(zhàn)爭(zhēng)。

Marcus表示，還有人專門針對(duì) GPT-5 的預(yù)期規(guī)模模型，要求其暫停生產(chǎn)。

當(dāng)然也是有不少人非常樂觀的，有一些人想象，GPT-5可能會(huì)消除，或者至少是極大地消除人們對(duì)現(xiàn)有模型的許多擔(dān)憂，比如它們的不可靠、它們的偏見傾向以及它們傾訴權(quán)威性廢話的傾向。

但Marcus認(rèn)為，自己從來都不清楚，僅僅建立一個(gè)更大的模型是否就能真正解決這些問題。

今天，有國(guó)外媒體爆料稱，OpenAI的另一個(gè)項(xiàng)目Arrakis，旨在制造更小、更高效的模型，但由于沒有達(dá)到預(yù)期目標(biāo)而被高層取消。

Marcu表示，我們幾乎所有人都認(rèn)為，GPT-4之后會(huì)盡快推出GPT-5，而通常想象中的GPT-5要比GPT-4強(qiáng)大得多，所以Sam當(dāng)初否認(rèn)的時(shí)候讓大伙大吃一驚。

人們對(duì)此有很多猜測(cè)，比方說上面提到的GPU的問題，OpenAI手上可能沒有足夠的現(xiàn)金來訓(xùn)練這些模型（這些模型的訓(xùn)練成本是出了名的高）。

但話又說回來了，OpenAI的資金充裕程度幾乎不亞于任何一家初創(chuàng)公司。對(duì)于一家剛剛?cè)谫Y100億美元的公司來說，即使進(jìn)行5億美元的訓(xùn)練也不是不可能。

另一種說法是，OpenAI 意識(shí)到，無論是訓(xùn)練模型還是運(yùn)行模型，成本都將非常高昂，而且他們不確定能否在這些成本下盈利。

這么說好像有點(diǎn)道理。

第三種說法，也是我Marcus的看法是，在Altman上半年5月份演講的時(shí)候，OpenAI就已經(jīng)進(jìn)行過一些概念驗(yàn)證方面的測(cè)試了，但他們對(duì)得到的結(jié)果并不滿意。

最后他們的結(jié)論可能是這樣：如果GPT-5只是GPT-4的放大版而已的話，那么它將無法滿足預(yù)期，和預(yù)設(shè)的目標(biāo)差的還遠(yuǎn)。

如果結(jié)果只會(huì)令人失望甚至像個(gè)笑話一樣，那么訓(xùn)練GPT-5就不值得花費(fèi)數(shù)億美元。

事實(shí)上，LeCun也是這么個(gè)思路。

GPT從4到5，不僅僅是4plus那么簡(jiǎn)單。4到5應(yīng)該是劃時(shí)代的那種。

這里需要的就是全新的范式，而不是單純擴(kuò)大模型的規(guī)模。

所以說，就范式上的變革來講，當(dāng)然還是越有錢的公司越有可能實(shí)現(xiàn)這個(gè)目標(biāo)。但區(qū)別在于，不一定是OpenAI了。因?yàn)榉妒降淖兏锸侨碌馁惖?，過往的經(jīng)驗(yàn)或者積累并不一定能派上多少用場(chǎng)。

同樣，從經(jīng)濟(jì)的角度來講，如果真如Marcus所言，那么GPT-5的開發(fā)就相當(dāng)于被無限期的推遲了。誰也不知道新技術(shù)何時(shí)到來。

就好像，現(xiàn)在新能源汽車普遍續(xù)航幾百公里，想要續(xù)航上千，就需要全新的電池技術(shù)。而新技術(shù)由誰來突破，往往除了經(jīng)驗(yàn)、資金外，可能還需要那么一點(diǎn)點(diǎn)運(yùn)氣，和機(jī)緣。

但不管怎么說，如果Marcus想的是對(duì)的，那么未來有關(guān)GPT-5的各種商業(yè)價(jià)值想必會(huì)縮水不少。

參考資料：

https://garymarcus.substack.com/p/what-if-gpt-5-didnt-meet-expectations