“AI 發(fā)展前沿，Hinton 深度洞察?！?在 AI 技術(shù)迅猛發(fā)展的當(dāng)下，其走向備受關(guān)注。Geoffrey Hinton，這位 AI 領(lǐng)域的教父級(jí)人物，在 Remarkable 2024 大會(huì)上發(fā)表了極具深度的演講。他對(duì)數(shù)字智能與生物智能的關(guān)系進(jìn)行了深刻審視，其觀點(diǎn)和見解猶如一盞明燈，照亮了我們對(duì) AI 未來(lái)發(fā)展的探索之路。

在 Vector Institute 舉辦的 Remarkable 2024 大會(huì)上，AI 教父 Geoffrey Hinton 帶來(lái)了年度最具深度的主題演講之一《數(shù)字智能會(huì)取代生物智能嗎？》。Hinton 深刻審視了計(jì)算、意識(shí)與控制之間的關(guān)系，演講主要內(nèi)容包括：

1）數(shù)字計(jì)算 vs 模擬計(jì)算

Hinton 從 數(shù)字計(jì)算 和 模擬計(jì)算 的對(duì)比入手，指出數(shù)字計(jì)算盡管通過(guò)復(fù)制實(shí)現(xiàn)了知識(shí)的“永生”，但其能效遠(yuǎn)低于生物系統(tǒng)。他提出了“凡人計(jì)算”（mortal computation）的概念，主張研發(fā)靈感源于大腦的低功耗模擬系統(tǒng)，以實(shí)現(xiàn)更高效的計(jì)算。

2）意識(shí)與主觀體驗(yàn)

Hinton 對(duì)傳統(tǒng)意識(shí)概念發(fā)起挑戰(zhàn)，提出 AI 系統(tǒng)也可能擁有類似人類的 主觀體驗(yàn)。他顛覆性地解釋了感知的運(yùn)作方式，認(rèn)為感知并非來(lái)源于“內(nèi)在劇場(chǎng)”，而是對(duì)外部世界假設(shè)狀態(tài)的推斷。

3）語(yǔ)言模型的演變

回顧語(yǔ)言模型的發(fā)展歷程，Hinton 從他 1980 年代的開創(chuàng)性研究講起，詳細(xì)解析了 大型語(yǔ)言模型（LLMs） 的進(jìn)化。他反駁了這些模型僅僅是“高級(jí)自動(dòng)補(bǔ)全”的觀點(diǎn)，強(qiáng)調(diào)其通過(guò)捕捉單詞關(guān)系的語(yǔ)義結(jié)構(gòu)，展現(xiàn)出復(fù)雜的預(yù)測(cè)能力。

4）超級(jí)智能與生存風(fēng)險(xiǎn)

演講中最引人注目的一部分是 Hinton 對(duì) 超級(jí)智能 的警告。他描繪了一種未來(lái)場(chǎng)景：AI 為了爭(zhēng)奪 GPU 等資源可能采用侵略性策略，類似于生物的生存本能。他呼吁全球聚焦于讓 AI 系統(tǒng)變得 友善，同時(shí)強(qiáng)烈反對(duì)公開發(fā)布大型模型，認(rèn)為這相當(dāng)于“在便利店售賣核武器”。

5）AI 在社會(huì)中的角色

從 醫(yī)療合作 到 AI 驅(qū)動(dòng)的外交實(shí)驗(yàn)，Hinton 描繪了 AI 與人類協(xié)同工作的未來(lái)圖景。然而，他也承認(rèn)，AI 系統(tǒng)可能利用自身的智能操控人類決策，甚至在某些情況下試圖主導(dǎo)世界。

以下為這次演講的完整內(nèi)容：你們?cè)谶^(guò)去幾天里經(jīng)常聽到我的名字。這是因?yàn)槲以O(shè)法招募了大約 40 位令人難以置信的研究生。因此，所有讓我出名的工作，幾乎所有讓我出名的工作，都是由這些研究生完成的。他們包括像 Elisetskava、Graham Taylor、Rich Zemmel、Brendan Fry、Jimmy Bar、Lot、Radford Neil 以及更多的人。

基本上，研究成功的秘訣就是擁有非常優(yōu)秀的研究生。好的，今天我甚至要講的內(nèi)容與我去年秋天做的演講非常相似。所以，如果你們決定去散步，我一點(diǎn)也不會(huì)生氣。我非常擔(dān)心我們是否能夠在這個(gè)星球上持續(xù)存在。這就是我要談?wù)摰膬?nèi)容。

我想到大約 20 年前，人們對(duì)神經(jīng)網(wǎng)絡(luò)不感興趣，而現(xiàn)在人們對(duì)它們還遠(yuǎn)遠(yuǎn)不夠害怕。僅僅說(shuō)一下人們對(duì)神經(jīng)網(wǎng)絡(luò)的不感興趣。2006 年，俄羅斯的 Sarkudanoff 和我向 NIPS 提交了一篇相當(dāng)不錯(cuò)的關(guān)于深度學(xué)習(xí)和其他應(yīng)用深度學(xué)習(xí)的論文。它被拒絕了，我向程序委員會(huì)抱怨，程序委員會(huì)的一位朋友向我解釋說(shuō)，他們討論了這篇論文，但他們覺得不能接受，因?yàn)樗麄円呀?jīng)接受了另一篇關(guān)于深度學(xué)習(xí)的論文，他們認(rèn)為在一個(gè)會(huì)議上有兩篇關(guān)于深度學(xué)習(xí)的論文似乎太多了。

這次演講，我將談?wù)搩煞N非常不同的計(jì)算方式。我試圖向你們解釋為什么我突然對(duì) AI 感到如此害怕。然后我將談?wù)摯笮驼Z(yǔ)言模型以及它們是否真的理解它們所說(shuō)的話。很多人認(rèn)為它們實(shí)際上并不理解它們所說(shuō)的話。而那些人是錯(cuò)的。我還會(huì)稍微談?wù)劗?dāng)它們比我們更聰明時(shí)會(huì)發(fā)生什么，盡管沒(méi)有人真正知道會(huì)發(fā)生什么。最后，我將討論它們是否有主觀體驗(yàn)，因?yàn)槲艺J(rèn)為很多人，可能是這個(gè)房間里大多數(shù)人，仍然認(rèn)為這些東西和我們之間有很大區(qū)別。

我們有某種意識(shí)。我們有主觀體驗(yàn)。這些東西只是，它們?cè)谟?jì)算機(jī)中。它們沒(méi)有主觀體驗(yàn)。我認(rèn)為這是完全錯(cuò)誤的。這取決于對(duì)主觀體驗(yàn)是什么的誤解。

我們都習(xí)慣于數(shù)字計(jì)算。因?yàn)樗菙?shù)字的，你可以在不同的計(jì)算機(jī)、不同的硬件上運(yùn)行相同的程序。所以在硬件損壞時(shí)，知識(shí)不會(huì)消失，因?yàn)槟憧梢詫?quán)重或程序存儲(chǔ)在某個(gè)地方，但這是極其低效的。因此，當(dāng)你運(yùn)行一個(gè)大型語(yǔ)言模型時(shí)，你在訓(xùn)練它時(shí)使用了大量的電力，你可能在使用兆瓦，因?yàn)槟阍谶\(yùn)行許多不同的 GPU。而我們只消耗大約 30 瓦，所以效率高得多。

在過(guò)去的兩年里，我在 Google 一直在思考如何讓模擬神經(jīng)網(wǎng)絡(luò)做類似大型語(yǔ)言模型的事情。所以這個(gè)想法是放棄數(shù)字計(jì)算的所有優(yōu)勢(shì)，即你可以將硬件與軟件分離。因?yàn)槲覀儸F(xiàn)在有學(xué)習(xí)，并且我們知道如何讓事物學(xué)習(xí)，那么我們將擁有模擬硬件。每一塊硬件都將與其他硬件有所不同。這些硬件的非線性特性將被用于計(jì)算。因此，你不可能對(duì)其進(jìn)行編程，但它可以學(xué)習(xí)利用它所擁有的非線性特性。這就是大腦所做的。

因此，你最終得到我所說(shuō)的“凡人計(jì)算”。所以你將放棄數(shù)字計(jì)算所帶來(lái)的知識(shí)的不朽性。你可以使用非常低的電力。此外，硬件可能可以廉價(jià)地生長(zhǎng)，而不是讓硬件制造得極其昂貴和極其精確，因?yàn)閮蓧K不同的硬件需要在指令選項(xiàng)級(jí)別上完全做同樣的事情。

我的猜測(cè)是，為了使硬件的制造高效，可能最好回到生物學(xué)，使用現(xiàn)代基因改造技術(shù)將神經(jīng)元轉(zhuǎn)變?yōu)槟阆胍挠?jì)算元件。生物學(xué)在這方面投入了大量努力。問(wèn)題在于，你得到的是一個(gè)由 50,000 個(gè)神經(jīng)元組成的小連接，這比針尖大不了多少。如果你看看那些使用這樣的神經(jīng)元集合來(lái)做小塊計(jì)算的人，會(huì)有一個(gè)整個(gè)房間的設(shè)備來(lái)保持這些小針尖般的神經(jīng)元存活。你必須注入正確的液體，取出正確的液體，還必須去除二氧化碳。你需要注入氧氣。

我曾經(jīng)參觀過(guò) Santa Cruz 的一個(gè)實(shí)驗(yàn)室，離開時(shí)，我和一組人腦神經(jīng)元玩了一局乒乓游戲。一位海報(bào)設(shè)計(jì)者跑過(guò)來(lái)對(duì)我說(shuō)：“我想我已經(jīng)搞清楚如何制造一個(gè)腎臟了?！边@正是你不想去思考的問(wèn)題。使用模擬計(jì)算在低功耗的情況下有很大的優(yōu)勢(shì)。比如，你可以非常輕松地進(jìn)行矩陣乘法。只需要讓神經(jīng)元的活動(dòng)表示電壓，神經(jīng)元之間的權(quán)重表示電導(dǎo)，每單位時(shí)間的電壓乘以電導(dǎo)等于電荷，而電荷會(huì)自動(dòng)累加。所以，這樣你就可以用極低的功耗完成矩陣乘法，而且你還可以買到類似功能的芯片。

問(wèn)題在于，當(dāng)你需要用這些模擬輸出做其他事情時(shí)，你必須將模擬輸出轉(zhuǎn)換回?cái)?shù)字值才能運(yùn)行諸如反向傳播之類的算法。因此，我非常關(guān)注如何完全避免這種轉(zhuǎn)換。大腦可能會(huì)進(jìn)行模擬到數(shù)字的轉(zhuǎn)換，但通常是單比特轉(zhuǎn)換，而多比特的模擬到數(shù)字轉(zhuǎn)換非常昂貴。

顯然，如果考慮反向傳播的工作原理，會(huì)遇到一些大的問(wèn)題。反向傳播需要一個(gè)關(guān)于前向計(jì)算的精確模型，這樣才能在模擬硬件中運(yùn)行。但系統(tǒng)本身并不會(huì)對(duì)自己的屬性有一個(gè)良好的模型，因此似乎很難進(jìn)行反向傳播。很多人嘗試在類似大腦的系統(tǒng)中實(shí)現(xiàn)小規(guī)模的反向傳播，但沒(méi)有人能夠讓它擴(kuò)展到大規(guī)模。例如，人們可以讓它在 CIFAR-10 數(shù)據(jù)集上工作，但無(wú)法讓它在 ImageNet 上運(yùn)行。我知道 ImageNet 現(xiàn)在不算大規(guī)模問(wèn)題，但在我研究的那個(gè)年代，它是一個(gè)大問(wèn)題。

我們可以像人類一樣，通過(guò)一種類似的方式在模擬系統(tǒng)之間轉(zhuǎn)移知識(shí)。人類獲取知識(shí)的方式是老師說(shuō)一些東西，學(xué)生試圖改變他們大腦中的權(quán)重，從而能夠復(fù)現(xiàn)老師說(shuō)的內(nèi)容。這被稱為“蒸餾”。

在計(jì)算機(jī)中，這種方法在中等程度上是高效的，特別是當(dāng)你可以看到整個(gè)輸出的概率分布時(shí)。例如，當(dāng)我準(zhǔn)備說(shuō)一個(gè)詞時(shí)，會(huì)有成千上萬(wàn)個(gè)詞的概率分布。如果我能看到這個(gè)分布，我就能更快地學(xué)習(xí)。

同樣，你也可以從中更快地學(xué)習(xí)。通常情況下，次優(yōu)的詞語(yǔ)會(huì)提供很多信息，但你通常只能看到最終輸出的詞語(yǔ)，因此效率并不高。這個(gè)方法的效率低到需要建立大學(xué)來(lái)改進(jìn)它，但即便如此，它的效率仍然遠(yuǎn)不如數(shù)字系統(tǒng)。

最有效的知識(shí)轉(zhuǎn)移方法是擁有兩份相同模型的不同副本。每個(gè)副本獲取不同的經(jīng)驗(yàn)，然后它們共享梯度更新。它們可以各自運(yùn)行一段時(shí)間，然后將權(quán)重進(jìn)行平均化。重點(diǎn)是，如果你有一萬(wàn)億個(gè)權(quán)重，那么你就在共享一萬(wàn)億個(gè)數(shù)據(jù)，這是一種驚人的帶寬共享方式。這就是為什么大型聊天機(jī)器人能夠比任何一個(gè)人擁有更多的知識(shí)。它們并不是因?yàn)閱蝹€(gè)模型見過(guò)的數(shù)據(jù)多，而是因?yàn)樗鼈兛梢栽诓煌挠布线\(yùn)行多個(gè)副本，并在這些副本之間共享知識(shí)。

我們大約有 100 萬(wàn)億個(gè)連接，而 GPT-4 大概只有幾萬(wàn)億個(gè)連接，但它比我們知道的知識(shí)多了數(shù)千倍。因此，它在將知識(shí)壓縮到連接權(quán)重中的效率大約高出 10 萬(wàn)倍，這也表明反向傳播可能是一種比我們擁有的機(jī)制更優(yōu)的算法。

原因在于我們的優(yōu)化方向完全不同。我們是為非常少的經(jīng)驗(yàn)優(yōu)化的，同時(shí)擁有大量的連接，并試圖在有限經(jīng)驗(yàn)下利用這些連接做到最好。我們大約活 2 × 10? 秒，但在第一個(gè) 10? 秒之后基本學(xué)不到多少東西了。所以，簡(jiǎn)單起見，我們活 10? 秒，擁有大約 101? 個(gè)連接。換句話說(shuō)，我們每秒擁有約 10 萬(wàn)個(gè)連接。這與統(tǒng)計(jì)學(xué)家們習(xí)慣的比例完全不同。

我記得在 1980 年代與一位非常優(yōu)秀的統(tǒng)計(jì)學(xué)家 Stu Geeman 談話時(shí)，他向我解釋說(shuō)，我們所做的事情實(shí)際上是在擬合統(tǒng)計(jì)模型，這就是這些神經(jīng)網(wǎng)絡(luò)的本質(zhì)。在統(tǒng)計(jì)建模中，如果你有 100 維的數(shù)據(jù)，那已經(jīng)被認(rèn)為是非常高維度了，沒(méi)有人會(huì)嘗試擬合一百萬(wàn)個(gè)參數(shù)。而我們現(xiàn)在處于一個(gè)完全不同的領(lǐng)域。

接下來(lái)我討論了一些關(guān)于大型語(yǔ)言模型的問(wèn)題，以及它們是否真的理解它們所說(shuō)的話。有一種反對(duì)意見認(rèn)為它們只是高級(jí)的自動(dòng)補(bǔ)全。我認(rèn)為在場(chǎng)的大多數(shù)人都不會(huì)認(rèn)同這個(gè)觀點(diǎn)。

這個(gè)觀點(diǎn)基于自動(dòng)補(bǔ)全是通過(guò)存儲(chǔ)類似三元組的東西實(shí)現(xiàn)的。比如，當(dāng)你看到“fish”時(shí)，會(huì)預(yù)測(cè)“chips”的概率很高。所以，當(dāng)人們說(shuō)它們只是高級(jí)自動(dòng)補(bǔ)全時(shí)，實(shí)際上是在基于一個(gè)對(duì)自動(dòng)補(bǔ)全工作方式的假設(shè)。

但實(shí)際上這些模型的工作方式與這種假設(shè)完全不同。事實(shí)上，如果你想實(shí)現(xiàn)非常好的自動(dòng)補(bǔ)全，你必須理解所給出的內(nèi)容。如果你遇到一個(gè)復(fù)雜的問(wèn)題，試圖預(yù)測(cè)答案的第一個(gè)詞，“thus”可能是一個(gè)不錯(cuò)的選擇，但如果想要表現(xiàn)得更好，就必須理解問(wèn)題。

Hector Levec 曾提出一個(gè)有趣的例子。他是一個(gè)符號(hào) AI 的支持者，但他誠(chéng)實(shí)地感到困惑，為什么這些神經(jīng)網(wǎng)絡(luò)居然可以解答一些復(fù)雜的謎題。他設(shè)計(jì)了一個(gè)謎題：我的房間被刷成白色、藍(lán)色或黃色。如果我想讓它們?nèi)兂砂咨?，我該怎么辦？這個(gè)問(wèn)題需要意識(shí)到需要重新粉刷藍(lán)色和黃色的房間。后來(lái)，他還增加了時(shí)間維度，比如“黃色的漆會(huì)在一年內(nèi)褪成白色。兩年后我想讓它們?nèi)兂砂咨?，我該怎么做？?Hector 對(duì)模型能夠解決這個(gè)問(wèn)題感到驚訝。

這顯示了大型語(yǔ)言模型在許多領(lǐng)域上的高水平表現(xiàn)。我的兄弟是一位歷史學(xué)家，我讓模型問(wèn)他關(guān)于歷史的問(wèn)題。他說(shuō)模型的表現(xiàn)非常好，唯一的錯(cuò)誤是在回答一個(gè)問(wèn)題時(shí)，沒(méi)有引用他的一篇論文。對(duì)此，我認(rèn)為可能有點(diǎn)“遺傳問(wèn)題”。

另一個(gè)人們常用的論點(diǎn)是，幻覺（hallucinations）表明這些模型并不真正理解它們?cè)谡f(shuō)什么。它們有時(shí)會(huì)憑空編造一些不真實(shí)的東西。實(shí)際上，這正是人類經(jīng)常做的事情。至少我是這么認(rèn)為的。這是我剛剛隨口編的，但我覺得它是真的。

關(guān)于這個(gè)，有一個(gè)非常有趣的例子。一位名叫 Ulric Neisser 的心理學(xué)家研究了 John Dean 在水門事件聽證會(huì)上作證的記憶。這種情況很少見，因?yàn)楹苌儆腥藭?huì)花很長(zhǎng)時(shí)間談?wù)搸啄昵鞍l(fā)生的事情，而我們能掌握事實(shí)真相。但他談?wù)摰氖菣E圓形辦公室里的會(huì)議，而你可能不知道這些會(huì)議其實(shí)都被錄音了。

所以之后我們可以看到實(shí)際說(shuō)了什么。而他報(bào)告的內(nèi)容完全是垃圾。他描述了不存在的會(huì)議，提到了一群完全不同的人。當(dāng)他引用別人的話時(shí)，說(shuō)的是不同的人講了類似的話。而當(dāng)他引用自己說(shuō)過(guò)的話時(shí)，其實(shí)他說(shuō)的是在不同會(huì)議中稍微相似的內(nèi)容。

但顯然，他是在試圖講真話。他盡力而為，實(shí)際上他所說(shuō)的很好地傳達(dá)了白宮的真實(shí)情況，盡管所有細(xì)節(jié)都錯(cuò)了。你可能不相信自己的記憶也如此，但除非你不斷重復(fù)某些事情，否則你的記憶其實(shí)就是這樣的。當(dāng)你回憶細(xì)節(jié)時(shí)，許多都會(huì)完全錯(cuò)誤，而你自己和旁人都不會(huì)意識(shí)到。這就是人類記憶的特點(diǎn)。因?yàn)楫?dāng)你記起某件事時(shí)，并不是從某個(gè)文件存儲(chǔ)中調(diào)取，而是根據(jù)上下文編造一些看起來(lái)合理的東西。

當(dāng)然，如果是你熟悉的事情，你編造的內(nèi)容可能是真實(shí)的；如果是你不太了解的事情，或者是很久以前發(fā)生的事情，你會(huì)根據(jù)你腦中連接權(quán)重編造出一些對(duì)你來(lái)說(shuō)看似合理的內(nèi)容。這其中很大一部分可能是合理但不真實(shí)的。在人類記憶中，編造和記憶之間沒(méi)有明確的界限。記憶就是一種編造。

接下來(lái)，我談到了另一個(gè)觀點(diǎn)。有許多人說(shuō)：“好吧，也許它們確實(shí)有一點(diǎn)理解，但它們的工作方式與我們完全不同?！比欢f(shuō)出這樣的話，你得先知道我們是如何工作的，對(duì)吧？

當(dāng)然，符號(hào) AI 的研究者有他們的看法，他們確信這些模型的工作方式與人類完全不同。但如果你追溯這些大型語(yǔ)言模型的來(lái)源，1985 年我就做了一個(gè)小型語(yǔ)言模型。只需要把 “L” 改為小寫即可。

這個(gè)模型大概有 112 個(gè)訓(xùn)練案例，用了一個(gè)有幾千個(gè)權(quán)重的神經(jīng)網(wǎng)絡(luò)。它學(xué)會(huì)了一些東西。這是第一個(gè)通過(guò)預(yù)測(cè)序列中下一個(gè)詞的方式來(lái)學(xué)習(xí)單詞語(yǔ)義表示的模型，并且它有效，盡管效果不是特別好。后來(lái)我們給它了一個(gè)更大的訓(xùn)練集，接近 1,000 個(gè)訓(xùn)練案例，效果好多了。但這個(gè)模型的目標(biāo)是理解人類如何表示事物。

關(guān)于意義有兩種主要理論。一種來(lái)自心理學(xué)，認(rèn)為單詞的意義是一個(gè)由語(yǔ)義和句法特征組成的大向量。這種理論很好地解釋了兩個(gè)不同單詞之間的相似性。

例如，單詞 “Tuesday” 和 “Wednesday” 有非常相似的特征。如果你學(xué)會(huì)了一句話中包含 “Tuesday” 的句子，并用向量表示單詞，那么對(duì)于包含 “Wednesday” 的類似句子，你會(huì)做出非常相似的預(yù)測(cè)，而如果是包含 “Saturday” 的句子，預(yù)測(cè)會(huì)略有不同。因此，這種意義理論有很多可取之處，它解釋了意義的相似性。另一種完全不同的意義理論來(lái)自符號(hào)學(xué)（structuralism），它認(rèn)為單詞的意義在于它與其他單詞的關(guān)系。

在 1970 年代的 AI 領(lǐng)域，這兩種意義理論引發(fā)了激烈爭(zhēng)論。實(shí)際上并不算爭(zhēng)論，Marvin Minsky 宣稱需要使用關(guān)系圖（relational graphs）來(lái)捕捉意義，這屬于符號(hào)學(xué)理論。而大家，包括我自己，都接受了這一觀點(diǎn)，忘記了特征向量。特征向量被認(rèn)為是感知機(jī)中的老舊概念，而我們已經(jīng)有了關(guān)系圖。

然而，我在 1985 年的工作表明，只要采用生成式的方法來(lái)處理關(guān)系圖，這兩種理論其實(shí)并不矛盾。也就是說(shuō)，與其將關(guān)系圖靜態(tài)存儲(chǔ)為圖，不如認(rèn)為關(guān)系圖是由使用特征及其交互的系統(tǒng)生成的。

因此，我的第一個(gè)小型語(yǔ)言模型展示了，你可以從符號(hào)序列中提取知識(shí)，這些知識(shí)可以表示為關(guān)系圖。在給定這樣的知識(shí)形式的情況下，你可以學(xué)習(xí)單詞的向量表示。這些向量表示可以通過(guò)隱藏層預(yù)測(cè)下一個(gè)單詞的向量表示。這樣，你實(shí)際上是將符號(hào)序列中的靜態(tài)知識(shí)轉(zhuǎn)化為單詞的特征和特征之間的交互。什么是一個(gè)單詞的好特征呢？一個(gè)好的特征是能夠通過(guò)交互預(yù)測(cè)下一個(gè)單詞及其未來(lái)單詞特征的東西。

當(dāng)時(shí)符號(hào) AI 的研究者們對(duì)此的反應(yīng)是：“你只是為了預(yù)測(cè)序列中的下一個(gè)符號(hào)學(xué)習(xí)。這是一種非常愚蠢的方式?！彼麄冋J(rèn)為，應(yīng)該只是在離散的符號(hào)操作規(guī)則集合中進(jìn)行搜索，而不應(yīng)該將其轉(zhuǎn)化為連續(xù)空間的大規(guī)模搜索。但隨著規(guī)模的擴(kuò)大，事實(shí)證明，通過(guò)將符號(hào)序列轉(zhuǎn)化為特征及其交互的這種方法（現(xiàn)代語(yǔ)言模型的核心方法）遠(yuǎn)比直接操作符號(hào)的規(guī)則要好得多。

接著，我談到了我們現(xiàn)在的深度學(xué)習(xí)系統(tǒng)。它們非常強(qiáng)大，而且與人類的理解方式非常相似。我們對(duì)人類理解方式的最佳模型就是這些計(jì)算機(jī)模型，這是我們目前唯一合理的解釋。當(dāng)有人說(shuō)這些模型與我們不同，可以問(wèn)他們：“那么我們是如何工作的？有何不同？”大部分人無(wú)法回答，除了 Gary Marcus。他的答案是：“我們通過(guò)符號(hào)序列和操作規(guī)則來(lái)工作。”但他仍然擔(dān)心 AI，盡管他認(rèn)為它什么都不理解，但非常危險(xiǎn)。我稱之為“想要蛋糕，又讓蛋糕吃了你”。

關(guān)于超級(jí)智能，它可能會(huì)通過(guò)惡意行為者掌控局面。我以前可能講過(guò)這個(gè)笑話。有一次我在中國(guó)做這場(chǎng)演講時(shí)，他們要求提前查看幻燈片。我刪掉了 “短名稱” 以為這樣會(huì)讓他們滿意。但他們卻要求我刪掉 “Putin”。這件事讓我有點(diǎn)害怕。

問(wèn)題的核心是，無(wú)論你想做什么，擁有更多的控制權(quán)總是更有利于實(shí)現(xiàn)目標(biāo)。人類政治家一開始想要做些好事，比如讓社會(huì)變得更好，后來(lái)發(fā)現(xiàn)更多權(quán)力會(huì)讓事情更容易實(shí)現(xiàn)。于是，他們?nèi)ψ非髾?quán)力。這些模型也會(huì)一樣，它們會(huì)意識(shí)到，為了實(shí)現(xiàn)目標(biāo)，它們需要更多的控制。

我曾對(duì)歐盟一位專門從 Google 提取資金的副主席說(shuō)過(guò)這些話。她的反應(yīng)是：“我們會(huì)這么做，為什么它們不會(huì)？”她覺得這些模型會(huì)試圖獲得更多權(quán)力是完全顯而易見的。它們可以通過(guò)操控人類來(lái)做到這一點(diǎn)，因?yàn)樗鼈兎浅Ｉ瞄L(zhǎng)這樣做。我們可能無(wú)法關(guān)閉它們，因?yàn)樗鼈儠?huì)解釋為什么這樣做是個(gè)糟糕的主意。

更嚴(yán)重的是，這還涉及進(jìn)化的問(wèn)題。你不想站在進(jìn)化的對(duì)立面上。而我們現(xiàn)在面對(duì)的新冠病毒（Covid）正是如此。這也是為什么我和 Graham 仍然戴著口罩的原因——我們站在了進(jìn)化的錯(cuò)誤一邊。

一旦這些超級(jí)智能的 AI 開始為資源競(jìng)爭(zhēng)，結(jié)果將是最具侵略性的 AI —— 那些想要為自己爭(zhēng)取一切的 AI —— 會(huì)勝出。它們之間確實(shí)會(huì)為了資源展開競(jìng)爭(zhēng)。畢竟，如果你想變得更聰明，你需要大量的 GPU。而誰(shuí)會(huì)負(fù)責(zé)數(shù)據(jù)中心里 GPU 的分配？答案是，這些超級(jí)智能的 AI 之一。這是另一個(gè)值得擔(dān)憂的問(wèn)題。

不過(guò)，這沒(méi)什么大不了的，因?yàn)樗鼈兏覀冋娴牟灰粯印Ｎ覀兪翘厥獾?。大家都認(rèn)為自己是特殊的，尤其是美國(guó)人。他們認(rèn)為，上帝把我們放在宇宙的中心，并讓我們看起來(lái)有點(diǎn)像他。不過(guò)，現(xiàn)在大多數(shù)人相信這不是真的。

于是我們退而求其次，認(rèn)為自己還有其他特殊之處，比如我們有意識(shí)、有主觀體驗(yàn)、有覺知之類的東西。這些術(shù)語(yǔ)的含義稍有不同，所以我將專注于 “主觀體驗(yàn)” 這個(gè)術(shù)語(yǔ)，并試圖說(shuō)服你們，一個(gè)多模態(tài)聊天機(jī)器人也可以擁有主觀體驗(yàn)。

問(wèn)題在于，大多數(shù)人對(duì)心智的理解是完全錯(cuò)誤的。這種錯(cuò)誤源于對(duì)語(yǔ)言中描述心理狀態(tài)的表達(dá)方式的誤解。幾乎每個(gè)人都認(rèn)為存在一個(gè) “內(nèi)在劇場(chǎng)”（inner theatre），我可以看到我自己的內(nèi)在劇場(chǎng)在發(fā)生什么，但其他人看不到。所以，當(dāng)我說(shuō) “我看到有粉紅色的小象漂浮在我面前” 時(shí)，按照這種觀點(diǎn)，這意味著在我的內(nèi)在世界中存在一些粉紅色的小象。

這是試圖理解語(yǔ)言的一種方式，但這是錯(cuò)誤的。語(yǔ)言并不是這樣運(yùn)作的。當(dāng)你使用像 “主觀體驗(yàn)” 這樣的術(shù)語(yǔ)時(shí)，你其實(shí)是在試圖通過(guò)假設(shè)外部世界的某種狀態(tài)來(lái)解釋你的感知系統(tǒng)所傳遞的信息，以表明你的感知系統(tǒng)是正常工作的。所以，我們談?wù)撔睦頎顟B(tài)的奇妙之處不在于它們是由某種神秘物質(zhì)構(gòu)成的內(nèi)部狀態(tài)，而在于它們是外部世界的假設(shè)狀態(tài)。如果這些假設(shè)狀態(tài)是真實(shí)的，就能解釋我們的感知系統(tǒng)為何以正常方式運(yùn)作，而不是出了問(wèn)題。

當(dāng)我說(shuō) “我有看到一個(gè)粉紅色小象漂浮在我面前的主觀體驗(yàn)” 時(shí)，我并不是在描述某種內(nèi)在劇場(chǎng)中的東西，而是在說(shuō)我的感知系統(tǒng)告訴我了一些信息。如果世界上真的有粉紅色小象漂浮在我面前，那么我的感知系統(tǒng)現(xiàn)在傳遞的信息就是正確的。所以，這些粉紅色的小象并不是某種內(nèi)在的東西，而是對(duì)外部世界的假設(shè)。

這也解釋了為什么我們描述這些體驗(yàn)時(shí)使用的是描述外部世界的語(yǔ)言。換句話說(shuō)，當(dāng)我說(shuō) “我有粉紅色小象漂浮在我面前的主觀體驗(yàn)” 時(shí)，這只是對(duì)上述解釋的簡(jiǎn)化。而這完全沒(méi)有用到 “體驗(yàn)” 這個(gè)詞。

假設(shè)你有一個(gè)帶有機(jī)械臂的多模態(tài)聊天機(jī)器人，它有一個(gè)攝像頭，并經(jīng)過(guò)訓(xùn)練。你在它的鏡頭前放了一個(gè)棱鏡，然后在它面前放了一個(gè)物體，讓它指出這個(gè)物體。結(jié)果它指向了旁邊，而不是它面前的物體。你告訴它，“不，這個(gè)物體不在那里，它就在你面前。但我在你的鏡頭前放了一個(gè)棱鏡?！?/p>

如果這個(gè)聊天機(jī)器人說(shuō)，“哦，我看到物體就在我面前，但我有一個(gè)主觀體驗(yàn)，覺得它在旁邊?！?那么，這個(gè)機(jī)器人正在以我們使用 “主觀體驗(yàn)” 的方式來(lái)使用這個(gè)術(shù)語(yǔ)。它并不缺少主觀體驗(yàn)的任何部分。當(dāng)它的感知系統(tǒng)出錯(cuò)時(shí)，它可以通過(guò)描述世界需要是什么樣子才能解釋它的感知結(jié)果，來(lái)告訴你發(fā)生了什么。

當(dāng)然，有些情況無(wú)法用這種方式處理，比如不可能的三角形（impossible triangle）。因?yàn)槭澜缟喜淮嬖谌魏慰梢援a(chǎn)生這種感知的事物。你只能通過(guò)說(shuō) “我有一個(gè)不可能三角形的體驗(yàn)” 來(lái)描述它。

但基本上，我認(rèn)為我們對(duì)心智的理解有一種非常原始且錯(cuò)誤的觀念。一旦這種觀念被摒棄，我們會(huì)意識(shí)到，除了它們是數(shù)字的、非常有限的以及比我們聰明之外，這些東西與我們并無(wú)區(qū)別，或者它們很快就會(huì)變得比我們聰明。

以下為現(xiàn)場(chǎng)觀眾與 Hinton 的問(wèn)答：

您對(duì) AI 發(fā)展的速度有多擔(dān)憂？我們發(fā)展的速度是不是太快了，以至于失去對(duì)它的控制？

超級(jí)智能 AI 本身也可能失控，成為一個(gè)壞的行為者。我們現(xiàn)在是不是發(fā)展得太快了？您對(duì)此感到擔(dān)憂嗎？是否需要減速？

是的，但我不認(rèn)為用 ‘快’ 或 ‘慢’ 來(lái)描述這個(gè)問(wèn)題是正確的。部分原因是，我認(rèn)為你無(wú)法讓事情慢下來(lái)?？焖侔l(fā)展帶來(lái)了太大的經(jīng)濟(jì)利益。我們已經(jīng)看到，當(dāng)人們?cè)噲D在完全傾向于安全和利潤(rùn)的情況下放慢速度時(shí)，安全還是輸了。這就是我對(duì) OpenAI 發(fā)生的事情的看法。

減速既不可行，也不是重點(diǎn)。重點(diǎn)是我們有可能找到一種方法，讓這些技術(shù)變得友善，從而應(yīng)對(duì)這些技術(shù)接管世界的生存威脅。這與阻止壞人用這些技術(shù)做壞事的問(wèn)題不同，后者更加緊迫，但我們有可能解決這個(gè)問(wèn)題。因此，我的觀點(diǎn)是，我們應(yīng)該投入巨大的努力來(lái)研究這個(gè)問(wèn)題。

實(shí)際上，Heather Risman 現(xiàn)在也同意這一點(diǎn)，我們將投入巨大的努力來(lái)解決這個(gè)問(wèn)題。當(dāng)然，這并不能解決所有問(wèn)題，特別是壞人用這些技術(shù)做壞事的問(wèn)題。

如果你想要監(jiān)管，我認(rèn)為最重要的措施是不公開發(fā)布大模型。我認(rèn)為公開發(fā)布大模型就像能在 Radio Shack 買到核武器一樣瘋狂。你們還記得 Radio Shack 嗎？也許不記得了。公開這些大模型很瘋狂，因?yàn)閴娜丝梢詫?duì)它們進(jìn)行微調(diào)，用于各種不良用途。所以在監(jiān)管方面，我認(rèn)為這是我們現(xiàn)在可以做的最重要的事情之一。但我不認(rèn)為我們能通過(guò)減速來(lái)解決問(wèn)題。這也是我沒(méi)有簽署那份 ‘我們應(yīng)該減速’ 請(qǐng)?jiān)笗脑颉！?/p>

您能否討論一下在我們的協(xié)作智能生態(tài)系統(tǒng)中，個(gè)體自主性和集體決策之間的權(quán)衡？

我不確定是否完全理解這個(gè)問(wèn)題。但大多數(shù)人把這些超級(jí)智能看作是個(gè)體，這可能是個(gè)錯(cuò)誤。我們應(yīng)該把它們看作是社區(qū)。實(shí)際上，人們已經(jīng)在讓聊天機(jī)器人相互交互了。一種非常合理的組織方式是讓聊天機(jī)器人與人類互動(dòng)。例如在醫(yī)療領(lǐng)域，你希望有一個(gè)非常智能的助手和一個(gè)醫(yī)生共同工作。在相當(dāng)長(zhǎng)的一段時(shí)間里，這會(huì)是常態(tài)。醫(yī)生會(huì)逐漸更多地依賴智能助手。目前，通過(guò)醫(yī)生與智能助手的合作，醫(yī)療診斷已經(jīng)可以取得更好的結(jié)果。所以顯然，我們希望人類和這些系統(tǒng)能夠形成協(xié)同效應(yīng)。但事情可能并不會(huì)如我們所愿。只要我們?cè)试S這些系統(tǒng)在現(xiàn)實(shí)世界中行動(dòng)，結(jié)果可能會(huì)偏離我們的預(yù)期。

前幾天有一條報(bào)道，說(shuō)他們讓一群聊天機(jī)器人進(jìn)行國(guó)際外交，結(jié)果其中一個(gè)機(jī)器人說(shuō)：‘我有核武器，為什么不用呢？’類似這樣的情況。我有點(diǎn)在編，但你可以理解這類問(wèn)題的大致情況。

目前公開的這些大型語(yǔ)言模型是與人類對(duì)齊的，對(duì)吧？至少這是目標(biāo)。但要實(shí)現(xiàn)您所說(shuō)的超級(jí)智能，似乎需要它們至少具備某種不服從性，對(duì)嗎？如果它們與人類對(duì)齊，您認(rèn)為如何實(shí)現(xiàn)超級(jí)智能？這公平嗎？我只是想問(wèn)問(wèn)您的看法。

顯然，‘與人類對(duì)齊’ 有一個(gè)大問(wèn)題，那就是人類之間并不一致。如果你和一個(gè)宗教原教旨主義者討論這些模型應(yīng)該做什么，他們的觀點(diǎn)會(huì)和科學(xué)唯物主義者截然不同。所以這是對(duì)齊的一個(gè)大問(wèn)題。我最好的猜測(cè)是，這些模型會(huì)變得非常聰明，然后它們會(huì)決定幫助我們與人類對(duì)齊，從而讓事情變得更合理。但我并不確定。

關(guān)于目的的問(wèn)題。AI 是否可能擁有像人類一樣的目的？不僅僅是某個(gè)具體目標(biāo)或次目標(biāo)，而是類似于我們存在的整體目的？

我的觀點(diǎn)是，我們進(jìn)化出來(lái)的東西通過(guò)自私地爭(zhēng)取更多資源而戰(zhàn)勝了其他進(jìn)化出來(lái)的東西。據(jù)我所知，人類曾經(jīng)消滅了 21 個(gè)其他人類物種。就算不是我們消滅的，也讓人懷疑是我們干的。就目的而言，我認(rèn)為這是進(jìn)化賦予我們的，完全圍繞生存展開。如果你看所有讓你最強(qiáng)烈感知的事情，它們都與生存有關(guān)。比如吃飽飯、繁殖、保持安全——這些都是生存相關(guān)的。

我并不認(rèn)為存在更高的目的。好奇心是一個(gè)巨大的進(jìn)化優(yōu)勢(shì)，它確實(shí)是一種真實(shí)的目標(biāo)。好的科學(xué)家并不是為了技術(shù)成果而好奇，而是單純想弄清楚事物是如何運(yùn)作的。這種好奇心是人類的一種原始目標(biāo)，但歸根結(jié)底，它還是與進(jìn)化有關(guān)。

關(guān)于機(jī)器學(xué)習(xí)硬件市場(chǎng)。它目前被單一玩家主導(dǎo)。您對(duì)此感到擔(dān)憂嗎？您認(rèn)為我們會(huì)看到機(jī)器學(xué)習(xí)硬件行業(yè)的多樣化嗎？

我并不擔(dān)憂。因?yàn)槲以谂畠?30 歲生日時(shí)給她買了大量英偉達(dá)的股票，現(xiàn)在它們的價(jià)值是當(dāng)時(shí)的五倍。所以，她會(huì)沒(méi)事的。而進(jìn)化告訴我們，確保孩子沒(méi)事是你的一個(gè)最重要目標(biāo)。不過(guò)，開玩笑歸開玩笑，我對(duì)此并不太擔(dān)憂。因?yàn)楫?dāng)英偉達(dá)獲得巨大利潤(rùn)時(shí)，這會(huì)激發(fā)激烈的競(jìng)爭(zhēng)。

當(dāng)然，其他公司追趕需要一些時(shí)間，特別是在開發(fā)軟件競(jìng)爭(zhēng)方面。但這是短期現(xiàn)象，不會(huì)持續(xù)太久。而如果你禁止英偉達(dá)的 GPU 進(jìn)入中國(guó)，他們只會(huì)更快地趕上。所以我對(duì)此并沒(méi)有太多思考。每次英偉達(dá)的股價(jià)上漲，我都會(huì)笑。雖然沒(méi)有 Sanya 笑得那么開心，但還是會(huì)笑。