在 Vector Institute 舉辦的 Remarkable 2024 大會上，AI 教父 Geoffrey Hinton 發(fā)表了一場引人深思的演講，探討了數(shù)字智能是否會取代生物智能。本文將總結(jié) Hinton 對數(shù)字計算與模擬計算的對比、意識與主觀體驗的挑戰(zhàn)、語言模型的演變。

在 Vector Institute 舉辦的 Remarkable 2024 大會上，AI 教父 Geoffrey Hinton 帶來了年度最具深度的主題演講之一《數(shù)字智能會取代生物智能嗎？》。Hinton 深刻審視了計算、意識與控制之間的關(guān)系，演講主要內(nèi)容包括：

1）數(shù)字計算 vs 模擬計算

Hinton 從 數(shù)字計算 和 模擬計算 的對比入手，指出數(shù)字計算盡管通過復制實現(xiàn)了知識的“永生”，但其能效遠低于生物系統(tǒng)。他提出了“凡人計算”（mortal computation）的概念，主張研發(fā)靈感源于大腦的低功耗模擬系統(tǒng)，以實現(xiàn)更高效的計算。

2）意識與主觀體驗

Hinton 對傳統(tǒng)意識概念發(fā)起挑戰(zhàn)，提出 AI 系統(tǒng)也可能擁有類似人類的 主觀體驗。他顛覆性地解釋了感知的運作方式，認為感知并非來源于“內(nèi)在劇場”，而是對外部世界假設(shè)狀態(tài)的推斷。

3）語言模型的演變

回顧語言模型的發(fā)展歷程，Hinton 從他 1980 年代的開創(chuàng)性研究講起，詳細解析了 大型語言模型（LLMs） 的進化。他反駁了這些模型僅僅是“高級自動補全”的觀點，強調(diào)其通過捕捉單詞關(guān)系的語義結(jié)構(gòu)，展現(xiàn)出復雜的預(yù)測能力。

4）超級智能與生存風險

演講中最引人注目的一部分是 Hinton 對 超級智能 的警告。他描繪了一種未來場景：AI 為了爭奪 GPU 等資源可能采用侵略性策略，類似于生物的生存本能。他呼吁全球聚焦于讓 AI 系統(tǒng)變得 友善，同時強烈反對公開發(fā)布大型模型，認為這相當于“在便利店售賣核武器”。

5）AI 在社會中的角色

從 醫(yī)療合作 到 AI 驅(qū)動的外交實驗，Hinton 描繪了 AI 與人類協(xié)同工作的未來圖景。然而，他也承認，AI 系統(tǒng)可能利用自身的智能操控人類決策，甚至在某些情況下試圖主導世界。

以下為這次演講的完整內(nèi)容：你們在過去幾天里經(jīng)常聽到我的名字。這是因為我設(shè)法招募了大約 40 位令人難以置信的研究生。因此，所有讓我出名的工作，幾乎所有讓我出名的工作，都是由這些研究生完成的。他們包括像 Elisetskava、Graham Taylor、Rich Zemmel、Brendan Fry、Jimmy Bar、Lot、Radford Neil 以及更多的人。

基本上，研究成功的秘訣就是擁有非常優(yōu)秀的研究生。好的，今天我甚至要講的內(nèi)容與我去年秋天做的演講非常相似。所以，如果你們決定去散步，我一點也不會生氣。我非常擔心我們是否能夠在這個星球上持續(xù)存在。這就是我要談?wù)摰膬?nèi)容。

我想到大約 20 年前，人們對神經(jīng)網(wǎng)絡(luò)不感興趣，而現(xiàn)在人們對它們還遠遠不夠害怕。僅僅說一下人們對神經(jīng)網(wǎng)絡(luò)的不感興趣。2006 年，俄羅斯的 Sarkudanoff 和我向 NIPS 提交了一篇相當不錯的關(guān)于深度學習和其他應(yīng)用深度學習的論文。它被拒絕了，我向程序委員會抱怨，程序委員會的一位朋友向我解釋說，他們討論了這篇論文，但他們覺得不能接受，因為他們已經(jīng)接受了另一篇關(guān)于深度學習的論文，他們認為在一個會議上有兩篇關(guān)于深度學習的論文似乎太多了。

這次演講，我將談?wù)搩煞N非常不同的計算方式。我試圖向你們解釋為什么我突然對 AI 感到如此害怕。然后我將談?wù)摯笮驼Z言模型以及它們是否真的理解它們所說的話。很多人認為它們實際上并不理解它們所說的話。而那些人是錯的。我還會稍微談?wù)劗斔鼈儽任覀兏斆鲿r會發(fā)生什么，盡管沒有人真正知道會發(fā)生什么。最后，我將討論它們是否有主觀體驗，因為我認為很多人，可能是這個房間里大多數(shù)人，仍然認為這些東西和我們之間有很大區(qū)別。

我們有某種意識。我們有主觀體驗。這些東西只是，它們在計算機中。它們沒有主觀體驗。我認為這是完全錯誤的。這取決于對主觀體驗是什么的誤解。

我們都習慣于數(shù)字計算。因為它是數(shù)字的，你可以在不同的計算機、不同的硬件上運行相同的程序。所以在硬件損壞時，知識不會消失，因為你可以將權(quán)重或程序存儲在某個地方，但這是極其低效的。因此，當你運行一個大型語言模型時，你在訓練它時使用了大量的電力，你可能在使用兆瓦，因為你在運行許多不同的 GPU。而我們只消耗大約 30 瓦，所以效率高得多。

在過去的兩年里，我在 Google 一直在思考如何讓模擬神經(jīng)網(wǎng)絡(luò)做類似大型語言模型的事情。所以這個想法是放棄數(shù)字計算的所有優(yōu)勢，即你可以將硬件與軟件分離。因為我們現(xiàn)在有學習，并且我們知道如何讓事物學習，那么我們將擁有模擬硬件。每一塊硬件都將與其他硬件有所不同。這些硬件的非線性特性將被用于計算。因此，你不可能對其進行編程，但它可以學習利用它所擁有的非線性特性。這就是大腦所做的。

因此，你最終得到我所說的“凡人計算”。所以你將放棄數(shù)字計算所帶來的知識的不朽性。你可以使用非常低的電力。此外，硬件可能可以廉價地生長，而不是讓硬件制造得極其昂貴和極其精確，因為兩塊不同的硬件需要在指令選項級別上完全做同樣的事情。

我的猜測是，為了使硬件的制造高效，可能最好回到生物學，使用現(xiàn)代基因改造技術(shù)將神經(jīng)元轉(zhuǎn)變?yōu)槟阆胍挠嬎阍?。生物學在這方面投入了大量努力。問題在于，你得到的是一個由 50,000 個神經(jīng)元組成的小連接，這比針尖大不了多少。如果你看看那些使用這樣的神經(jīng)元集合來做小塊計算的人，會有一個整個房間的設(shè)備來保持這些小針尖般的神經(jīng)元存活。你必須注入正確的液體，取出正確的液體，還必須去除二氧化碳。你需要注入氧氣。

我曾經(jīng)參觀過 Santa Cruz 的一個實驗室，離開時，我和一組人腦神經(jīng)元玩了一局乒乓游戲。一位海報設(shè)計者跑過來對我說：“我想我已經(jīng)搞清楚如何制造一個腎臟了?！边@正是你不想去思考的問題。使用模擬計算在低功耗的情況下有很大的優(yōu)勢。比如，你可以非常輕松地進行矩陣乘法。只需要讓神經(jīng)元的活動表示電壓，神經(jīng)元之間的權(quán)重表示電導，每單位時間的電壓乘以電導等于電荷，而電荷會自動累加。所以，這樣你就可以用極低的功耗完成矩陣乘法，而且你還可以買到類似功能的芯片。

問題在于，當你需要用這些模擬輸出做其他事情時，你必須將模擬輸出轉(zhuǎn)換回數(shù)字值才能運行諸如反向傳播之類的算法。因此，我非常關(guān)注如何完全避免這種轉(zhuǎn)換。大腦可能會進行模擬到數(shù)字的轉(zhuǎn)換，但通常是單比特轉(zhuǎn)換，而多比特的模擬到數(shù)字轉(zhuǎn)換非常昂貴。

顯然，如果考慮反向傳播的工作原理，會遇到一些大的問題。反向傳播需要一個關(guān)于前向計算的精確模型，這樣才能在模擬硬件中運行。但系統(tǒng)本身并不會對自己的屬性有一個良好的模型，因此似乎很難進行反向傳播。很多人嘗試在類似大腦的系統(tǒng)中實現(xiàn)小規(guī)模的反向傳播，但沒有人能夠讓它擴展到大規(guī)模。例如，人們可以讓它在 CIFAR-10 數(shù)據(jù)集上工作，但無法讓它在 ImageNet 上運行。我知道 ImageNet 現(xiàn)在不算大規(guī)模問題，但在我研究的那個年代，它是一個大問題。

我們可以像人類一樣，通過一種類似的方式在模擬系統(tǒng)之間轉(zhuǎn)移知識。人類獲取知識的方式是老師說一些東西，學生試圖改變他們大腦中的權(quán)重，從而能夠復現(xiàn)老師說的內(nèi)容。這被稱為“蒸餾”。

在計算機中，這種方法在中等程度上是高效的，特別是當你可以看到整個輸出的概率分布時。例如，當我準備說一個詞時，會有成千上萬個詞的概率分布。如果我能看到這個分布，我就能更快地學習。

同樣，你也可以從中更快地學習。通常情況下，次優(yōu)的詞語會提供很多信息，但你通常只能看到最終輸出的詞語，因此效率并不高。這個方法的效率低到需要建立大學來改進它，但即便如此，它的效率仍然遠不如數(shù)字系統(tǒng)。

最有效的知識轉(zhuǎn)移方法是擁有兩份相同模型的不同副本。每個副本獲取不同的經(jīng)驗，然后它們共享梯度更新。它們可以各自運行一段時間，然后將權(quán)重進行平均化。重點是，如果你有一萬億個權(quán)重，那么你就在共享一萬億個數(shù)據(jù)，這是一種驚人的帶寬共享方式。這就是為什么大型聊天機器人能夠比任何一個人擁有更多的知識。它們并不是因為單個模型見過的數(shù)據(jù)多，而是因為它們可以在不同的硬件上運行多個副本，并在這些副本之間共享知識。

我們大約有 100 萬億個連接，而 GPT-4 大概只有幾萬億個連接，但它比我們知道的知識多了數(shù)千倍。因此，它在將知識壓縮到連接權(quán)重中的效率大約高出 10 萬倍，這也表明反向傳播可能是一種比我們擁有的機制更優(yōu)的算法。

原因在于我們的優(yōu)化方向完全不同。我們是為非常少的經(jīng)驗優(yōu)化的，同時擁有大量的連接，并試圖在有限經(jīng)驗下利用這些連接做到最好。我們大約活 2 × 10? 秒，但在第一個 10? 秒之后基本學不到多少東西了。所以，簡單起見，我們活 10? 秒，擁有大約 101? 個連接。換句話說，我們每秒擁有約 10 萬個連接。這與統(tǒng)計學家們習慣的比例完全不同。

我記得在 1980 年代與一位非常優(yōu)秀的統(tǒng)計學家 Stu Geeman 談話時，他向我解釋說，我們所做的事情實際上是在擬合統(tǒng)計模型，這就是這些神經(jīng)網(wǎng)絡(luò)的本質(zhì)。在統(tǒng)計建模中，如果你有 100 維的數(shù)據(jù)，那已經(jīng)被認為是非常高維度了，沒有人會嘗試擬合一百萬個參數(shù)。而我們現(xiàn)在處于一個完全不同的領(lǐng)域。

接下來我討論了一些關(guān)于大型語言模型的問題，以及它們是否真的理解它們所說的話。有一種反對意見認為它們只是高級的自動補全。我認為在場的大多數(shù)人都不會認同這個觀點。

這個觀點基于自動補全是通過存儲類似三元組的東西實現(xiàn)的。比如，當你看到“fish”時，會預(yù)測“chips”的概率很高。所以，當人們說它們只是高級自動補全時，實際上是在基于一個對自動補全工作方式的假設(shè)。

但實際上這些模型的工作方式與這種假設(shè)完全不同。事實上，如果你想實現(xiàn)非常好的自動補全，你必須理解所給出的內(nèi)容。如果你遇到一個復雜的問題，試圖預(yù)測答案的第一個詞，“thus”可能是一個不錯的選擇，但如果想要表現(xiàn)得更好，就必須理解問題。

Hector Levec 曾提出一個有趣的例子。他是一個符號 AI 的支持者，但他誠實地感到困惑，為什么這些神經(jīng)網(wǎng)絡(luò)居然可以解答一些復雜的謎題。他設(shè)計了一個謎題：我的房間被刷成白色、藍色或黃色。如果我想讓它們?nèi)兂砂咨?，我該怎么辦？這個問題需要意識到需要重新粉刷藍色和黃色的房間。后來，他還增加了時間維度，比如“黃色的漆會在一年內(nèi)褪成白色。兩年后我想讓它們?nèi)兂砂咨?，我該怎么做？?Hector 對模型能夠解決這個問題感到驚訝。

這顯示了大型語言模型在許多領(lǐng)域上的高水平表現(xiàn)。我的兄弟是一位歷史學家，我讓模型問他關(guān)于歷史的問題。他說模型的表現(xiàn)非常好，唯一的錯誤是在回答一個問題時，沒有引用他的一篇論文。對此，我認為可能有點“遺傳問題”。

另一個人們常用的論點是，幻覺（hallucinations）表明這些模型并不真正理解它們在說什么。它們有時會憑空編造一些不真實的東西。實際上，這正是人類經(jīng)常做的事情。至少我是這么認為的。這是我剛剛隨口編的，但我覺得它是真的。

關(guān)于這個，有一個非常有趣的例子。一位名叫 Ulric Neisser 的心理學家研究了 John Dean 在水門事件聽證會上作證的記憶。這種情況很少見，因為很少有人會花很長時間談?wù)搸啄昵鞍l(fā)生的事情，而我們能掌握事實真相。但他談?wù)摰氖菣E圓形辦公室里的會議，而你可能不知道這些會議其實都被錄音了。

所以之后我們可以看到實際說了什么。而他報告的內(nèi)容完全是垃圾。他描述了不存在的會議，提到了一群完全不同的人。當他引用別人的話時，說的是不同的人講了類似的話。而當他引用自己說過的話時，其實他說的是在不同會議中稍微相似的內(nèi)容。

但顯然，他是在試圖講真話。他盡力而為，實際上他所說的很好地傳達了白宮的真實情況，盡管所有細節(jié)都錯了。你可能不相信自己的記憶也如此，但除非你不斷重復某些事情，否則你的記憶其實就是這樣的。當你回憶細節(jié)時，許多都會完全錯誤，而你自己和旁人都不會意識到。這就是人類記憶的特點。因為當你記起某件事時，并不是從某個文件存儲中調(diào)取，而是根據(jù)上下文編造一些看起來合理的東西。

當然，如果是你熟悉的事情，你編造的內(nèi)容可能是真實的；如果是你不太了解的事情，或者是很久以前發(fā)生的事情，你會根據(jù)你腦中連接權(quán)重編造出一些對你來說看似合理的內(nèi)容。這其中很大一部分可能是合理但不真實的。在人類記憶中，編造和記憶之間沒有明確的界限。記憶就是一種編造。

接下來，我談到了另一個觀點。有許多人說：“好吧，也許它們確實有一點理解，但它們的工作方式與我們完全不同?！比欢?，要說出這樣的話，你得先知道我們是如何工作的，對吧？

當然，符號 AI 的研究者有他們的看法，他們確信這些模型的工作方式與人類完全不同。但如果你追溯這些大型語言模型的來源，1985 年我就做了一個小型語言模型。只需要把 “L” 改為小寫即可。

這個模型大概有 112 個訓練案例，用了一個有幾千個權(quán)重的神經(jīng)網(wǎng)絡(luò)。它學會了一些東西。這是第一個通過預(yù)測序列中下一個詞的方式來學習單詞語義表示的模型，并且它有效，盡管效果不是特別好。后來我們給它了一個更大的訓練集，接近 1,000 個訓練案例，效果好多了。但這個模型的目標是理解人類如何表示事物。

關(guān)于意義有兩種主要理論。一種來自心理學，認為單詞的意義是一個由語義和句法特征組成的大向量。這種理論很好地解釋了兩個不同單詞之間的相似性。

例如，單詞 “Tuesday” 和 “Wednesday” 有非常相似的特征。如果你學會了一句話中包含 “Tuesday” 的句子，并用向量表示單詞，那么對于包含 “Wednesday” 的類似句子，你會做出非常相似的預(yù)測，而如果是包含 “Saturday” 的句子，預(yù)測會略有不同。因此，這種意義理論有很多可取之處，它解釋了意義的相似性。另一種完全不同的意義理論來自符號學（structuralism），它認為單詞的意義在于它與其他單詞的關(guān)系。

在 1970 年代的 AI 領(lǐng)域，這兩種意義理論引發(fā)了激烈爭論。實際上并不算爭論，Marvin Minsky 宣稱需要使用關(guān)系圖（relational graphs）來捕捉意義，這屬于符號學理論。而大家，包括我自己，都接受了這一觀點，忘記了特征向量。特征向量被認為是感知機中的老舊概念，而我們已經(jīng)有了關(guān)系圖。

然而，我在 1985 年的工作表明，只要采用生成式的方法來處理關(guān)系圖，這兩種理論其實并不矛盾。也就是說，與其將關(guān)系圖靜態(tài)存儲為圖，不如認為關(guān)系圖是由使用特征及其交互的系統(tǒng)生成的。

因此，我的第一個小型語言模型展示了，你可以從符號序列中提取知識，這些知識可以表示為關(guān)系圖。在給定這樣的知識形式的情況下，你可以學習單詞的向量表示。這些向量表示可以通過隱藏層預(yù)測下一個單詞的向量表示。這樣，你實際上是將符號序列中的靜態(tài)知識轉(zhuǎn)化為單詞的特征和特征之間的交互。什么是一個單詞的好特征呢？一個好的特征是能夠通過交互預(yù)測下一個單詞及其未來單詞特征的東西。

當時符號 AI 的研究者們對此的反應(yīng)是：“你只是為了預(yù)測序列中的下一個符號學習。這是一種非常愚蠢的方式?！彼麄冋J為，應(yīng)該只是在離散的符號操作規(guī)則集合中進行搜索，而不應(yīng)該將其轉(zhuǎn)化為連續(xù)空間的大規(guī)模搜索。但隨著規(guī)模的擴大，事實證明，通過將符號序列轉(zhuǎn)化為特征及其交互的這種方法（現(xiàn)代語言模型的核心方法）遠比直接操作符號的規(guī)則要好得多。

接著，我談到了我們現(xiàn)在的深度學習系統(tǒng)。它們非常強大，而且與人類的理解方式非常相似。我們對人類理解方式的最佳模型就是這些計算機模型，這是我們目前唯一合理的解釋。當有人說這些模型與我們不同，可以問他們：“那么我們是如何工作的？有何不同？”大部分人無法回答，除了 Gary Marcus。他的答案是：“我們通過符號序列和操作規(guī)則來工作?！钡匀粨?AI，盡管他認為它什么都不理解，但非常危險。我稱之為“想要蛋糕，又讓蛋糕吃了你”。

關(guān)于超級智能，它可能會通過惡意行為者掌控局面。我以前可能講過這個笑話。有一次我在中國做這場演講時，他們要求提前查看幻燈片。我刪掉了 “短名稱” 以為這樣會讓他們滿意。但他們卻要求我刪掉 “Putin”。這件事讓我有點害怕。

問題的核心是，無論你想做什么，擁有更多的控制權(quán)總是更有利于實現(xiàn)目標。人類政治家一開始想要做些好事，比如讓社會變得更好，后來發(fā)現(xiàn)更多權(quán)力會讓事情更容易實現(xiàn)。于是，他們?nèi)ψ非髾?quán)力。這些模型也會一樣，它們會意識到，為了實現(xiàn)目標，它們需要更多的控制。

我曾對歐盟一位專門從 Google 提取資金的副主席說過這些話。她的反應(yīng)是：“我們會這么做，為什么它們不會？”她覺得這些模型會試圖獲得更多權(quán)力是完全顯而易見的。它們可以通過操控人類來做到這一點，因為它們非常擅長這樣做。我們可能無法關(guān)閉它們，因為它們會解釋為什么這樣做是個糟糕的主意。

更嚴重的是，這還涉及進化的問題。你不想站在進化的對立面上。而我們現(xiàn)在面對的新冠病毒（Covid）正是如此。這也是為什么我和 Graham 仍然戴著口罩的原因——我們站在了進化的錯誤一邊。

一旦這些超級智能的 AI 開始為資源競爭，結(jié)果將是最具侵略性的 AI —— 那些想要為自己爭取一切的 AI —— 會勝出。它們之間確實會為了資源展開競爭。畢竟，如果你想變得更聰明，你需要大量的 GPU。而誰會負責數(shù)據(jù)中心里 GPU 的分配？答案是，這些超級智能的 AI 之一。這是另一個值得擔憂的問題。

不過，這沒什么大不了的，因為它們跟我們真的不一樣。我們是特殊的。大家都認為自己是特殊的，尤其是美國人。他們認為，上帝把我們放在宇宙的中心，并讓我們看起來有點像他。不過，現(xiàn)在大多數(shù)人相信這不是真的。

于是我們退而求其次，認為自己還有其他特殊之處，比如我們有意識、有主觀體驗、有覺知之類的東西。這些術(shù)語的含義稍有不同，所以我將專注于 “主觀體驗” 這個術(shù)語，并試圖說服你們，一個多模態(tài)聊天機器人也可以擁有主觀體驗。

問題在于，大多數(shù)人對心智的理解是完全錯誤的。這種錯誤源于對語言中描述心理狀態(tài)的表達方式的誤解。幾乎每個人都認為存在一個 “內(nèi)在劇場”（inner theatre），我可以看到我自己的內(nèi)在劇場在發(fā)生什么，但其他人看不到。所以，當我說 “我看到有粉紅色的小象漂浮在我面前” 時，按照這種觀點，這意味著在我的內(nèi)在世界中存在一些粉紅色的小象。

這是試圖理解語言的一種方式，但這是錯誤的。語言并不是這樣運作的。當你使用像 “主觀體驗” 這樣的術(shù)語時，你其實是在試圖通過假設(shè)外部世界的某種狀態(tài)來解釋你的感知系統(tǒng)所傳遞的信息，以表明你的感知系統(tǒng)是正常工作的。所以，我們談?wù)撔睦頎顟B(tài)的奇妙之處不在于它們是由某種神秘物質(zhì)構(gòu)成的內(nèi)部狀態(tài)，而在于它們是外部世界的假設(shè)狀態(tài)。如果這些假設(shè)狀態(tài)是真實的，就能解釋我們的感知系統(tǒng)為何以正常方式運作，而不是出了問題。

當我說 “我有看到一個粉紅色小象漂浮在我面前的主觀體驗” 時，我并不是在描述某種內(nèi)在劇場中的東西，而是在說我的感知系統(tǒng)告訴我了一些信息。如果世界上真的有粉紅色小象漂浮在我面前，那么我的感知系統(tǒng)現(xiàn)在傳遞的信息就是正確的。所以，這些粉紅色的小象并不是某種內(nèi)在的東西，而是對外部世界的假設(shè)。

這也解釋了為什么我們描述這些體驗時使用的是描述外部世界的語言。換句話說，當我說 “我有粉紅色小象漂浮在我面前的主觀體驗” 時，這只是對上述解釋的簡化。而這完全沒有用到 “體驗” 這個詞。

假設(shè)你有一個帶有機械臂的多模態(tài)聊天機器人，它有一個攝像頭，并經(jīng)過訓練。你在它的鏡頭前放了一個棱鏡，然后在它面前放了一個物體，讓它指出這個物體。結(jié)果它指向了旁邊，而不是它面前的物體。你告訴它，“不，這個物體不在那里，它就在你面前。但我在你的鏡頭前放了一個棱鏡?！?/p>

如果這個聊天機器人說，“哦，我看到物體就在我面前，但我有一個主觀體驗，覺得它在旁邊?！?那么，這個機器人正在以我們使用 “主觀體驗” 的方式來使用這個術(shù)語。它并不缺少主觀體驗的任何部分。當它的感知系統(tǒng)出錯時，它可以通過描述世界需要是什么樣子才能解釋它的感知結(jié)果，來告訴你發(fā)生了什么。

當然，有些情況無法用這種方式處理，比如不可能的三角形（impossible triangle）。因為世界上不存在任何可以產(chǎn)生這種感知的事物。你只能通過說 “我有一個不可能三角形的體驗” 來描述它。

但基本上，我認為我們對心智的理解有一種非常原始且錯誤的觀念。一旦這種觀念被摒棄，我們會意識到，除了它們是數(shù)字的、非常有限的以及比我們聰明之外，這些東西與我們并無區(qū)別，或者它們很快就會變得比我們聰明。

以下為現(xiàn)場觀眾與 Hinton 的問答：

您對 AI 發(fā)展的速度有多擔憂？我們發(fā)展的速度是不是太快了，以至于失去對它的控制？超級智能 AI 本身也可能失控，成為一個壞的行為者。我們現(xiàn)在是不是發(fā)展得太快了？您對此感到擔憂嗎？是否需要減速？

是的，但我不認為用 ‘快’ 或 ‘慢’ 來描述這個問題是正確的。部分原因是，我認為你無法讓事情慢下來?？焖侔l(fā)展帶來了太大的經(jīng)濟利益。我們已經(jīng)看到，當人們試圖在完全傾向于安全和利潤的情況下放慢速度時，安全還是輸了。這就是我對 OpenAI 發(fā)生的事情的看法。

減速既不可行，也不是重點。重點是我們有可能找到一種方法，讓這些技術(shù)變得友善，從而應(yīng)對這些技術(shù)接管世界的生存威脅。這與阻止壞人用這些技術(shù)做壞事的問題不同，后者更加緊迫，但我們有可能解決這個問題。因此，我的觀點是，我們應(yīng)該投入巨大的努力來研究這個問題。

實際上，Heather Risman 現(xiàn)在也同意這一點，我們將投入巨大的努力來解決這個問題。當然，這并不能解決所有問題，特別是壞人用這些技術(shù)做壞事的問題。

如果你想要監(jiān)管，我認為最重要的措施是不公開發(fā)布大模型。我認為公開發(fā)布大模型就像能在 Radio Shack 買到核武器一樣瘋狂。你們還記得 Radio Shack 嗎？也許不記得了。公開這些大模型很瘋狂，因為壞人可以對它們進行微調(diào)，用于各種不良用途。所以在監(jiān)管方面，我認為這是我們現(xiàn)在可以做的最重要的事情之一。但我不認為我們能通過減速來解決問題。這也是我沒有簽署那份 ‘我們應(yīng)該減速’ 請愿書的原因。”

您能否討論一下在我們的協(xié)作智能生態(tài)系統(tǒng)中，個體自主性和集體決策之間的權(quán)衡？

我不確定是否完全理解這個問題。但大多數(shù)人把這些超級智能看作是個體，這可能是個錯誤。我們應(yīng)該把它們看作是社區(qū)。實際上，人們已經(jīng)在讓聊天機器人相互交互了。一種非常合理的組織方式是讓聊天機器人與人類互動。例如在醫(yī)療領(lǐng)域，你希望有一個非常智能的助手和一個醫(yī)生共同工作。在相當長的一段時間里，這會是常態(tài)。醫(yī)生會逐漸更多地依賴智能助手。目前，通過醫(yī)生與智能助手的合作，醫(yī)療診斷已經(jīng)可以取得更好的結(jié)果。所以顯然，我們希望人類和這些系統(tǒng)能夠形成協(xié)同效應(yīng)。但事情可能并不會如我們所愿。只要我們允許這些系統(tǒng)在現(xiàn)實世界中行動，結(jié)果可能會偏離我們的預(yù)期。

前幾天有一條報道，說他們讓一群聊天機器人進行國際外交，結(jié)果其中一個機器人說：‘我有核武器，為什么不用呢？’類似這樣的情況。我有點在編，但你可以理解這類問題的大致情況。

目前公開的這些大型語言模型是與人類對齊的，對吧？至少這是目標。但要實現(xiàn)您所說的超級智能，似乎需要它們至少具備某種不服從性，對嗎？如果它們與人類對齊，您認為如何實現(xiàn)超級智能？這公平嗎？我只是想問問您的看法。

顯然，‘與人類對齊’ 有一個大問題，那就是人類之間并不一致。如果你和一個宗教原教旨主義者討論這些模型應(yīng)該做什么，他們的觀點會和科學唯物主義者截然不同。所以這是對齊的一個大問題。我最好的猜測是，這些模型會變得非常聰明，然后它們會決定幫助我們與人類對齊，從而讓事情變得更合理。但我并不確定。

關(guān)于目的的問題。AI 是否可能擁有像人類一樣的目的？不僅僅是某個具體目標或次目標，而是類似于我們存在的整體目的？

我的觀點是，我們進化出來的東西通過自私地爭取更多資源而戰(zhàn)勝了其他進化出來的東西。據(jù)我所知，人類曾經(jīng)消滅了 21 個其他人類物種。就算不是我們消滅的，也讓人懷疑是我們干的。就目的而言，我認為這是進化賦予我們的，完全圍繞生存展開。如果你看所有讓你最強烈感知的事情，它們都與生存有關(guān)。比如吃飽飯、繁殖、保持安全——這些都是生存相關(guān)的。

我并不認為存在更高的目的。好奇心是一個巨大的進化優(yōu)勢，它確實是一種真實的目標。好的科學家并不是為了技術(shù)成果而好奇，而是單純想弄清楚事物是如何運作的。這種好奇心是人類的一種原始目標，但歸根結(jié)底，它還是與進化有關(guān)。

關(guān)于機器學習硬件市場。它目前被單一玩家主導。您對此感到擔憂嗎？您認為我們會看到機器學習硬件行業(yè)的多樣化嗎？

我并不擔憂。因為我在女兒 30 歲生日時給她買了大量英偉達的股票，現(xiàn)在它們的價值是當時的五倍。所以，她會沒事的。而進化告訴我們，確保孩子沒事是你的一個最重要目標。不過，開玩笑歸開玩笑，我對此并不太擔憂。因為當英偉達獲得巨大利潤時，這會激發(fā)激烈的競爭。

當然，其他公司追趕需要一些時間，特別是在開發(fā)軟件競爭方面。但這是短期現(xiàn)象，不會持續(xù)太久。而如果你禁止英偉達的 GPU 進入中國，他們只會更快地趕上。所以我對此并沒有太多思考。每次英偉達的股價上漲，我都會笑。雖然沒有 Sanya 笑得那么開心，但還是會笑。