9月14日，《經(jīng)濟(jì)學(xué)人》對Inflection 創(chuàng)始人 Mustafa Suleyman 以及《人類簡史》作者 Yuval Noah Harari 進(jìn)行了一次專訪，主編Zanny Minton-Beddoes圍繞 AI 與Mustafa以及 Yuval討論了未來的社會(huì)與經(jīng)濟(jì)格局、監(jiān)管、風(fēng)險(xiǎn)以及技術(shù)的不確定性：?

• 未來5年的模型大小，會(huì)是GPT-4的1000倍；
• 人類歷史是智慧的產(chǎn)物，AI涌現(xiàn)出來的機(jī)會(huì)；
• AI 帶來的三層潛在風(fēng)險(xiǎn)：就業(yè)、財(cái)富以及政治；
• AI 的奧本海默時(shí)刻？對技術(shù)的監(jiān)管與防范；
• 面對新的技術(shù)和創(chuàng)新人類會(huì)后悔么？

以下為完整內(nèi)容，enjoy ??

一、未來5年的模型大小會(huì)是GPT-4的1000倍

Zanny Minton-Beddoes

Mustafa ，先從你開始，你正在構(gòu)建這個(gè)未來，給我們描繪一下未來會(huì)是什么樣子，我會(huì)給你一個(gè)具體的時(shí)間框架，在你的書中提到，認(rèn)為在 3～5 年內(nèi) AI 可能會(huì)在各種領(lǐng)域具有人類水平的能力是可行的，那么讓我們以 5 年時(shí)間，2028 年為例，世界會(huì)是什么樣子？我將如何與 AI 互動(dòng)？我們都會(huì)在做什么，不會(huì)做什么？

Mustafa Suleyman

讓我們回顧一下過去的 10 年，以了解我們所處的軌跡以及我認(rèn)為現(xiàn)在每個(gè)人都能看到的生成 AI 革命的令人難以置信的動(dòng)力。在過去的 10 年里，我們在分類信息方面做得非常出色。我們可以理解信息，分類它，標(biāo)記它，組織它，這種分類對于啟用下一波非常關(guān)鍵，因?yàn)楝F(xiàn)在我們可以閱讀圖像的內(nèi)容，我們可以很好地理解文本。我們可以對音頻進(jìn)行分類并將其轉(zhuǎn)錄成文本。機(jī)器現(xiàn)在可以對這些思想的概念表示有一個(gè)相當(dāng)好的了解。

接下來的階段就是我們現(xiàn)在所看到的生成 AI 革命?，F(xiàn)在我們可以生成新的圖像、新的視頻、新的音頻，當(dāng)然還有新的語言。

在過去 1 年左右，隨著 ChatGPT 和其他 AI 模型的崛起，看到這些新語言模型的合理性、準(zhǔn)確性以及非常精致的表現(xiàn)實(shí)在令人難以置信。在接下來的 5 年里，前沿模型公司，那些在訓(xùn)練最大的 AI 模型方面處于前沿的公司，將會(huì)訓(xùn)練比今天在 GPT-4 中看到的模型大 1000 倍的模型。每增加一個(gè)數(shù)量級(jí)的計(jì)算（即使用 10 倍的計(jì)算量），我們都會(huì)看到全新的能力涌現(xiàn)。

我們預(yù)測，新的能力將在未來 5 年內(nèi)涌現(xiàn)，即能夠跨越多個(gè)時(shí)間范圍進(jìn)行計(jì)劃。模型不僅能夠一次性生成新的文本，還能夠在一段時(shí)間內(nèi)生成一系列行動(dòng)。我認(rèn)為這將是未來 5 年內(nèi)我們將看到的 AI 的特點(diǎn)。具有人工能力的 AI 不僅可以說話，還可以做事情。

Zanny Minton-Beddoes

在實(shí)踐中，這到底意味著什么呢？用你的想象力告訴我，在2028 年，我的生活會(huì)是什么樣子？我將如何與它們互動(dòng)？我將做什么？有什么不同？所以我實(shí)際上。

Mustafa Suleyman

我提出了一個(gè)現(xiàn)代圖靈測試，試圖評(píng)估正是為了這一點(diǎn)，對吧？上一個(gè)圖靈測試只是評(píng)估機(jī)器能說什么，假設(shè)它所說的代表了它的智能。

現(xiàn)在我們正在接近這一時(shí)刻，這些 AI 模型已經(jīng)相當(dāng)不錯(cuò)，可以說它們已經(jīng)通過了圖靈測試，或者也許它們將在未來幾年內(nèi)通過。真正的問題是，我們?nèi)绾魏饬克鼈兡茏鍪裁?？所以我提出了一個(gè)測試，它涉及到它們接受10萬美元的投資，并在三個(gè)月的時(shí)間內(nèi)嘗試創(chuàng)建一個(gè)新產(chǎn)品，研究市場，看看消費(fèi)者可能喜歡什么，生成一些新的圖像，制定如何制造該產(chǎn)品的藍(lán)圖，聯(lián)系制造商，談判價(jià)格，發(fā)貨，最后收取收入。

我認(rèn)為在 5 年的時(shí)間內(nèi)，很可能會(huì)有一種具有人工能力的智能，能夠自主完成其中的大部分任務(wù)。它不能完成整個(gè)過程。沿途有許多棘手的步驟，但它將能夠打電話給其他人類進(jìn)行談判。它將能夠呼叫其他 AI 以建立正確的供應(yīng)鏈順序，例如，調(diào)用。當(dāng)然，它將學(xué)會(huì)使用API，即應(yīng)用程序編程接口，用于其他網(wǎng)站、其他知識(shí)庫或其他信息存儲(chǔ)。所以世界是你的橡殼，你可以想象將其應(yīng)用到我們經(jīng)濟(jì)的許多不同領(lǐng)域。

Zanny Minton-Beddoes

不怎么使用智能手機(jī)的 Yuval ，聽到這個(gè)，你感到恐慌嗎？你同意這個(gè)觀點(diǎn)嗎？你認(rèn)為在未來 5 年內(nèi)會(huì)發(fā)生這種事情嗎？

Yuval Noah Harari

我會(huì)非常認(rèn)真地對待這個(gè)。我不知道，我不是來自利益相關(guān)方行業(yè)，所以我不能評(píng)論這是否可能發(fā)生。但當(dāng)我作為一位歷史學(xué)家聽到這個(gè)時(shí)，對我來說，我們剛剛聽到的，這是人類歷史的終結(jié)，不是歷史的終結(jié)，是人類主導(dǎo)的歷史的終結(jié)，將繼續(xù)由其他人控制。因?yàn)槲覀儎倓偮牭降幕旧鲜?Mustafa 告訴我們， 5 年內(nèi)將會(huì)有一種技術(shù)可以獨(dú)立做決策，可以獨(dú)立創(chuàng)造新的想法。

這是歷史上第一次我們面對這樣的事情。歷史上的每一項(xiàng)技術(shù)，從石頭刀到核彈，它都不能做出決策。比如，投下廣島的原子彈的決策不是由原子彈做出的，而是由杜魯門總統(tǒng)做出的。同樣，歷史上的每一項(xiàng)技術(shù)，它只能復(fù)制我們的想法。比如收音機(jī)或印刷機(jī)，它可以復(fù)制并傳播一些人類寫的音樂、詩歌或小說?，F(xiàn)在我們有了一種技術(shù)，它可以創(chuàng)造全新的想法，并且它可以做到遠(yuǎn)遠(yuǎn)超出人類能力的規(guī)模。

二、人類歷史是智慧的產(chǎn)物，AI涌現(xiàn)出來的機(jī)會(huì)

Zanny Minton-Beddoes

AI可以創(chuàng)造新的想法，并且在重要領(lǐng)域內(nèi)，在 5 年內(nèi)我們將能夠付諸實(shí)踐。這是一個(gè)深刻的轉(zhuǎn)變。在我們討論這可能是人類歷史的終結(jié)的各種方式之前，讓我們首先短暫地談一下可能的積極方面。因?yàn)橛泻芏?，而且它們非常重要。我認(rèn)為你提到了，這項(xiàng)技術(shù)有潛力幫助我們解決非常困難的問題，并創(chuàng)造出巨大的積極成果。那么，在我們深入討論潛在的風(fēng)險(xiǎn)和不利因素之前，我們能不能先從那方面開始？機(jī)會(huì)究竟是什么？

Yuval Noah Harari

我并不是說人類毀滅或者什么的。有很多積極的可能性。只是控制權(quán)正在從人類轉(zhuǎn)移到一種外來的智能，一種非人類智能。

Zanny Minton-Beddoes

我也會(huì)談到這個(gè)，因?yàn)橛幸粋€(gè)問題，權(quán)力有多大，但讓我們先從潛在的積極方面開始，機(jī)會(huì)是什么？

Mustafa Suleyman

我們在人類歷史上創(chuàng)造的一切都是我們智慧的產(chǎn)物。我們的能力在某種抽象的層面上是做出預(yù)測，然后干預(yù)這些預(yù)測以改變世界的走向，這是我們產(chǎn)生公司、產(chǎn)品和改變我們這個(gè)世紀(jì)的所有價(jià)值的方式。我是說，如果你想一想，僅僅一個(gè)世紀(jì)前，一公斤谷物的生產(chǎn)勞動(dòng)力要比今天多 50 倍。這種效率，這是農(nóng)業(yè)領(lǐng)域你所看到的軌跡，很可能是智能領(lǐng)域也會(huì)出現(xiàn)的軌跡。

我們周圍的一切都是智慧的產(chǎn)物。而我們用這些新工具接觸到的一切很可能會(huì)產(chǎn)生比以往任何時(shí)候都更多的價(jià)值。我認(rèn)為重要的是說，這些不是默認(rèn)情況下就是自主工具。這些能力不會(huì)自然地從我們試圖工程化的模型中涌現(xiàn)出來。

我們面臨的挑戰(zhàn)是對我們想要從模型中涌現(xiàn)的那些能力，對我們想要構(gòu)建到模型中的那些能力以及我們設(shè)置的約束要非常明確和精確。非常重要的是不要將我們自己的約束投射到這些模型中，不要投射可能的意圖、可能的代理性或可能的自主性。在接下來的幾十年中，對我們來說治理挑戰(zhàn)非常重要，以確保我們始終能夠?qū)@一發(fā)展軌跡的發(fā)展施加我們的約束。

Zanny Minton-Beddoes

將出現(xiàn)的能力將意味著，例如，人類健康有可能發(fā)生根本性的改善，加速創(chuàng)新過程，科學(xué)發(fā)現(xiàn)的方式發(fā)生戲劇性變化，無論是氣候變化還是我們面臨的許多重大挑戰(zhàn)，都可以更容易地解決。

Mustafa Suleyman

每個(gè)人都會(huì)在口袋里擁有一個(gè)個(gè)人智能，一個(gè)智能而有能力的助手，一個(gè)不斷為你優(yōu)先處理信息的研究助手，為你提供你需要在任何給定時(shí)刻采取行動(dòng)的正確綜合知識(shí)精華。毫無疑問，這將使我們所有人都更聰明、更有能力。

Zanny Minton-Beddoes

這部分聽起來對你來說吸引人嗎， Yuval ？

Yuval Noah Harari

當(dāng)然。我是說，如果沒有積極的潛力，我們就不會(huì)坐在這里。沒有人會(huì)開發(fā)它。沒有人會(huì)投資它。它太有吸引力了。積極的潛力在一切方面都是如此巨大，從更好的醫(yī)療保健，更高的生活水平，解決氣候變化等等。

這就是為什么它如此誘人。這就是為什么我們愿意承擔(dān)巨大的風(fēng)險(xiǎn)。我只是擔(dān)心，最后交易可能不值得。我特別要評(píng)論的是，再次，我認(rèn)為智能的概念被高估了。它同時(shí)也是地球上最具破壞性的實(shí)體，在某些方面也是地球上最愚蠢的實(shí)體，唯一一個(gè)將生態(tài)系統(tǒng)的生存置于危險(xiǎn)中的實(shí)體。

Zanny Minton-Beddoes

你認(rèn)為我們正在用更多的破壞性風(fēng)險(xiǎn)來交換更多的智能嗎？

Yuval Noah Harari

我們?nèi)匀挥袡C(jī)會(huì)。還有幾年。我不知道有多少，5年、 10 年、 30 年。我們?nèi)匀挥袡C(jī)會(huì)。我們?nèi)匀皇撬茉爝@個(gè)方向的駕駛座上的人。沒有技術(shù)是決定性的。這是我們從歷史中再次學(xué)到的教訓(xùn)。你可以用同樣的技術(shù)以不同的方式，你可以決定如何發(fā)展它，所以我們?nèi)匀挥袡C(jī)會(huì)，這就是為什么我們必須非常仔細(xì)地考慮我們正在發(fā)展什么。

三、AI 帶來的三層潛在風(fēng)險(xiǎn)：就業(yè)、財(cái)富以及政治

Zanny Minton-Beddoes

這個(gè)問題是 Mustafa 在這本書中一直在做的事情。我現(xiàn)在想討論一下最常討論的風(fēng)險(xiǎn)。我正在努力想出我應(yīng)該按糟糕程度的順序來進(jìn)行，所以我從相對于人類滅絕來說可能不那么糟糕的問題開始，這個(gè)問題是關(guān)于工作的， AI 是否會(huì)摧毀一切工作，因?yàn)?AI 在一切方面都比人類更出色。

我從歷史的角度看，我覺得這以前從來沒有發(fā)生過，分工論的謬誤確實(shí)是一個(gè)謬論。但是告訴我你對此的看法。你認(rèn)為有工作的風(fēng)險(xiǎn)嗎？

Mustafa Suleyman

這取決于時(shí)間框架。在 10～20 年的時(shí)間內(nèi)。我直覺上認(rèn)為，你說得對，迄今為止的證據(jù)并不支持這一點(diǎn)，工作不會(huì)真正受到重大威脅。有足夠的需求。將會(huì)有大量的工作。

在 30～50 年的時(shí)間范圍內(nèi)，很難推測。我是說，至少可以說，兩年前，我們認(rèn)為這些模型永遠(yuǎn)不能表現(xiàn)出同情心，我們說我們?nèi)祟惪偸菚?huì)保留善良、理解和彼此關(guān)心作為一種特殊的技能。四年前，我們說， AI 永遠(yuǎn)不會(huì)有創(chuàng)造力?，F(xiàn)在人類將永遠(yuǎn)是創(chuàng)造性的，發(fā)明新事物，做出新的思想之間的驚人飛躍是不言而喻的。

現(xiàn)在這兩種能力，這些模型都做得非常出色，所以我認(rèn)為在一段時(shí)間內(nèi)， AI 會(huì)增強(qiáng)我們的能力。他們讓我們更快、更高效、更準(zhǔn)確、更有創(chuàng)造力、更有同情心，等等。

在很多年的時(shí)間里，很難說有哪些技能是人類物種永久的保留，考慮到這些模型顯然非常有能力。這就是遏制挑戰(zhàn)的真正問題所在。我們必須做出決策。我們必須作為一個(gè)物種決定在 30 年的時(shí)間內(nèi)什么是可接受的，什么是不可接受的。這意味著政治和治理。

Yuval Noah Harari

就工作而言，我同意，像沒有工作的情景，這是不太可能的情景，至少在未來幾十年內(nèi)是這樣。但我們必須更仔細(xì)地看待時(shí)間和空間。從時(shí)間上看，過渡期是危險(xiǎn)的。我的意思是，一些工作會(huì)消失，一些工作會(huì)出現(xiàn)。人們必須進(jìn)行過渡。只要記住，希特勒之所以在德國掌權(quán)，是因?yàn)槿陜?nèi)失業(yè)率達(dá)到了25%。

由于 AI 對工作市場造成的動(dòng)蕩，一些工作會(huì)消失，一些新工作會(huì)產(chǎn)生。這可能會(huì)引發(fā)巨大的社會(huì)和政治動(dòng)蕩。然后更大的問題是空間問題，工作的消失和新工作將在世界的不同地方創(chuàng)建。

因此，我們可能會(huì)看到這樣的情況，即在加利福尼亞州、德克薩斯州或中國，需要更多的計(jì)算機(jī)工程師和瑜伽教練等等工作，而整個(gè)國家失去了經(jīng)濟(jì)基礎(chǔ)。所以，不僅僅是地球上工作的總數(shù)，還有在不同國家之間的分配。

Mustafa Suleyman

讓我們也盡量記住，工作不是目標(biāo)，工作不是我們期望的最終狀態(tài)。我們創(chuàng)造文明不是為了實(shí)現(xiàn)充分就業(yè)。我們創(chuàng)造文明是為了減少每個(gè)人的苦難。追求豐富是一個(gè)真實(shí)存在的問題。我們必須用更少的資源生產(chǎn)更多的產(chǎn)品。沒有辦法擺脫這樣的事實(shí)，即在未來一個(gè)世紀(jì)，人口增長注定會(huì)激增，關(guān)于我們所處的人口統(tǒng)計(jì)、地理和氣候軌跡，有許多實(shí)際的現(xiàn)實(shí)會(huì)推動(dòng)我們需要生產(chǎn)正是這些工具的這些方面的實(shí)際情況。

我認(rèn)為這應(yīng)該是一個(gè)愿景。許多人做的工作都是令人疲倦和累人的，他們找不到工作中的樂趣，找不到自己的身份，這太可怕了。所以我認(rèn)為我們必須關(guān)注這個(gè)獎(jiǎng)勵(lì)，即這些模型將產(chǎn)生的價(jià)值，然后考慮再分配。最后，過渡才是問題所在。我們必須通過征稅來管理這個(gè)過渡，但只是。

Yuval Noah Harari

在重新分配方面，我認(rèn)為困難的地方在于，我認(rèn)為這些技術(shù)將創(chuàng)造巨大的新財(cái)富。我不太確定政府是否能夠以公平的方式在全球范圍內(nèi)重新分配這些財(cái)富。我只是認(rèn)為美國政府不會(huì)增加加利福尼亞或得克薩斯州公司的稅收，然后將這些錢用來幫助巴基斯坦或危地馬拉的失業(yè)紡織工人重新培訓(xùn)，以適應(yīng)新的就業(yè)市場。

Zanny Minton-Beddoes

那實(shí)際上把我們帶到了第二個(gè)潛在風(fēng)險(xiǎn)，即 AI 對整個(gè)政治體系的風(fēng)險(xiǎn)。Yuval 在你的一篇文章中，你提醒我們，自由民主實(shí)際上是工業(yè)革命的產(chǎn)物，今天的政治體系實(shí)際上是經(jīng)濟(jì)體系的產(chǎn)物。因此，我認(rèn)為有一個(gè)非常好的問題，如果經(jīng)濟(jì)體系被從根本上改變，那么我們所知道的自由民主是否會(huì)幸存下來？

Yuval Noah Harari

此外，這不僅僅是工業(yè)革命，還有19世紀(jì)和20世紀(jì)的新信息技術(shù)。在19世紀(jì)之前，我不知道有沒有任何一個(gè)例子，可以證明在歷史上曾經(jīng)有一個(gè)大規(guī)模的民主。我的意思是，你可以找到一些小規(guī)模的例子，比如狩獵采集部落或古代雅典這樣的城邦國家，但我不知道有沒有一個(gè)我知道的例子，可以證明成百萬人分布在一個(gè)大領(lǐng)土上，一個(gè)整個(gè)國家，能夠建立和維持一個(gè)民主制度。為什么？因?yàn)槊裰魇且环N對話。

在過去，沒有信息技術(shù)和通信技術(shù)能夠在整個(gè)國家范圍內(nèi)進(jìn)行數(shù)百萬人之間的對話。只有當(dāng)報(bào)紙首次出現(xiàn)，然后是電報(bào)、無線電和電視等新信息技術(shù)時(shí)，這才成為可能。因此，現(xiàn)代自由民主正是建立在特定的信息技術(shù)之上的。一旦信息技術(shù)發(fā)生變化，自由民主是否能夠幸存下來，這是一個(gè)懸而未決的問題?，F(xiàn)在最大的危險(xiǎn)是與我們所面臨的相反情況相反。在中世紀(jì)，數(shù)百萬人之間的對話是不可能的，因?yàn)樗麄兏緹o法交流。

但在21世紀(jì)，另一些東西可能會(huì)使對話變得不可能。如果人與人之間的信任再次瓦解，如果 AI ，如果你上網(wǎng)，這現(xiàn)在是我們在國家層面上進(jìn)行對話的主要方式，而在線空間被非人類實(shí)體淹沒，它們可能偽裝成人類。你和某人交談，你不知道這是否甚至是人類。你看到了一些東西，你看到了一個(gè)視頻，你聽到了一個(gè)音頻，你不知道這是真的，這是假的嗎？這是人嗎？這不是人嗎？我的意思是，在這種情況下，除非我們有一些防護(hù)措施，否則對話將會(huì)崩潰。

Zanny Minton-Beddoes

當(dāng)你說 AI 風(fēng)險(xiǎn)會(huì)入侵操作系統(tǒng)時(shí)，你是指這個(gè)嗎？

Yuval Noah Harari

這是其中一種情況，如果機(jī)器人可以冒充人類，基本上就像金融系統(tǒng)中發(fā)生的情況一樣。人們發(fā)明了貨幣，可以偽造貨幣，制造假幣。拯救金融系統(tǒng)免于崩潰的唯一方法是對偽造貨幣實(shí)施非常嚴(yán)格的監(jiān)管。因?yàn)橹圃旒賻诺募夹g(shù)一直存在，但大家都知道，如果允許偽造貨幣傳播，貨幣的信任就會(huì)崩潰?，F(xiàn)在我們在政治對話中也面臨類似的情況，現(xiàn)在可以創(chuàng)建虛假的人物。如果我們不禁止這種行為，那么信任就會(huì)崩潰。

Zanny Minton-Beddoes

我們將會(huì)討論是否繼續(xù)禁止。

Mustafa Suleyman

使人們能夠自由傳播的權(quán)利已經(jīng)成為過去 30 年的故事。數(shù)億人現(xiàn)在可以創(chuàng)建播客和博客，他們可以自由在 Twitter 和互聯(lián)網(wǎng)上傳播他們的思想?？傮w而言，我認(rèn)為這是一種非常積極的發(fā)展。你不再必須獲得頂級(jí)報(bào)紙的權(quán)限或獲得成為那種機(jī)構(gòu)的必要技能。當(dāng)時(shí)許多人擔(dān)心這將摧毀我們對大型新聞媒體和機(jī)構(gòu)的信譽(yù)和信任。

我認(rèn)為我們已經(jīng)非常成功地適應(yīng)了這一變化。是的，會(huì)有很多動(dòng)蕩和不穩(wěn)定。但是在每一波新的浪潮中，我們都在提高識(shí)別真相、摒棄胡言亂語的能力。接下來的浪潮中將出現(xiàn)技術(shù)和治理機(jī)制，我們可以討論一下，以解決諸如機(jī)器人模仿之類的問題。

我是完全贊同的，我認(rèn)為我們應(yīng)該禁止數(shù)字人物的冒充，且不應(yīng)該讓其在 Twitter 上發(fā)布各種胡言亂語，他對現(xiàn)實(shí)世界非常熟悉，所以我認(rèn)為有技術(shù)機(jī)制可以防止這類問題發(fā)生。這就是為什么我們正在討論它們。

Yuval Noah Harari

有機(jī)制，我們只需要運(yùn)用它們。我想說兩件事。首先，給更多的人發(fā)聲是一件非常好的事情，但是機(jī)器人沒有言論自由。因此，禁止機(jī)器人，或者說它們不應(yīng)該享有言論自由。

這非常重要。過去 30 年有一些很棒的發(fā)展，但是我非常擔(dān)心，當(dāng)你看看像美國、英國、某種程度上像以色列這樣的國家時(shí)，你會(huì)被事實(shí)打動(dòng)，我們擁有有史以來最先進(jìn)的信息技術(shù)，但我們再也無法互相交流，我的印象，也許你對美國政治或其他民主國家的政治印象不同。

我的印象是信任正在崩潰，對話正在崩潰，人們無法再就誰贏得了上次選舉達(dá)成一致意見。在民主制度中，最基本的事實(shí)，即上次誰贏得了選舉？我們以前有很大分歧，但我覺得現(xiàn)在不同了，對話真的正在崩潰。我不確定為什么，但真的很令人不安，與此同時(shí)，我們擁有有史以來最強(qiáng)大的信息技術(shù)，人們不能再互相交流。

Zanny Minton-Beddoes

實(shí)際上，我們進(jìn)行了一項(xiàng)研究，你可能已經(jīng)看過了，我們進(jìn)行了一項(xiàng)關(guān)于 AI 可能對選舉和政治體系短期影響的大型封面專題報(bào)道。我們的結(jié)論實(shí)際上是，在短期內(nèi)， AI 可能影響相對有限，因?yàn)橐呀?jīng)存在的信任程度已經(jīng)很低。

所以這是一個(gè)雙刃劍的答案，因?yàn)榍闆r已經(jīng)相當(dāng)糟糕。但是你們都說在我們詳細(xì)討論之前，需要進(jìn)行監(jiān)管。執(zhí)行監(jiān)管的機(jī)構(gòu)是國家和國家政府。然而， Mustafa ，在你的書中，你擔(dān)心國家的權(quán)力潛在地受到侵蝕。你能詳細(xì)解釋一下這一點(diǎn)嗎，作為我逐漸上升的風(fēng)險(xiǎn)的第三部分？

Mustafa Suleyman

挑戰(zhàn)在于，恰在我們需要國家來對我們負(fù)責(zé)的時(shí)刻，國家正在承受信任不足、巨大分化以及政治進(jìn)程崩潰的壓力。再加上，最新的模型是由私營公司和開源社區(qū)開發(fā)的。重要的是要認(rèn)識(shí)到不僅僅是最大的 AI 開發(fā)者。這些技術(shù)在開源代碼中廣泛可用，人們可以免費(fèi)從互聯(lián)網(wǎng)上下載。

它們可能落后于最先進(jìn)的大模型約 1 年或 1 年半的時(shí)間。因此，我們面臨著雙重挑戰(zhàn)，即在現(xiàn)有機(jī)制有點(diǎn)有問題的情況下，如何使中央權(quán)力負(fù)責(zé)，并如何解決互聯(lián)網(wǎng)上的大規(guī)模傳播問題？這是一個(gè)非常大的挑戰(zhàn)。我們開始看到公司自發(fā)組織的倡議，他們同意積極簽署自我監(jiān)督的協(xié)議，包括審計(jì)和不會(huì)探索的功能等等。

現(xiàn)在，我認(rèn)為這只能部分安撫人們，或者甚至可能一點(diǎn)也不安撫人們。但事實(shí)是，我認(rèn)為這是正確的第一步，因?yàn)槲覀冞€沒有展示出 AI 可能會(huì)帶來大規(guī)模危害。我認(rèn)為這是通用技術(shù)浪潮中的一個(gè)首次機(jī)會(huì)，我們開始采取謹(jǐn)慎原則。我強(qiáng)烈主張這一點(diǎn)。

我認(rèn)為我們應(yīng)該采用“不造成傷害”的原則。這可能意味著我們必須放棄一些好處，一些成果可能暫時(shí)無法實(shí)現(xiàn)，我們可能會(huì)失去一些幾年內(nèi)可能獲得的收益，回顧歷史后，我們可能會(huì)認(rèn)為，哦，我們本可以更快一些。我認(rèn)為這是正確的權(quán)衡。這是一個(gè)謹(jǐn)慎的時(shí)刻。事情發(fā)展得非?？?，直到我們看到這一浪潮如何展開一段時(shí)間后，我們才能完美地平衡風(fēng)險(xiǎn)和收益。因此，我喜歡我們公司 Inflection AI 和其他大型開發(fā)者正試圖采取更謹(jǐn)慎的方法。

四、AI 的奧本海默時(shí)刻？對技術(shù)的監(jiān)管與防范

Zanny Minton-Beddoes

你們兩位都廣泛討論了這項(xiàng)技術(shù)帶來的挑戰(zhàn)?，F(xiàn)在，在這個(gè)領(lǐng)域的從業(yè)者中，有一種關(guān)于滅絕級(jí)別風(fēng)險(xiǎn)的游戲，人們正在大談特談。實(shí)際上，我不知道，事實(shí)上我應(yīng)該問你們，在你們現(xiàn)在的工作中，百分之多少的時(shí)間專注于風(fēng)險(xiǎn)，因?yàn)槟銈冋谕茝V你們的書。但是，現(xiàn)在人們對此非常關(guān)注，這是很好的事情。

我們早早地開始思考這個(gè)問題。我認(rèn)為這使我們進(jìn)入了我們對話中最重要的部分，那就是我們要做什么？Mustafa ，你列出了一個(gè)10點(diǎn)計(jì)劃，這是一種行動(dòng)，不僅僅是像你和我一樣進(jìn)行評(píng)論的人會(huì)做的事情。所以告訴我們，作為人類、政府和社會(huì)，我們需要采取哪些措施，以確保我們實(shí)現(xiàn)這項(xiàng)技術(shù)的好處，但將風(fēng)險(xiǎn)降至最低？

Mustafa Suleyman

有一些非常實(shí)際的事情。例如，對這些模型進(jìn)行紅隊(duì)測試，即對它們進(jìn)行對抗性測試，試圖讓它們承受盡可能多的壓力，以迫使它們生成有關(guān)如何生成生物或化學(xué)武器、如何制造炸彈等方面的建議。這已經(jīng)相當(dāng)重要。

我們可以看到它們的弱點(diǎn)。過去 1 年發(fā)布這些模型的一部分，使每個(gè)人都有機(jī)會(huì)看到它們不僅僅是多么強(qiáng)大，還有它們的弱點(diǎn)。這是令人安心的。我們需要在公開場合進(jìn)行這些測試。這就是為什么我非常喜歡目前的開源社區(qū)，因?yàn)檎嬲拈_發(fā)者可以使用這些模型并看到產(chǎn)生有時(shí)我們擔(dān)心它們會(huì)非常具有操縱性和說服力的能力實(shí)際上有多么困難。所以第一件事就是公開測試。第二件事是，我們必須共享最佳實(shí)踐。

因此，存在一種競爭張力，因?yàn)榘踩詫⒊蔀橐豁?xiàng)資產(chǎn)。如果我擁有更安全的模型，我將向我的消費(fèi)者提供更好的產(chǎn)品。但當(dāng)然，如果我發(fā)現(xiàn)模型中的漏洞或弱點(diǎn)，那么我應(yīng)該分享，就像我們在技術(shù)的許多領(lǐng)域，不僅僅是軟件安全領(lǐng)域，而是在飛行航空領(lǐng)域，黑匣子記錄儀，例如，如果發(fā)生重大事故，不僅記錄了飛機(jī)上的所有遙測數(shù)據(jù)，還記錄了機(jī)組人員在駕駛艙內(nèi)的一切對話。

如果發(fā)生重大安全事故，那么這些信息將與世界各地的競爭對手共享，這是偉大的。盡管從表面上看，飛機(jī)是一種非常奇怪的交通工具，如果向外星人描述在40000英尺的天空中飛行，這是一種非常奇怪的事情。所以我認(rèn)為我們可以借鑒這個(gè)先例。

我還同意，現(xiàn)在可能是時(shí)候明確聲明我們不應(yīng)允許這些工具用于競選。我是說，我們還不能信任它們。我們還不能信任它們穩(wěn)定可靠。我們不能允許人們使用它們來偽造數(shù)字人物。顯然，我們已經(jīng)談?wù)撨^這個(gè)問題。因此，有一些能力我們可以開始從談判桌上拿掉。另一個(gè)是自主性?，F(xiàn)在，我認(rèn)為自主性是一組非常危險(xiǎn)的方法。它令人興奮，它代表了一種可能性，可能會(huì)非常不可思議，但我們還沒有掌握風(fēng)險(xiǎn)和局限性。

同樣地，訓(xùn)練 AI 來更新和改進(jìn)自己的代碼。這種遞歸自我改進(jìn)的概念，即關(guān)閉循環(huán)，使 AI 負(fù)責(zé)定義自己的目標(biāo)，獲取更多資源，并根據(jù)某個(gè)目標(biāo)更新自己的代碼，這些都是相當(dāng)危險(xiǎn)的能力。

就像我們有KYC（了解你的客戶），或者像我們許可核技術(shù)的開發(fā)商以及涉及供應(yīng)鏈的所有組件一樣。如果一些大型技術(shù)提供商希望嘗試這些能力，那么他們應(yīng)該期望進(jìn)行徹底的審計(jì)，應(yīng)該期望他們獲得許可，并且應(yīng)該有獨(dú)立的監(jiān)督。

Zanny Minton-Beddoes

那么，如何完成這個(gè)任務(wù)呢？在我看來，有幾個(gè)挑戰(zhàn)。首先是相對較少的領(lǐng)先模型與眾多開源模型之間的差異，你們有一個(gè)領(lǐng)先模型，然后有更多人可以訪問的開源模型。我感覺后者的能力略遜于前者，但它們一直在不斷增長。如果真的有相當(dāng)大規(guī)模的開源能力，那么有什么阻止憤怒的十幾歲的小鎮(zhèn)居民開發(fā)可能會(huì)關(guān)閉當(dāng)?shù)蒯t(yī)院的能力呢？在你的監(jiān)管框架中，如何防范這種情況？

Mustafa Suleyman

挑戰(zhàn)的一部分是這些模型變得越來越小、越來越高效。我們從技術(shù)發(fā)展的歷史上知道，對我們有用和有價(jià)值的任何東西都會(huì)變得更便宜、更容易使用，然后廣泛傳播。因此，在20、30、40年的時(shí)間里，這項(xiàng)技術(shù)的命運(yùn)必然是傳播。我們必須面對這個(gè)現(xiàn)實(shí)。這并不矛盾，是因?yàn)閭鞑ニ坪跏遣豢杀苊獾?，但遏制中央?quán)力是一個(gè)同等的挑戰(zhàn)。

因此，對此沒有簡單的答案。我是說，除了監(jiān)視互聯(lián)網(wǎng)，很明顯，在 30 年后，就像你說的，車庫里的業(yè)余愛好者將能夠進(jìn)行實(shí)驗(yàn)。如果看一下合成生物學(xué)的發(fā)展軌跡，我們現(xiàn)在擁有臺(tái)式合成器。這是一種能夠合成新的合成化合物的能力。它的成本約為20000美元，它基本上使你能夠創(chuàng)造比我們在對付新冠病毒時(shí)更易傳播或更致命的分子。

你基本上可以進(jìn)行實(shí)驗(yàn)。挑戰(zhàn)在于沒有監(jiān)督。你可以從貨架上買到它，你不需要太多的培訓(xùn)，可能今天的生物學(xué)本科生就足以進(jìn)行實(shí)驗(yàn)。現(xiàn)在，當(dāng)然，它們會(huì)變得更小、更容易使用，并廣泛傳播。因此，我在我的書中真的試圖弘揚(yáng)這樣一個(gè)觀點(diǎn)，即這是未來幾十年的最重要的遏制挑戰(zhàn)。

Zanny Minton-Beddoes

你使用了遏制這個(gè)詞，這很有趣，因?yàn)槲蚁嘈艑δ銇碚f，遏制這個(gè)詞立刻會(huì)讓人聯(lián)想到喬治·肯南和戰(zhàn)后冷戰(zhàn)時(shí)期的動(dòng)態(tài)。而現(xiàn)在我們處于一個(gè)地緣政治世界，無論你是否稱之為新冷戰(zhàn)，都是美國和中國之間緊張的世界。在這種大國之間的緊張關(guān)系下，是否可以做到這種遏制，正是像你提到的冷戰(zhàn)時(shí)期的軍備控制條約的思維范式？我們?nèi)绾卧趪H層面做到這一點(diǎn)？

Yuval Noah Harari

我認(rèn)為這是最大的問題，如果問題是人類與地球上這些新的智能外星代理之間的共同威脅，那么是的，我認(rèn)為我們可以遏制它們的方式。但如果人類在內(nèi)部分裂，處于軍備競賽中，那么遏制這種外星智能幾乎是不可能的。有一點(diǎn)，我更傾向于將其視為外星入侵，就像有人來告訴我們，有一支來自外星的飛船隊(duì)，來自什么星球，攜帶著超級(jí)智能生物。

他們將在 5 年內(nèi)抵達(dá)并接管地球。也許他們會(huì)友好。也許他們會(huì)解決癌癥和氣候變化問題。但我們不確定。這就是我們面臨的情況，除了外星人不是來自外星球的飛船。他們來自實(shí)驗(yàn)室。

Mustafa Suleyman

對技術(shù)的性質(zhì)進(jìn)行完全的描述。外星人默認(rèn)具有代理能力。這將是我們可以應(yīng)用的工具，有狹義設(shè)置。

Yuval Noah Harari

是的，但假設(shè)它們有，它們可能具有代理能力。我們可以試圖阻止它們具有代理能力，但我們知道它們將非常聰明，至少有可能具有代理能力。這是一種非常令人恐懼的組合，我們以前從未遇到過的東西。再次強(qiáng)調(diào)，原子彈沒有代理能力的潛力，印刷機(jī)也沒有代理能力的潛力。這種東西，除非我們遏制它，遏制的問題非常困難，因?yàn)闈撛诘厮鼈兛赡軙?huì)比我們更聰明。

如何防止比你更聰明的東西發(fā)展出它具有的代理能力？我不是說這是不可能的。我只是說這非常困難。我認(rèn)為我們最好的方法不是考慮某種剛性的監(jiān)管，你應(yīng)該做這個(gè)，不應(yīng)該做那個(gè)，而是開發(fā)新的機(jī)構(gòu)，活的機(jī)構(gòu)，能夠理解非?？焖俚陌l(fā)展并即時(shí)做出反應(yīng)。目前的問題是，唯一真正了解正在發(fā)生的事情的機(jī)構(gòu)是開發(fā)技術(shù)的機(jī)構(gòu)，政府，大多數(shù)政府似乎對正在發(fā)生的事情毫無頭緒。

還有大學(xué)。我的意思是，私營部門的人才數(shù)量和經(jīng)濟(jì)資源遠(yuǎn)遠(yuǎn)高于大學(xué)。所以，我明白私營部門有像 Mustafa 這樣的參與者，他們非常認(rèn)真地考慮監(jiān)管和遏制。

但我們必須有一個(gè)外部實(shí)體參與其中。為此，我們需要開發(fā)新的機(jī)構(gòu)，這些機(jī)構(gòu)將擁有人力資源、經(jīng)濟(jì)和技術(shù)資源，還將擁有公眾的信任，因?yàn)闆]有公眾的信任，這將不會(huì)起作用。我們能夠創(chuàng)建這樣的新機(jī)構(gòu)嗎？我不知道。

Zanny Minton-Beddoes

我認(rèn)為 Yuval 提出了一個(gè)重要的觀點(diǎn)，正如我們開始這次對話時(shí)，你正在描述未來 5 年的情況，你說 AI 將無處不在，我們都將擁有自己的 AI ，但它們將具有行動(dòng)的能力，不僅僅是處理信息，它們現(xiàn)在擁有的創(chuàng)造力和行動(dòng)能力。

但已經(jīng)從這些生成式 AI 模型中看到了去年、前年、前年和前年的能力，它們已經(jīng)能夠以你和其他技術(shù)專家沒有預(yù)料到的速度發(fā)展，你沒有預(yù)料到它們會(huì)在圍棋上獲勝等等，令人震驚的是它們已經(jīng)以不可預(yù)測的速度發(fā)展。

因此，如果將這一點(diǎn)與能力增加相結(jié)合，那么我認(rèn)為 Yuval 提出的關(guān)切是合理的，即它們的創(chuàng)造者無法完全預(yù)測它們將擁有什么能力。它們可能不是完全自主的，但它們將在某些方面向自主發(fā)展，那么如何防止這種情況，或者如何防止，你知道，紅隊(duì)測試，這是你的短語，它意味著你不斷檢查發(fā)生了什么，當(dāng)你看到發(fā)生了什么時(shí)，你進(jìn)行微調(diào)。

Mustafa Suleyman

在預(yù)先壓力測試并不是所有事情都可以做的情況下，確實(shí)存在一個(gè)非?，F(xiàn)實(shí)的問題。所以 Yuval 所提出的問題是非常合理的，這也是我長期以來一直呼吁采用預(yù)防原則的原因。我們應(yīng)該從桌上拿走一些能力，將其分類為高風(fēng)險(xiǎn)。

坦白地說，歐盟 AI 法案，它已經(jīng)草案已經(jīng)有三年半了，作為一個(gè)基于風(fēng)險(xiǎn)的框架，非常明智，適用于每個(gè)應(yīng)用領(lǐng)域，無論是醫(yī)療保健、自動(dòng)駕駛還是面部識(shí)別。如果超過了某個(gè)閾值，它基本上將某些能力從桌上拿下來。我之前列舉了一些，例如自主性顯然是一個(gè)潛在的高風(fēng)險(xiǎn)能力。

遞歸自我改進(jìn)也是同樣的故事。所以現(xiàn)在是采取預(yù)防原則的時(shí)刻，不是因?yàn)榭謶置杀瘟搜劬?，而只是因?yàn)檫@是一種合乎邏輯和明智的方法。我認(rèn)為另一個(gè)非常合理的模型是采用類似于IPCC的方法，達(dá)成國際共識(shí)，建立一個(gè)調(diào)查權(quán)力，以確定我們在能力方面的現(xiàn)實(shí)基礎(chǔ)。這一過程已經(jīng)非常有價(jià)值。不要理睬談判和政策制定，只是證據(jù)觀察，我們到底在哪里？你不需要相信我。

你不需要相信我，你應(yīng)該相信獨(dú)立的專家小組，如果他們是一個(gè)值得信任、真正公正的參與者，我個(gè)人會(huì)授權(quán)他們訪問我公司的一切。毫無疑問，我們將授權(quán)完全的訪問。我知道許多其他公司也會(huì)這樣做。

Yuval Noah Harari

再次強(qiáng)調(diào)，人們傾向于將 AI 創(chuàng)造出致命病毒的情景，埃博拉加上 Covid ，殺死所有人。讓我們走更經(jīng)濟(jì)學(xué)的方向，像你提出的， AI 創(chuàng)造金錢，賺錢有什么問題？這是一件美好的事情。所以假設(shè)你有一個(gè) AI ，它比大多數(shù)人類、大多數(shù)政治家，也許是大多數(shù)銀行家都更了解金融體系。

讓我們回想一下 2007 年、2008 年的金融危機(jī)。它始于什么？關(guān)于他們稱之為 CDO、CDS。這正是一些天才數(shù)學(xué)家發(fā)明的東西。除了少數(shù)在華爾街的天才數(shù)學(xué)家，沒有人理解它們。這就是為什么沒有人對它們進(jìn)行監(jiān)管的原因。幾乎沒有人看到金融危機(jī)正在發(fā)生。發(fā)生了什么？這種種的啟示來自于這個(gè)不會(huì)出現(xiàn)在好萊塢科幻電影中的世界末日情景。

AI 發(fā)明了一種沒有人能夠理解的新的金融工具。它超出了人類理解的能力。它的數(shù)學(xué)如此復(fù)雜，數(shù)據(jù)如此豐富，沒有人能夠理解。它賺了數(shù)十億美元，數(shù)百億美元，然后它毀掉了世界經(jīng)濟(jì)，沒有人明白到底發(fā)生了什么。像總理、總統(tǒng)、財(cái)政部長這些人都不明白發(fā)生了什么。再次強(qiáng)調(diào)，這并不是不可思議的。我指的是我們在2007年8年看到了與人類數(shù)學(xué)家相同的情況。

Zanny Minton-Beddoes

我認(rèn)為這個(gè)問題，你可以輕易地描述出讓人想跳下附近懸崖的情景。但實(shí)際上，我對 Mustafa 首先提出的觀點(diǎn)的另一個(gè)回應(yīng)是，回到地緣政治。如果另一方不會(huì)放棄某些能力，那么一個(gè)國家放棄某些能力是否明智？這將引發(fā)一種政治經(jīng)濟(jì)問題，沿著這條路你會(huì)發(fā)現(xiàn)？

Mustafa Suleyman

這是我們在西方集體建立我們的價(jià)值觀并支持它們的時(shí)刻。我們不能因?yàn)樗麄冊谶@么做，所以我們應(yīng)該冒相同的風(fēng)險(xiǎn)，從而導(dǎo)致一個(gè)競相降低標(biāo)準(zhǔn)的局面。如果我們采取這種方法，到處都會(huì)走捷徑，最終我們會(huì)為此付出代價(jià)。這不是對“他們會(huì)去做”的回應(yīng)。

我們確實(shí)在致命自主武器領(lǐng)域看到了這一點(diǎn)。聯(lián)合國已經(jīng)就監(jiān)管致命自主武器進(jìn)行了20多年的談判，他們幾乎沒有就致命自主武器的定義達(dá)成一致，更不用說達(dá)成共識(shí)了。所以這并不太好。但我們必須接受這是不可避免的軌跡。從我們自己的角度來看，我們必須決定在社會(huì)上對于自由行動(dòng)的 AI 、面部監(jiān)視、面部識(shí)別以及一般的自主系統(tǒng)，我們愿意容忍什么。

迄今為止，我們采取了相當(dāng)謹(jǐn)慎的態(tài)度，我們不會(huì)到處飛無人機(jī)。技術(shù)上完全可以自主飛無人機(jī)繞過倫敦。我們沒有實(shí)施這個(gè)計(jì)劃，對吧？即使自主駕駛汽車在某種程度上有害，但它們實(shí)際上運(yùn)行得相當(dāng)不錯(cuò)。所以監(jiān)管過程也是文化過程，是我們在任何給定時(shí)刻認(rèn)為在社會(huì)和政治上是可以接受的水平。我認(rèn)為適當(dāng)程度的謹(jǐn)慎是我們所看到的。

Yuval Noah Harari

在很多領(lǐng)域，我們需要一個(gè)愿意合作的聯(lián)盟。如果世界上的一些行動(dòng)者不愿加入，那么在我們的利益中，仍然有這樣的法規(guī)是個(gè)好主意。所以，這就像禁止模仿人的機(jī)器人。所以有些國家可能不同意，但那無關(guān)緊要。為了保護(hù)我們的社會(huì)，仍然有這樣的法規(guī)是一個(gè)非常好的主意。

五、面對新的技術(shù)和創(chuàng)新：人類會(huì)后悔么？

Zanny Minton-Beddoes

你們兩位都在引發(fā)警鐘，但你們都積極參與創(chuàng)建這個(gè)未來，你為什么要繼續(xù)下去？

Mustafa Suleyman

我個(gè)人相信，在我們所創(chuàng)造的 AI 中，可以實(shí)現(xiàn)好處最大化，同時(shí)將風(fēng)險(xiǎn)最小化。我們的部分I，即個(gè)人智能，是當(dāng)今世界上最安全的部分之一，它不會(huì)像兩年前那樣產(chǎn)生種族主義、有毒的偏見屏幕，它不會(huì)受到任何越獄、提示黑客、對抗性紅隊(duì)的影響，這些都不起作用。

我們已經(jīng)把安全作為我們產(chǎn)品設(shè)計(jì)的絕對首要任務(wù)，所以我的目標(biāo)一直是盡我所能以最好的方式展示前進(jìn)的道路，這是在多年來不可避免的過程中不斷發(fā)展。

這真的正在發(fā)生。新的浪潮即將到來。我認(rèn)為我的貢獻(xiàn)是盡我所能地展示出一個(gè)真正遵循我們可能想到的最佳安全約束的個(gè)人智能的表現(xiàn)。

Zanny Minton-Beddoes

現(xiàn)在，當(dāng)你回顧人類歷史，同時(shí)展望未來，這是一種技術(shù)和創(chuàng)新速度，人類會(huì)后悔的嗎？還是應(yīng)該繼續(xù)下去？

Yuval Noah Harari

也許會(huì)。我不能預(yù)測未來。我想說的是，我們在發(fā)展 AI 方面投入了如此多的資源，而我們還沒有見證任何事情，就像在有機(jī)生命的演化中，這就像 AI 的阿米巴，而不是需要數(shù)百萬年才能發(fā)展成暴龍，也許需要 20 年才能發(fā)展成TRX。

但要記住的一件事是，我們自己的思想也有巨大的發(fā)展空間，與人類一樣，我們還沒有看到人類的全部潛力。如果我們在 AI 方面投資了每一美元和每一分鐘，我們再投資一美元和一分鐘來發(fā)展我們自己的意識(shí)、我們自己的思想，我認(rèn)為我們會(huì)沒事的，但我沒有看到這種情況發(fā)生。