Cohere 創(chuàng)始人兼 CEO Aidan Gomez 近期分享了他對(duì)于人工智能發(fā)展的深度思考。他認(rèn)為，盡管 AI 技術(shù)在提高生產(chǎn)力和推動(dòng)經(jīng)濟(jì)增長(zhǎng)方面具有巨大潛力，但目前 AI 模型的進(jìn)展正變得越來(lái)越困難，而且成本日益增加。

近日，Cohere 創(chuàng)始人&CEO Aidan Gomez?對(duì)談 20VC 主理人 Harry Stebbings，分享了他對(duì) AI 發(fā)展的最新思考。Aidan 表示，AI 的未來(lái)發(fā)展?jié)摿h(yuǎn)未被完全挖掘，尤其是在推理能力、規(guī)劃能力和長(zhǎng)期任務(wù)執(zhí)行等方面，這些能力的開(kāi)發(fā)將帶來(lái)質(zhì)的飛躍。

在談及AI模型的構(gòu)建時(shí)，他承認(rèn)自己曾低估了數(shù)據(jù)質(zhì)量的重要性。數(shù)據(jù)的質(zhì)量對(duì) AI 模型的影響極為敏感，甚至一個(gè)錯(cuò)誤的數(shù)據(jù)點(diǎn)都可能對(duì)模型產(chǎn)生顯著影響。

他指出，提高生產(chǎn)力是 AI 技術(shù)的核心價(jià)值所在，AI 有望緩解社會(huì)經(jīng)濟(jì)停滯，推動(dòng)經(jīng)濟(jì)增長(zhǎng)。

在談到企業(yè)采用 AI 技術(shù)時(shí)，他指出，信任是當(dāng)前的主要障礙，尤其是在數(shù)據(jù)安全和隱私方面。Cohere 通過(guò)私有部署和數(shù)據(jù)本地處理的方式，努力消除企業(yè)的這些顧慮……

以下為這場(chǎng)對(duì)話(huà)的全部?jī)?nèi)容，enjoy～

Harry Stebbings:

Aidan 提到你是在安大略省的鄉(xiāng)村長(zhǎng)大的，住在你祖父親手建造的房子里。這是一個(gè)好的起點(diǎn)嗎？你能跟我說(shuō)說(shuō)這段經(jīng)歷嗎？

Aidan Gomez:

是的，我是在安大略省的一個(gè)偏遠(yuǎn)地區(qū)長(zhǎng)大的。那是一塊百英畝的大片土地，全是森林，是一片楓樹(shù)林。在這樣一個(gè)極具加拿大特色的環(huán)境中長(zhǎng)大真的很酷，但這確實(shí)讓我遠(yuǎn)離了科技。

Harry Stebbings:

但你喜歡游戲，對(duì)吧？

Aidan Gomez:

是的，我確實(shí)喜歡游戲，我從小就喜歡科技。只是很難接觸到它，比如我們當(dāng)時(shí)無(wú)法上網(wǎng)，能用的也只是撥號(hào)上網(wǎng)。

在別人都已經(jīng)用上高速互聯(lián)網(wǎng)的時(shí)候，我還在用撥號(hào)上網(wǎng)。我所有的朋友都在玩在線(xiàn)游戲，而我只能羨慕，或者說(shuō)感到遺憾，錯(cuò)過(guò)了互聯(lián)網(wǎng)興起并變得流行的那一波潮流。

所以這讓我對(duì)科技非常著迷。我會(huì)坐在家里的電腦前，使用糟糕的撥號(hào)互聯(lián)網(wǎng)，盡力讓它變得更快。

我會(huì)盡量利用現(xiàn)有的資源。這最終促使我想要學(xué)習(xí)編程，了解網(wǎng)絡(luò)是如何運(yùn)作的。我能讓這些東西更快嗎？能讓互聯(lián)網(wǎng)加載更快嗎？因?yàn)槲耶?dāng)時(shí)看著屏幕上的像素一行一行地加載。

這真的推動(dòng)了我進(jìn)入計(jì)算機(jī)科學(xué)領(lǐng)域。我不得不去學(xué)習(xí)這些技術(shù)的運(yùn)作原理，以便能更好地利用它們。

Harry Stebbings:

這讓我想起我從許多了不起的創(chuàng)始人那里了解到的一件事，那就是在早年玩過(guò)游戲的人和后來(lái)成功的創(chuàng)始人之間有著極高的相關(guān)性。你認(rèn)為游戲?yàn)槭裁磿?huì)成為成功創(chuàng)始人的奇怪因素？

Aidan Gomez:

電子游戲教會(huì)了你一些東西。你會(huì)更愿意為了一些更大的目標(biāo)去做重復(fù)、困難且痛苦的事情。這種韌性非常重要。

另外，你在游戲中總能重來(lái)。你可以再試一次。這個(gè)樂(lè)觀的心態(tài)或者說(shuō)這種框架在很多文化中都非常重要。在很多文化中，你只有一次機(jī)會(huì)，如果你搞砸了，那就完了。

但也許游戲能給人們一種感覺(jué)，就是你可以搞砸了再試一次，你可以變得更好。第二次搞砸的次數(shù)比第一次少，第三次搞砸的次數(shù)比第二次少。這種通過(guò)失敗取得進(jìn)步的理念，對(duì)我們來(lái)說(shuō)非常重要。

Harry Stebbings:

我也一直相信游戲設(shè)計(jì)的力量，它的漸進(jìn)性或者說(shuō)游戲設(shè)計(jì)的方式讓我們感覺(jué)良好，增強(qiáng)了自信。你絕不會(huì)在一款游戲中從一個(gè)非常困難的第一關(guān)開(kāi)始，讓人覺(jué)得“不可能完成，我不想玩了”。

Aidan Gomez:

是的，是的，這在機(jī)器學(xué)習(xí)中被稱(chēng)為“課程學(xué)習(xí)”（curriculum learning）。你要先教模型做一些非常簡(jiǎn)單的事情，然后逐步增加復(fù)雜性，基于已有的知識(shí)構(gòu)建。

有趣的是，課程學(xué)習(xí)在機(jī)器學(xué)習(xí)中實(shí)際上是失敗的。我們并沒(méi)有真正進(jìn)行課程學(xué)習(xí)，而是把最難和最簡(jiǎn)單的材料同時(shí)拋給模型，讓它自己去弄明白。

但對(duì)人類(lèi)來(lái)說(shuō)，這種方式非常有效，是我們學(xué)習(xí)的重要組成部分?？吹剿跈C(jī)器學(xué)習(xí)中沒(méi)有取得成功，真的很有趣。

Harry Stebbings:

你剛才說(shuō)到直接把所有東西拋給模型，我想直接深入探討這個(gè)問(wèn)題，因?yàn)檫@是大家都在問(wèn)的一個(gè)問(wèn)題：很多人都說(shuō)只要增加計(jì)算能力就是我們最大的限制因素。

我們只需要更多的計(jì)算能力，性能就會(huì)提升。你認(rèn)為這是正確的嗎？我們是否還有其他因素在限制性能的提升？

Aidan Gomez:

確實(shí)，如果你給模型增加更多的計(jì)算能力，或者讓模型更大，它確實(shí)會(huì)變得更好。這是提高模型性能最可靠的方式，但也是最笨的。如果一切都失敗了，只需讓模型更大。

對(duì)于那些資金充足的人來(lái)說(shuō)，這是一個(gè)非常有吸引力的策略，風(fēng)險(xiǎn)極低。你知道它會(huì)變得更好，只需擴(kuò)展模型，花更多錢(qián)，購(gòu)買(mǎi)更多的計(jì)算能力。我相信這一點(diǎn)，只是覺(jué)得這樣做極其低效。

有更好的方法。如果你看看過(guò)去一年半的時(shí)間，比如從 ChatGPT 發(fā)布到現(xiàn)在 GPT-4 發(fā)布的時(shí)間段。如果 GPT-4 確實(shí)像他們所說(shuō)的那樣有 1.7 萬(wàn)億參數(shù)，它是一個(gè)巨大的 MOE。

我們現(xiàn)在有比這個(gè)模型更好的模型，它們只有 130 億參數(shù)。所以這種變化的速度，或者說(shuō)成本迅速下降的程度，簡(jiǎn)直是不可思議的，甚至有些超現(xiàn)實(shí)。

所以是的，你可以通過(guò)擴(kuò)展規(guī)模來(lái)達(dá)到模型的質(zhì)量，但可能不應(yīng)該這么做。

Harry Stebbings:

這樣的進(jìn)步會(huì)繼續(xù)保持嗎？我的意思是，我們會(huì)繼續(xù)看到這種規(guī)模上的進(jìn)步嗎？還是它會(huì)在某個(gè)時(shí)候達(dá)到瓶頸？

正如你所說(shuō)，我們總是聽(tīng)到更多的存儲(chǔ)，但在某個(gè)時(shí)候，它只是變成了一個(gè)更好的計(jì)算器。

Aidan Gomez:

是的，這確實(shí)需要指數(shù)級(jí)的投入。你需要不斷地加倍計(jì)算能力才能維持智力上的線(xiàn)性增長(zhǎng)。但這種增長(zhǎng)可能會(huì)持續(xù)非常、非常、非常長(zhǎng)的時(shí)間。

它會(huì)變得越來(lái)越聰明。但是你會(huì)遇到經(jīng)濟(jì)上的限制，對(duì)吧？并不是很多人購(gòu)買(mǎi)了最初的 GPT-4，特別是很多企業(yè)因?yàn)樗浅｝嫶?，非常昂貴，運(yùn)行效率低下，成本高昂，而它的智能不足以證明這種成本的合理性。

所以，市場(chǎng)上有很大的壓力，要讓模型變得更小、更高效，通過(guò)數(shù)據(jù)和算法、方法來(lái)讓模型更聰明，而不僅僅是依賴(lài)規(guī)模的擴(kuò)大。

Harry Stebbings:

價(jià)格壓力。在我們生活的這個(gè)世界里，有更小、更高效的垂直化模型，這些模型設(shè)計(jì)用于特定的用例，是否會(huì)出現(xiàn)幾個(gè)大型的、統(tǒng)治一切的模型？還是會(huì)兩者兼有？

Aidan Gomez:

我們?cè)谶^(guò)去幾年中看到的一種趨勢(shì)是，人們喜歡用一個(gè)通用的、智能的模型進(jìn)行原型設(shè)計(jì)。他們不想用一個(gè)特定的模型進(jìn)行原型設(shè)計(jì)，不想花時(shí)間微調(diào)模型來(lái)使其在他們關(guān)心的事情上特別出色。

他們想要的是抓住一個(gè)昂貴的大模型，用它來(lái)做原型設(shè)計(jì)，證明它可以完成任務(wù)，然后將其提煉成一個(gè)在特定領(lǐng)域表現(xiàn)出色的高效模型。所以這種模式真的出現(xiàn)了。

因此，我們將繼續(xù)生活在一個(gè)多模型共存的世界中，一些模型是垂直化和專(zhuān)注的，另一些則是完全橫向的。

Harry Stebbings:

你提到了成本以及需要加倍計(jì)算能力來(lái)保持相同的智力水平。成本非常高昂。也許我在這里錯(cuò)了，我年紀(jì)太小，不記得過(guò)去的技術(shù)進(jìn)步，但幾乎感覺(jué)像是一場(chǎng)持續(xù)的競(jìng)爭(zhēng)。

比如說(shuō)，現(xiàn)在 OpenAI  花費(fèi)了 30 億美元。你怎么能在這場(chǎng)競(jìng)賽中保持自己的位置，除非你是微軟、 Amazon 、 Google 、Facebook 這樣的公司？

Aidan Gomez:

如果你只是做規(guī)?；捻?xiàng)目，你確實(shí)需要成為這些公司中的一個(gè)，或者成為這些公司旗下的一個(gè)子公司。但是，還有很多其他事情可以做。

如果你不完全依賴(lài)規(guī)?；鳛槲ㄒ坏那斑M(jìn)路徑，如果你相信數(shù)據(jù)創(chuàng)新或模型和方法創(chuàng)新，還有很多可以探索的方向。

Harry Stebbings:

我們可以深入探討一下什么是數(shù)據(jù)創(chuàng)新和模型及方法的創(chuàng)新嗎？

Aidan Gomez:

幾乎我們?cè)陂_(kāi)源領(lǐng)域看到的所有重大進(jìn)展都來(lái)自數(shù)據(jù)的改進(jìn)。通過(guò)從互聯(lián)網(wǎng)上獲取更高質(zhì)量的數(shù)據(jù)、改進(jìn)網(wǎng)頁(yè)抓取算法、解析網(wǎng)頁(yè)、提取出重要部分、提升互聯(lián)網(wǎng)上特定部分的權(quán)重，因?yàn)榛ヂ?lián)網(wǎng)上有很多重復(fù)和垃圾內(nèi)容。

通過(guò)提取最有價(jià)值的、知識(shí)豐富的部分，并強(qiáng)調(diào)給模型，以及生成合成數(shù)據(jù)的能力，這些都讓我們能夠獲取大量的文本或網(wǎng)頁(yè)內(nèi)容，而無(wú)需人類(lèi)參與，這些數(shù)據(jù)是由模型自動(dòng)生成的。

這些創(chuàng)新，特別是提高數(shù)據(jù)質(zhì)量的能力，推動(dòng)了我們目前看到的大部分進(jìn)展。

Harry Stebbings:

好的，這是數(shù)據(jù)創(chuàng)新，那模型創(chuàng)新呢？

Aidan Gomez:

這涉及到像新的強(qiáng)化學(xué)習(xí)算法。你知道，有很多關(guān)于 Q-Star 的傳聞，以及它可能帶來(lái)的變化。圍繞搜索的想法，比如如何搜索解決方案。

當(dāng)前模型的狀態(tài)是我問(wèn)你一個(gè)問(wèn)題，你的模型需要立即給出正確答案。這對(duì)模型來(lái)說(shuō)是一個(gè)極其苛刻的要求，對(duì)吧？

你不能對(duì)人類(lèi)這樣做，你不能問(wèn)一個(gè)人一個(gè)難題，然后期望他們立即吐出答案。他們需要時(shí)間去思考和處理。

Harry Stebbings:

他們有時(shí)還需要一點(diǎn)頭腦風(fēng)暴時(shí)間。

Aidan Gomez:

對(duì)，有時(shí)確實(shí)需要。所以，模型的一個(gè)非常明顯的下一個(gè)發(fā)展步驟就是，你需要讓它們思考和解決問(wèn)題。你需要讓它們犯錯(cuò)，嘗試一些東西，失敗了，理解為什么失敗，然后回溯再試一次。

目前，模型中并沒(méi)有解決問(wèn)題的概念。

Harry Stebbings:

你提到的解決問(wèn)題，這是否與推理是同一個(gè)概念？

Aidan Gomez:

是的。

Harry Stebbings:

為什么推理這么難？為什么我們現(xiàn)在還沒(méi)有推理的概念？

Aidan Gomez:

推理并不難，難的是我們?cè)诨ヂ?lián)網(wǎng)上沒(méi)有太多展示推理過(guò)程的訓(xùn)練數(shù)據(jù)。互聯(lián)網(wǎng)上大多是推理過(guò)程的輸出結(jié)果。

當(dāng)你在網(wǎng)上寫(xiě)東西時(shí)，你不會(huì)展示你的思考過(guò)程，而是直接展示你的結(jié)論，展示你的想法，而這些都是經(jīng)過(guò)大量思考、經(jīng)驗(yàn)和討論后的結(jié)果。

所以我們?nèi)狈@樣的訓(xùn)練數(shù)據(jù)，它不是免費(fèi)提供的，你必須自己構(gòu)建。因此，像 Cohere、 OpenAI  和 Anthropic 這樣的公司正在做的就是收集展示人類(lèi)推理過(guò)程的數(shù)據(jù)。

Harry Stebbings:

你如何看待與 OpenAI  這樣的大型玩家競(jìng)爭(zhēng)？

Aidan Gomez:

是的，這確實(shí)非常困難，特別是在企業(yè)領(lǐng)域，他們絕不會(huì)讓你用他們的數(shù)據(jù)進(jìn)行訓(xùn)練。所以我們無(wú)法用任何客戶(hù)的數(shù)據(jù)進(jìn)行訓(xùn)練，數(shù)據(jù)非常私密。

他們的觀點(diǎn)是，他們的數(shù)據(jù)就是他們的知識(shí)產(chǎn)權(quán)，其中包含太多的商業(yè)機(jī)密，因此他們不愿意分享。我非常理解他們的立場(chǎng)。

所以對(duì)于我們來(lái)說(shuō)，我們的重點(diǎn)是合成數(shù)據(jù)，我們?cè)谶@方面投入了很多，同時(shí)我們還有一個(gè)人類(lèi)標(biāo)注團(tuán)隊(duì)，并與 Scale  AI 合作。

我們有自己的內(nèi)部團(tuán)隊(duì)，但這是我們的責(zé)任，因?yàn)槲覀儾皇且患颐嫦蛳M(fèi)者的公司，所以我們必須自己生成這些數(shù)據(jù)。

好處是我們更加專(zhuān)注，因此需要覆蓋的范圍較小。這意味著我們不需要應(yīng)對(duì)來(lái)自全世界的各種需求，而是專(zhuān)注于企業(yè)，他們有非常明確的需求，比如他們想要自動(dòng)化某些財(cái)務(wù)功能或人力資源功能。

所以范圍大大縮小，這讓我們能夠真正專(zhuān)注于這些領(lǐng)域。

Harry Stebbings:

那么合成數(shù)據(jù)市場(chǎng)會(huì)是什么樣子？它會(huì)被兩到三家供應(yīng)商主導(dǎo)嗎？

Aidan Gomez:

我聽(tīng)說(shuō)當(dāng)前的大模型 API 市場(chǎng)主要由合成數(shù)據(jù)主導(dǎo)。大多數(shù)人都是使用這些大型昂貴的模型生成數(shù)據(jù)，然后用這些數(shù)據(jù)來(lái)微調(diào)更小、更高效的模型。

所以他們基本上是在提煉更大的模型。我不知道這種模式作為市場(chǎng)是否可持續(xù)。但我確實(shí)認(rèn)為，總會(huì)有新的任務(wù)、新的問(wèn)題或新的數(shù)據(jù)需求，無(wú)論這些數(shù)據(jù)來(lái)自模型還是人類(lèi)，我們都必須滿(mǎn)足這些需求。

Harry Stebbings:

有一件事讓我感到擔(dān)憂(yōu)，或者說(shuō)讓我感到猶豫。你看到 OpenAI  在進(jìn)行價(jià)格競(jìng)爭(zhēng)，你看到像 Meta 這樣的公司免費(fèi)發(fā)布模型，同時(shí)也沒(méi)有對(duì)開(kāi)源和開(kāi)放生態(tài)系統(tǒng)的價(jià)值進(jìn)行明確說(shuō)明。

我們是否正在看到這些模型價(jià)值的真正下降？這是不是一場(chǎng)競(jìng)相降低價(jià)格、甚至是競(jìng)相歸零的競(jìng)爭(zhēng)？

Aidan Gomez:

，如果你只是賣(mài)模型，那么在接下來(lái)的一段時(shí)間里，這將是一場(chǎng)非常艱難的游戲。這不會(huì)是一個(gè)小市場(chǎng)。

Harry Stebbings:

會(huì)有很多人只是賣(mài)模型，還有一些人會(huì)賣(mài)模型以及其他東西。

Aidan Gomez:

我不想點(diǎn)名，但可以說(shuō)，比如 Cohere，現(xiàn)在只賣(mài)模型。我們有一個(gè) API ，你可以通過(guò)這個(gè) API 訪問(wèn)我們的模型。

這種情況很快就會(huì)改變。產(chǎn)品格局將會(huì)發(fā)生變化，我們會(huì)在現(xiàn)有產(chǎn)品基礎(chǔ)上增加新的東西。如果你只賣(mài)模型，情況會(huì)很困難，因?yàn)檫@將變成一個(gè)零利潤(rùn)的業(yè)務(wù)，價(jià)格競(jìng)爭(zhēng)太激烈了。很多人免費(fèi)提供模型。

盡管如此，它仍然會(huì)是一項(xiàng)大業(yè)務(wù)，市場(chǎng)需求增長(zhǎng)非常迅速。但至少在現(xiàn)階段，利潤(rùn)會(huì)非常微薄。

這就是為什么在應(yīng)用層面有很多興奮點(diǎn)。市場(chǎng)上的討論是正確的，指出價(jià)值正在芯片層以下發(fā)生，因?yàn)橐婚_(kāi)始每個(gè)人都在芯片上投入大量資金來(lái)構(gòu)建這些模型，然后在應(yīng)用層面上看到價(jià)值的體現(xiàn)，比如 ChatGPT ，它按用戶(hù)收費(fèi)，每月 20 美元。

這似乎是目前價(jià)值發(fā)生的地方。模型層在長(zhǎng)期來(lái)看是一個(gè)有吸引力的業(yè)務(wù)，但在短期內(nèi)，按照現(xiàn)狀，它是一個(gè)利潤(rùn)非常低、商品化的業(yè)務(wù)。

Harry Stebbings:

如果我們進(jìn)一步分解一下，你提到了芯片層。你如何看待你們目前在芯片上的支出，以及隨著時(shí)間的推移，這一支出占總支出的比例變化？

Aidan Gomez:

是的，這部分支出增長(zhǎng)了很多。現(xiàn)在它占我們支出的大頭，實(shí)在是太多了。

Harry Stebbings:

你們與英偉達(dá)有直接的合作關(guān)系。

Aidan Gomez:

是的，還有許多芯片制造商。我們與英偉達(dá)、 AMD 都很接近，并且與許多正在開(kāi)發(fā)新型芯片的初創(chuàng)公司有對(duì)話(huà)。我們還使用 Google 的 TPU 。

Harry Stebbings:

這是因?yàn)槟銈儾幌Ｍ袉我坏氖↑c(diǎn)嗎？

Aidan Gomez:

是的，主要是市場(chǎng)需求。我們的客戶(hù)希望能夠在不同的平臺(tái)上運(yùn)行，他們希望有選擇的自由，不想被鎖定在一個(gè)平臺(tái)上。

因此，我們需要提供一個(gè)非常多樣化的平臺(tái)空間來(lái)運(yùn)行。就像我們非常避免被鎖定在一個(gè)云服務(wù)商上，我們希望能夠在每個(gè)云上都可用。

這是因?yàn)槭袌?chǎng)的需求，客戶(hù)希望有選擇權(quán)，不想被垂直化鎖定在一個(gè)供應(yīng)商上。

Harry Stebbings:

你認(rèn)為每個(gè)人都會(huì)垂直化自己的堆棧，建立自己的芯片能力嗎？你看到了蘋(píng)果最近在垂直化方面的努力，他們希望擁有自己的芯片供應(yīng)鏈。你認(rèn)為這種趨勢(shì)會(huì)繼續(xù)嗎？

Aidan Gomez:

目前，芯片的利潤(rùn)非常高，市場(chǎng)上的選擇非常少。但這種情況會(huì)比人們預(yù)想的更快地改變。我對(duì)此非常有信心。

Harry Stebbings:

我坐在供應(yīng)鏈團(tuán)隊(duì)里，注意到你提到的“變化”。你知道，以前我們面臨著供應(yīng)鏈短缺的情況。

Aidan Gomez:

是的，現(xiàn)在這種情況不再那么嚴(yán)重了。短缺正在減少，很快就會(huì)有更多的選擇可用，不僅僅是在推理端。推理已經(jīng)相當(dāng)多樣化了，你在推理端有很多選擇，而不是在模型訓(xùn)練方面。

在訓(xùn)練方面，情況一直是：只有一家公司制造你可以用來(lái)訓(xùn)練大模型的芯片。到今天為止，這仍然是真的。但實(shí)際上，現(xiàn)在有兩家公司。

你完全可以用 TPU 來(lái)訓(xùn)練大模型。它們現(xiàn)在已經(jīng)是一個(gè)可用的平臺(tái)，適用于超大規(guī)模的模型訓(xùn)練。

Google 已經(jīng)相當(dāng)有說(shuō)服力地證明了這一點(diǎn)。然后還有英偉達(dá)。但很快， AMD 的訓(xùn)練平臺(tái)也會(huì)真正準(zhǔn)備好進(jìn)入市場(chǎng)。

Harry Stebbings:

我有個(gè)問(wèn)題，當(dāng)你看到模型和計(jì)算能力上的支出時(shí)，模型的進(jìn)展遠(yuǎn)遠(yuǎn)快于數(shù)據(jù)中心的建設(shè)和計(jì)算能力的進(jìn)展。那么，隨著時(shí)間的推移，我們是否會(huì)在H100或其他18個(gè)月前的計(jì)算機(jī)上運(yùn)行新一代的模型？是否存在模型進(jìn)步與計(jì)算能力進(jìn)展之間的不協(xié)調(diào)？

Aidan Gomez:

供應(yīng)鏈問(wèn)題確實(shí)非常有趣。你是否需要建立自己的數(shù)據(jù)中心？不，我們會(huì)與其他人合作。這種情況是否會(huì)改變？你知道嗎？我們是經(jīng)濟(jì)理性的行為者。

如果建立自己的數(shù)據(jù)中心更便宜，我們會(huì)這么做。我們做過(guò)計(jì)算，我們相信我們從供應(yīng)商那里得到的價(jià)格讓這個(gè)路徑不太吸引人。

但如果出現(xiàn)了一個(gè)非常有吸引力的芯片，但沒(méi)有供應(yīng)商會(huì)為我們采購(gòu)它，那我們可能會(huì)考慮自建。

Harry Stebbings:

你在早期是否遇到過(guò)獲取大量計(jì)算芯片的挑戰(zhàn)？今天這種情況發(fā)生了變化嗎？

Aidan Gomez:

我們已經(jīng)存在了大約五年了，所以在這個(gè)領(lǐng)域開(kāi)始大熱之前我們就已經(jīng)存在了。我們很幸運(yùn)。你是否預(yù)料到了這種爆發(fā)？

我不會(huì)在當(dāng)初創(chuàng)辦公司如果我不預(yù)料到，但爆發(fā)的方式確實(shí)有些意外。它發(fā)生得更晚且更突然。

Harry Stebbings:

是的，我理解。你們?cè)?2017 年合作發(fā)起的公司？沒(méi)有，還是 Transformer 的研究。是的，是的。所以你們當(dāng)時(shí)預(yù)計(jì)它會(huì)很快流行起來(lái)？

Aidan Gomez:

不，在那一刻沒(méi)有。在 2017 年，我只是這個(gè) Transformer 論文的實(shí)習(xí)生，這只是研究工作。我們只是創(chuàng)造新的架構(gòu)，提高翻譯分?jǐn)?shù)3個(gè)百分點(diǎn)，僅此而已。

我沒(méi)想到這個(gè)架構(gòu)，即 Transformer ，以及社區(qū)對(duì)它的喜愛(ài)和基于它的整個(gè)平臺(tái)的實(shí)際整合。我沒(méi)想到。

至于語(yǔ)言建模和整個(gè)規(guī)?；?xiàng)目，我以為世界會(huì)更快地關(guān)注到這一塊。這開(kāi)始變得非常明顯，但花了兩三年的時(shí)間，大家才意識(shí)到它的潛力，并在全球范圍內(nèi)開(kāi)始應(yīng)用。

Harry Stebbings:

那段時(shí)間怎么樣？很有挑戰(zhàn)性嗎？

Aidan Gomez:

確實(shí)很有挑戰(zhàn)性。將技術(shù)直接呈現(xiàn)在用戶(hù)面前，這樣你就不必向你的父母解釋了。你可以坐下來(lái)，與模型對(duì)話(huà)，體驗(yàn)與這些模型對(duì)話(huà)的感覺(jué)。

Harry Stebbings:

你認(rèn)為聊天是最好的用戶(hù)界面嗎？

Aidan Gomez:

對(duì)于某些東西來(lái)說(shuō)是的，對(duì)于其他東西來(lái)說(shuō)，傳統(tǒng)的圖形用戶(hù)界面還是非常不錯(cuò)的。這取決于情況，聊天作為一種界面并不適用于一切。

我不想為了完成任務(wù)而必須詳細(xì)地輸入我的指令。有時(shí)候我只想點(diǎn)擊幾個(gè)按鈕，通過(guò)圖形界面完成任務(wù)。我不認(rèn)為圖形界面已經(jīng)過(guò)時(shí)了，也不應(yīng)該用文本框取代一切。

但我確實(shí)認(rèn)為它提供了一個(gè)非常有吸引力的界面，語(yǔ)音也是如此。語(yǔ)音是神奇的。我第一次看到模型像人類(lèi)一樣有說(shuō)服力地回復(fù)文本時(shí)，那是一種神奇的體驗(yàn)，那發(fā)生在 2017 年，我們提交論文后不久。

我們開(kāi)始用維基百科來(lái)訓(xùn)練語(yǔ)言模型，并從這些模型中采樣，它們能夠像人類(lèi)一樣撰寫(xiě)維基百科頁(yè)面。那是一個(gè)非常神奇的時(shí)刻，計(jì)算機(jī)仿佛醒了過(guò)來(lái)，開(kāi)始與我們對(duì)話(huà)。

接下來(lái)的神奇時(shí)刻是對(duì)話(huà)作為一種界面。不是我提交一個(gè)指令，模型返回一個(gè)響應(yīng)，而是通過(guò)聊天與模型進(jìn)行對(duì)話(huà)。

Harry Stebbings:

我對(duì)語(yǔ)音投資了一些。你認(rèn)為對(duì)語(yǔ)音作為下一代用戶(hù)界面的信心是正確且合理的嗎？

Aidan Gomez:

絕對(duì)是的。任何與這些模型進(jìn)行過(guò)語(yǔ)音對(duì)話(huà)的人都會(huì)感到震驚。當(dāng)你聽(tīng)到模型表現(xiàn)出情感和語(yǔ)調(diào)時(shí)，當(dāng)你聽(tīng)到它在說(shuō)話(huà)前吸氣時(shí)，當(dāng)你聽(tīng)到它嘴巴的聲音時(shí)，那種體驗(yàn)是如此引人入勝。

這種體驗(yàn)很難用語(yǔ)言描述，直到你第一次嘗試時(shí)才會(huì)明白。這是一個(gè)如此吸引人的界面，非常吸引人。

Harry Stebbings:

我一直堅(jiān)信我們往往會(huì)高估短期內(nèi)的變化，而低估長(zhǎng)期的變化。你認(rèn)為這是這種情況嗎？還是說(shuō)語(yǔ)音即將來(lái)臨，并且來(lái)得很快？GPT-5 即將來(lái)臨，可能是在三到六個(gè)月內(nèi)。我們是否低估了短期內(nèi)的變化？

Aidan Gomez:

情況是這樣的。有兩件事情正在發(fā)生。第一，模型進(jìn)展變得越來(lái)越難了。它變得更加困難、費(fèi)力和昂貴，因?yàn)樵?jīng)有段時(shí)間，模型還不夠智能。

我可以隨便找一個(gè)人來(lái)說(shuō)，讓他們與模型對(duì)話(huà)，發(fā)現(xiàn)錯(cuò)誤，他們會(huì)的，并改進(jìn)它。最終，模型變得如此聰明，以至于讓普通人很難找到知識(shí)

Harry Stebbings:

什么時(shí)候這就不再值得了呢？如果你想想語(yǔ)言學(xué)習(xí)，比如你可以在六個(gè)月內(nèi)學(xué)會(huì)95%的語(yǔ)言，但要達(dá)到 98% 的熟練度卻需要五年。

我把這個(gè)過(guò)程簡(jiǎn)化到這樣的程度：為了那額外的 0.5% 的提升，你可能需要再投入 10 億美元。那么這就不再有效率了。

Aidan Gomez:

幸運(yùn)的是，所有東西的成本都在迅速下降。計(jì)算成本，每次浮點(diǎn)運(yùn)算的成本，模型的規(guī)模。每次浮點(diǎn)運(yùn)算的成本是多少？浮點(diǎn)運(yùn)算（flop）是計(jì)算中的一個(gè)單位。

Harry Stebbings:

對(duì)我來(lái)說(shuō)，浮點(diǎn)運(yùn)算好像是個(gè)新概念。

Aidan Gomez:

它其實(shí)是個(gè)非常古老的概念。它是指浮點(diǎn)操作，一個(gè)時(shí)鐘周期內(nèi)的運(yùn)算。如果你有 100 億個(gè)參數(shù)，這基本上等于一些數(shù)量的浮點(diǎn)運(yùn)算。

如果你有 1000 億個(gè)參數(shù)，那就相當(dāng)于 10 倍的浮點(diǎn)運(yùn)算次數(shù)。浮點(diǎn)運(yùn)算的價(jià)格隨著時(shí)間的推移迅速下降。這正是使得更大模型得以解鎖的原因。今天與 2017 年相比，甚至與兩年前相比，情況已經(jīng)大不相同。

Harry Stebbings:

鑒于這一點(diǎn)，你不認(rèn)為對(duì)于新創(chuàng)公司進(jìn)入模型領(lǐng)域來(lái)說(shuō)為時(shí)已晚嗎？大家都在說(shuō)，現(xiàn)在進(jìn)入模型領(lǐng)域?yàn)闀r(shí)已晚，但考慮到成本障礙的降低，這是否意味著現(xiàn)在對(duì)創(chuàng)業(yè)公司來(lái)說(shuō)比以往更容易進(jìn)入這個(gè)領(lǐng)域？

Aidan Gomez:

是的。構(gòu)建去年的模型變得更便宜，每年成本降低 10 倍或 100 倍。我們獲得了更好的數(shù)據(jù)和更便宜的計(jì)算能力。

所以，是的，這確實(shí)降低了上一代模型的進(jìn)入門(mén)檻。但現(xiàn)實(shí)情況是，沒(méi)有人關(guān)心上一代的模型，沒(méi)有人想要它們。市場(chǎng)上對(duì)去年的模型沒(méi)有需求。

它們與今年的模型相比顯得毫無(wú)用處。任何技術(shù)進(jìn)步都會(huì)讓上一代產(chǎn)品迅速變得過(guò)時(shí)。

Harry Stebbings:

不同之處在于，構(gòu)建第一個(gè)版本可能花費(fèi) 1000 萬(wàn)美元，這在軟件產(chǎn)品中是很常見(jiàn)的，而將其提升到第二版本只需額外的 100～200 萬(wàn)美元。

但是在這里，構(gòu)建一個(gè)模型可能需要 30 億美元，而將其提升到下一版本可能需要 50 億美元。這種增量并不是線(xiàn)性的，而是數(shù)量級(jí)的。

Aidan Gomez:

我不確定是否總是下一代的構(gòu)建成本更便宜。在芯片等非常復(fù)雜的技術(shù)領(lǐng)域，每一代的成本可能確實(shí)會(huì)更高，但我們?nèi)匀粫?huì)去做，因?yàn)檫@是值得的。

Harry Stebbings:

好的，回到你之前的觀點(diǎn)，對(duì)上一代的模型沒(méi)有人關(guān)心。

Aidan Gomez:

你剛才在問(wèn)這些改進(jìn)是否會(huì)持續(xù)，我在說(shuō)改進(jìn)這些模型變得越來(lái)越難，摩擦越來(lái)越大。另一個(gè)奇怪的現(xiàn)象是，由于這些模型變得越來(lái)越聰明，人們，或者說(shuō)每個(gè)人的能力，使得他們很難區(qū)分不同的模型代際。

你無(wú)法分辨它們之間的區(qū)別，因?yàn)槟銢](méi)有足夠的醫(yī)學(xué)、數(shù)學(xué)、物理等方面的專(zhuān)業(yè)知識(shí)，無(wú)法真正感受到變化。模型已經(jīng)在基礎(chǔ)知識(shí)上達(dá)到了盡可能的好水平，這就是你我所擁有的知識(shí)水平。

所以當(dāng)我們與模型互動(dòng)時(shí)，我們?cè)诓煌H之間的體驗(yàn)是相同的。但實(shí)際上，這些代際在更具體的能力或原始智力上發(fā)生了巨大的變化。

你在問(wèn)，這樣持續(xù)花費(fèi)大量資金推進(jìn)是否值得？絕對(duì)值得。即使對(duì)于你我這樣的消費(fèi)者來(lái)說(shuō)，當(dāng)我們使用這些技術(shù)時(shí)，我們可能不在乎它是否懂得 C-Star 代數(shù)和量子物理，但這對(duì)量子物理研究者非常有用。通過(guò)提供這些工具，我們將在這些領(lǐng)域取得更大的進(jìn)展。

這就像一般的技術(shù)問(wèn)題一樣：我們已經(jīng)有了充足的食物，超級(jí)便宜的汽車(chē)，每個(gè)人口袋里都有手機(jī)，我們似乎已經(jīng)足夠好了。

所以，是否還應(yīng)該投資于下一代技術(shù)，比如開(kāi)發(fā)一種新的航天材料，使得航天器能更高效地進(jìn)入軌道？

也許這對(duì)你來(lái)說(shuō)無(wú)關(guān)緊要，但對(duì)某些人來(lái)說(shuō)，這非常重要，他們?cè)敢鉃榇烁冻龃鷥r(jià)，并且存在市場(chǎng)需求。

Harry Stebbings:

這就是進(jìn)步得以持續(xù)的方式。進(jìn)步顯然需要繼續(xù)投入大量資金。你之前提到過(guò)一個(gè)很有趣的詞：“有效的子公司”。我們看到很多公司被收購(gòu)或整合進(jìn)了大公司。

現(xiàn)在每個(gè)人都意識(shí)到，云服務(wù)是一個(gè)持續(xù)帶來(lái)收益的“現(xiàn)金牛”，你看到的 Azure 和 AWS 的增長(zhǎng)率和盈利能力就是例子。

實(shí)際上，我們可能會(huì)看到那些較小的模型提供公司大多數(shù)都被這些大型云服務(wù)提供商收購(gòu)。你認(rèn)為在未來(lái)三到五年，這種情況是否很有可能發(fā)生？三年內(nèi)？

Aidan Gomez:

是的，這個(gè)領(lǐng)域會(huì)經(jīng)歷一次清理，它已經(jīng)在發(fā)生了。很多模型構(gòu)建者都在尋求與大公司合作。

Harry Stebbings:

他們?cè)?Amazon ，甚至于微軟都有合作。

Aidan Gomez:

是的，這種整合將會(huì)越來(lái)越多。這種空間的整合是肯定的，但當(dāng)你讓自己成為云服務(wù)提供商的子公司時(shí)，這是非常危險(xiǎn)的。

Harry Stebbings:

為什么？

Aidan Gomez:

因?yàn)檫@對(duì)商業(yè)來(lái)說(shuō)并不是好事。作為一家公司，你需要去說(shuō)服投資者，他們只關(guān)心資本的回報(bào)率，他們給你資金，你用這些資金創(chuàng)造價(jià)值。但當(dāng)你從云服務(wù)提供商那里融資時(shí)，數(shù)學(xué)就完全不同了。

Harry Stebbings:

你認(rèn)為風(fēng)投投資者會(huì)從我們過(guò)去幾年看到的模型投資中賺錢(qián)嗎？像 Cohere 的投資者呢？他們會(huì)賺很多錢(qián)嗎？他們相信你，并投入了大量資金，你會(huì)覺(jué)得“那筆資金真便宜，我不應(yīng)該給那么多股份?！?/p>

增強(qiáng)勞動(dòng)力，你需要有一個(gè)開(kāi)發(fā)這些助理的統(tǒng)一平臺(tái)，這個(gè)平臺(tái)對(duì)特定工具集沒(méi)有偏好，并且根據(jù)實(shí)際使用情況合理地優(yōu)先選擇工具集。

Harry Stebbings:

所以你認(rèn)為這不會(huì)由 Copilot 來(lái)完成。你提到的 Agents 是風(fēng)險(xiǎn)投資界最熱門(mén)的話(huà)題之一。你認(rèn)為代理的炒作是合理的嗎？

Aidan Gomez:

炒作是完全合理的。這是 AI 的承諾。這些模型的承諾是它們能夠自己完成工作，這將徹底改變生產(chǎn)力。一旦你有一個(gè)模型可以獨(dú)立工作很長(zhǎng)一段時(shí)間，這就完全改變了一個(gè)組織的能力。

因此，炒作是合理的。我的質(zhì)疑是，誰(shuí)最適合構(gòu)建這些產(chǎn)品？是在模型構(gòu)建者內(nèi)部，還是在外部？為什么在模型構(gòu)建者內(nèi)部構(gòu)建這些產(chǎn)品更好？這完全取決于模型的質(zhì)量。模型是代理背后的原因。

因此，你必須能夠在這個(gè)層面上進(jìn)行干預(yù)。如果你不能實(shí)際改進(jìn)模型，讓它在你關(guān)心的事情上表現(xiàn)得更好，那么你作為模型的消費(fèi)者在構(gòu)建這些產(chǎn)品時(shí)處于結(jié)構(gòu)性的不利地位。

Harry Stebbings:

你認(rèn)為今天誰(shuí)處于不利地位？大家都在談?wù)?Salesforce ，但我不敢輕視 Benioff。

Aidan Gomez:

他確實(shí)非常出色，他非常清楚面臨的威脅，我不認(rèn)為他會(huì)讓 Salesforce 處于不利地位。它不會(huì)有太大問(wèn)題。

另一個(gè)問(wèn)題是，大家容易忘記企業(yè)軟件的粘性有多強(qiáng)。企業(yè)軟件很難被替代，它們往往會(huì)存在幾十年。有機(jī)會(huì)打造真正變革性的消費(fèi)者體驗(yàn)，而消費(fèi)者對(duì)單一提供商的忠誠(chéng)度要低得多。

他們會(huì)選擇朋友所在的平臺(tái)，或者選擇服務(wù)和產(chǎn)品最好的地方。因此，如果有人能夠提供比現(xiàn)有產(chǎn)品更好的 AI 驅(qū)動(dòng)的服務(wù)，消費(fèi)者會(huì)轉(zhuǎn)移過(guò)去。

你認(rèn)為誰(shuí)擁有最好的研究資源？當(dāng)然是 Cohere。除此之外，現(xiàn)在的研究資源非常分散。過(guò)去它們非常集中，像 Google Brain。

Harry Stebbings:

為什么他們落后了？

Aidan Gomez:

他們并沒(méi)有真正落后。兩周后我們發(fā)布了 Transformer 論文，并開(kāi)始訓(xùn)練語(yǔ)言模型。所以從技術(shù)上和研究上，Google Br AI n 肯定沒(méi)有落后。

我不想評(píng)論 Google ，但我可以說(shuō)，真正重要的是產(chǎn)品愿景和想象力，以及你能夠想象出利用技術(shù)做什么。這不僅僅是技術(shù)開(kāi)發(fā)本身的問(wèn)題，而是你對(duì)技術(shù)的愿景。

即使你公司內(nèi)部有人看到了這個(gè)愿景，你是否有能力讓他們執(zhí)行這個(gè)愿景？還是他們需要去別的地方執(zhí)行？這些是你必須要問(wèn)的問(wèn)題。

最后，關(guān)于規(guī)模化假設(shè)，這種認(rèn)為模型會(huì)隨著我們投入更多資源而不斷改進(jìn)的想法，這是一種非常冒險(xiǎn)、不確定甚至瘋狂的賭注。我并不認(rèn)為 Google 做出的決定是錯(cuò)誤的。OpenAI  做了非常好的賭注。

Harry Stebbings:

你認(rèn)為 OpenAI  做出的最佳賭注是什么？

Aidan Gomez:

毫無(wú)疑問(wèn)是規(guī)?；僭O(shè)。就是認(rèn)為規(guī)?；瘯?huì)持續(xù)下去，我們應(yīng)該繼續(xù)10 倍10 倍地增加投入。很多人不相信這一點(diǎn)，很多人對(duì)此持反對(duì)意見(jiàn)。他們認(rèn)為這是一個(gè)愚蠢而多余的追求。但他們有信念堅(jiān)持下來(lái)了。

Harry Stebbings:

你認(rèn)為在 AI 社區(qū)里，大家現(xiàn)在沒(méi)有談到的最大問(wèn)題是什么？在接下來(lái)的12到24個(gè)月里，我們應(yīng)該怎么看待這個(gè)問(wèn)題？

Aidan Gomez:

現(xiàn)在有一種說(shuō)法在傳播，說(shuō) AI 的發(fā)展已經(jīng)到了平臺(tái)期，沒(méi)有什么新的東西要來(lái)了，速度在放緩。

我真的認(rèn)為這是錯(cuò)誤的。不僅僅是從需要 10 倍計(jì)算能力的角度來(lái)看，而是從方法論的角度來(lái)看。

所以當(dāng)我談到推理者、規(guī)劃者以及能夠嘗試、失敗并從失敗中恢復(fù)的模型，以及能夠執(zhí)行需要很長(zhǎng)時(shí)間才能完成的任務(wù)的模型時(shí)，這些都是今天技術(shù)中還不存在的明顯能力。

我們還沒(méi)有來(lái)得及集中精力去實(shí)現(xiàn)這些能力，但在過(guò)去的一年多時(shí)間里，大家一直在關(guān)注這些問(wèn)題，這些能力很快就會(huì)準(zhǔn)備好投產(chǎn)。所以我們會(huì)看到這些能力的出現(xiàn)，這將是一個(gè)能力上的重大變化。

Harry Stebbings:

那么對(duì)于我來(lái)說(shuō)，作為 20VC 的投資者，現(xiàn)在的機(jī)會(huì)在哪里？

Aidan Gomez:

產(chǎn)品領(lǐng)域、應(yīng)用領(lǐng)域仍然非常有吸引力。這些技術(shù)將會(huì)帶來(lái)新的產(chǎn)品，它們將改變社交媒體。人們喜歡與這些模型交流，使用時(shí)間非常驚人。

Harry Stebbings:

你覺(jué)得這是件好事嗎， Aidan？你在一個(gè)非常健康自然的環(huán)境中長(zhǎng)大，你提到你的家庭，我相信你現(xiàn)在在英國(guó)見(jiàn)到他們的次數(shù)更多了。我不希望我的孩子生活在一個(gè)他們與生成式系統(tǒng)交流、模仿人類(lèi)的世界中。我不希望他們從與一個(gè)模型的對(duì)話(huà)中獲得滿(mǎn)足感。

Aidan Gomez:

你可能錯(cuò)了。你可能希望你的孩子能夠與一個(gè)極其富有同情心、非常聰明、知識(shí)淵博、安全的智能體交流，它可以教給他們東西，和他們一起玩，它不會(huì)對(duì)他們發(fā)脾氣，不會(huì)對(duì)他們發(fā)火，不會(huì)欺負(fù)他們，不會(huì)讓他們產(chǎn)生不安全感。

當(dāng)然，沒(méi)有任何東西能取代人類(lèi)。沒(méi)有什么可以取代人類(lèi)的世界，我們不會(huì)突然間全都開(kāi)始與 ChatBot 約會(huì)，導(dǎo)致人類(lèi)出生率下降。

我不認(rèn)為會(huì)發(fā)生這種情況，對(duì)吧？我想要一個(gè)孩子，我不能和一個(gè) ChatBot 一起生孩子。

人類(lèi)伴侶對(duì)我來(lái)說(shuō)比任何 ChatBot 都要寶貴得多。就像在職場(chǎng)中，我不認(rèn)為我們能夠完全取代人類(lèi)。AI 會(huì)增強(qiáng)人類(lèi)的能力，使人類(lèi)變得更加高效，但這并不意味著工作崗位會(huì)減少。

你無(wú)法取代人類(lèi)。想想銷(xiāo)售吧，如果我是由一個(gè)機(jī)器人推銷(xiāo)的，我是不會(huì)買(mǎi)的。就是這么簡(jiǎn)單，我不想和機(jī)器對(duì)話(huà)。

當(dāng)然，某些簡(jiǎn)單的購(gòu)買(mǎi)可能可以由機(jī)器人處理，但對(duì)于那些對(duì)我和我的公司來(lái)說(shuō)非常重要的購(gòu)買(mǎi)，我希望另一方是一個(gè)可以負(fù)責(zé)的真人。

如果出現(xiàn)問(wèn)題，我需要一個(gè)有權(quán)力進(jìn)行干預(yù)的人。所以我真的認(rèn)為，無(wú)論是在消費(fèi)端，我們是否會(huì)沉迷于與 ChatBot 對(duì)話(huà)，還是在工作端，工作將會(huì)消失，導(dǎo)致大規(guī)模失業(yè)，我都看不到這些情況發(fā)生。

Harry Stebbings:

總是有一種認(rèn)識(shí)，即新技術(shù)的采用總會(huì)帶來(lái)一些輕微的替代，這是正常的，但確實(shí)會(huì)看到某種形式的替代，但不會(huì)是全盤(pán)替代。

80%的人，像你看到的祖父母，他們現(xiàn)在看到計(jì)算機(jī)和電子郵件時(shí)可能會(huì)想，“我們整天都在做什么？這真是太瘋狂了?！彼晕彝耆?，但我確實(shí)擔(dān)心在較低層次的工作中，會(huì)有大量的客戶(hù)服務(wù)團(tuán)隊(duì)被取代。

Aidan Gomez:

肯定會(huì)有局部的替代發(fā)生。但總體上，這將是增長(zhǎng)，而不是替代。某些角色確實(shí)容易受到技術(shù)的影響，客戶(hù)支持就是其中之一。

但最終，仍然需要有人來(lái)做這些工作，只是數(shù)量可能會(huì)比今天少。但客戶(hù)支持是一個(gè)艱難的角色，這是一個(gè)心理上非常消耗人的工作。如果你曾經(jīng)聽(tīng)過(guò)那些電話(huà)錄音，你就會(huì)知道這是一份情感上非常消耗的工作。

Harry Stebbings:

是的，這有點(diǎn)像社交媒體平臺(tái)上的內(nèi)容審核，那在很多方面也是一種心理創(chuàng)傷。

Aidan Gomez:

每天你醒來(lái)，去工作，整天被人罵，還得道歉。所以，也許我們應(yīng)該讓模型處理這些對(duì)話(huà)，而讓人類(lèi)來(lái)處理那些真正需要人類(lèi)幫助的客戶(hù)支持問(wèn)題，比如說(shuō)，解決某個(gè)問(wèn)題，沒(méi)有情緒化的抱怨，而是有機(jī)會(huì)讓這個(gè)人的生活變得更好。

Harry Stebbings:

你認(rèn)為 AI 今天還不能做什么，但在三年內(nèi)將會(huì)成為現(xiàn)實(shí)并帶來(lái)巨大變革？

Aidan Gomez:

AI 的下一個(gè)大突破將出現(xiàn)在機(jī)器人領(lǐng)域。成本需要降低，但成本已經(jīng)在下降。然后我們需要更強(qiáng)大的模型。

Harry Stebbings:

為什么你認(rèn)為機(jī)器人領(lǐng)域?qū)?huì)有大的突破？

Aidan Gomez:

因?yàn)楹芏嗾系K已經(jīng)消失了。之前機(jī)器人的推理者和規(guī)劃者（背后的軟件）非常脆弱，你必須為每個(gè)任務(wù)編程，它們被硬編碼到特定的環(huán)境中。

所以你必須有一個(gè)布局完全一致的廚房，尺寸相同，沒(méi)有任何不同的地方，這非常脆弱。但在研究方面，通過(guò)使用基礎(chǔ)模型、語(yǔ)言模型，人們實(shí)際上開(kāi)發(fā)出了更好的規(guī)劃者，它們能夠更自然地推理世界。

所以已經(jīng)有很多公司在研究這方面，可能很快就會(huì)有人破解通用人形機(jī)器人的難題，使其價(jià)格便宜且更加穩(wěn)定。

這將會(huì)是一個(gè)巨大的轉(zhuǎn)變。我不知道這是在未來(lái)五年內(nèi)發(fā)生，還是十年內(nèi)發(fā)生，但它肯定會(huì)在這個(gè)時(shí)間范圍內(nèi)出現(xiàn)。

Harry Stebbings:

今天和你聊天真的很有意思。我想進(jìn)行一個(gè)快問(wèn)快答，我給出一個(gè)陳述，你立刻給出你的想法，這樣可以嗎？

Aidan Gomez:

好啊，讓我們開(kāi)始吧。

Harry Stebbings:

在過(guò)去的 12 個(gè)月里，你對(duì)什么改變了最大的看法？

Aidan Gomez:

數(shù)據(jù)的重要性。我嚴(yán)重低估了它。我曾經(jīng)認(rèn)為一切都在于規(guī)模化，但在 Cohere 內(nèi)部發(fā)生的許多事情徹底改變了我對(duì)構(gòu)建這項(xiàng)技術(shù)的重要性因素的理解。

數(shù)據(jù)質(zhì)量至關(guān)重要。質(zhì)量，比如在數(shù)十億個(gè)數(shù)據(jù)點(diǎn)中，一個(gè)錯(cuò)誤的例子就能對(duì)模型產(chǎn)生顯著影響。這有點(diǎn)不真實(shí)，模型對(duì)數(shù)據(jù)的敏感性是如此之高，每個(gè)人都低估了這一點(diǎn)。

Harry Stebbings:

你們現(xiàn)在籌集了多少錢(qián)？

Aidan Gomez:

總共大約 10 億美元。

Harry Stebbings:

籌集資金最容易的一輪是哪一輪？

Aidan Gomez:

是的，那有點(diǎn)像是一場(chǎng)對(duì)話(huà)，然后他們說(shuō)，“這是幾百萬(wàn)美元，去試試看吧?！彼阅且惠喛赡苁亲钊菀椎?。當(dāng)你試圖籌集 5 億美元時(shí)，情況就復(fù)雜得多了。

Harry Stebbings:

當(dāng)你看到賬戶(hù)里有 5 億美元到賬時(shí)，你會(huì)不會(huì)覺(jué)得有點(diǎn)不真實(shí)？因?yàn)槲夜芾砘鸬臅r(shí)候，我們會(huì)收到資本調(diào)用的通知，所以這不是一次性得到 5 億美元，而是分幾年逐步到賬。

Aidan Gomez:

是的，你會(huì)覺(jué)得有點(diǎn)不真實(shí)，而且利息非常可觀。但的確，我有時(shí)會(huì)感到驚訝。我不是那種還在為 2500 萬(wàn)美元而煩惱的人。我不清楚確切的數(shù)字，但這是一個(gè)很大的數(shù)目。

確實(shí)，Cohere 讓我在經(jīng)濟(jì)和金錢(qián)方面的思維方式有些扭曲了。相比我的競(jìng)爭(zhēng)對(duì)手，這似乎不算多，對(duì)吧？

Harry Stebbings:

這會(huì)讓你擔(dān)心嗎？

Aidan Gomez:

不會(huì)，我的意思是，這是我們戰(zhàn)略的一部分。如果我們想要拿下某個(gè)交易，我們可以去拿，但我們的戰(zhàn)略是追求獨(dú)立性，自己來(lái)做這件事。

Harry Stebbings:

如果你能選擇世界上任何一個(gè)董事會(huì)成員，你會(huì)選擇誰(shuí)，為什么選擇他們？

Aidan Gomez:

我會(huì)選擇 Mike Volpi 和 Jordan Jacobs，他們是我現(xiàn)在的董事會(huì)成員。

Harry Stebbings:

為什么 Mike 是如此出色的董事會(huì)成員？很多人都這么說(shuō)。

Aidan Gomez:

是的，Mike 確實(shí)非常出色。他給人的感覺(jué)是，他之前已經(jīng)見(jiàn)過(guò)所有問(wèn)題。我可以帶著任何問(wèn)題去找他，而他通常已經(jīng)遇到過(guò)三次類(lèi)似的情況。

第一次是這樣的，第二次是那樣的，第三次又是那樣的。他總是有非常豐富的經(jīng)驗(yàn)和建議。

Harry Stebbings:

Jeff Hinton 和 Yann LeCun 更偏向哪一個(gè)？

Aidan Gomez:

我和 Jeff 個(gè)人關(guān)系更緊密，當(dāng)然更傾向于他。Yann的觀點(diǎn)太樂(lè)觀了。不，我在許多關(guān)于 AI 的看法上和 Yann 更為一致。

所以 Jeff 是那種非常末日預(yù)言者類(lèi)型的，認(rèn)為這項(xiàng)技術(shù)會(huì)毀滅世界，而 Yann 則更樂(lè)觀一些，而我在這一點(diǎn)上與他更一致。不幸的是，Yann最近有點(diǎn)像是 Elon Musk 的“回復(fù)哥”。

我覺(jué)得 Jeff 就像我的聯(lián)合創(chuàng)始人 Nick，他和 Jeff 關(guān)系非常緊密，他們每周一都會(huì)一起下棋。Jeff 非常聰明，極具智慧和深思熟慮，他是一個(gè)非常深刻的思想家。你們現(xiàn)在在倫敦有團(tuán)隊(duì)，你也住在倫敦？

Harry Stebbings:

每個(gè)人都在談?wù)摎W洲的衰落。我和 Founders Fund 的 Daly 聊過(guò)，他說(shuō)西歐可能很快就會(huì)成為第三世界國(guó)家的集合體，負(fù)面情緒很強(qiáng)烈?，F(xiàn)在在倫敦和歐洲建立出色的工程研究團(tuán)隊(duì)，你的感受如何？

Aidan Gomez:

英國(guó)在歐洲的表現(xiàn)很突出，這里有一種技術(shù)樂(lè)觀精神，人們?cè)敢馔顿Y并做出必要的改變來(lái)支持生態(tài)系統(tǒng)的發(fā)展。

在歐洲大陸，我的媽媽是英國(guó)人，爸爸是西班牙人，我擁有雙重國(guó)籍，所以我對(duì)這里也很了解，夏天我會(huì)在這里度過(guò)，家人也在這里。

不幸的是，這里的文化對(duì)技術(shù)非常不友好，解決技術(shù)問(wèn)題的辦法在歐洲人的觀念中就是監(jiān)管。

不過(guò)，壓力正在促使變化發(fā)生，法國(guó)在歐洲舞臺(tái)上變得更加雄心勃勃，并在全球舞臺(tái)上發(fā)出更大的聲音，說(shuō)我們需要更加進(jìn)步。這可能需要十年時(shí)間。

Harry Stebbings:

在過(guò)去，沒(méi)有遠(yuǎn)程辦公。

Aidan Gomez:

Cohere 是在疫情期間誕生的，所以我們完全是遠(yuǎn)程辦公。我們遍布各地，雖然并不是完全遠(yuǎn)程，我們?cè)诙鄠惗?、倫敦、紐約和舊金山都有辦公室。

這些地方確實(shí)是公司的核心。人們每天都會(huì)到辦公室。面對(duì)面的工作效率提升是無(wú)法量化的。

Harry Stebbings:

你從來(lái)沒(méi)有被問(wèn)過(guò)的問(wèn)題是什么？你認(rèn)為應(yīng)該被問(wèn)到的問(wèn)題是什么？最后一個(gè)問(wèn)題。

Aidan Gomez:

人們應(yīng)該問(wèn)“你希望事情發(fā)展到哪里？”我經(jīng)常被問(wèn)到“事情會(huì)發(fā)展到哪里？”也經(jīng)常被問(wèn)到關(guān)于技術(shù)的潛在風(fēng)險(xiǎn)。人們?cè)谡劦?AI 時(shí)，腦海中充滿(mǎn)了恐懼，但對(duì)我們所擁有的機(jī)會(huì)討論卻很少。人們不太談?wù)撨@個(gè)。

Harry Stebbings:

你希望它發(fā)展到哪里？

Aidan Gomez:

世界的資源供應(yīng)非常有限。我們今天享有的幾乎所有奢侈品都來(lái)自于技術(shù)的進(jìn)步，這些技術(shù)提高了生產(chǎn)力，增加了供應(yīng)，使得事物更加豐富、更便宜。

所以我真正關(guān)心的是利用這項(xiàng)技術(shù)推動(dòng)世界的生產(chǎn)力，提高人類(lèi)的效率，能夠做更多的事情。我覺(jué)得生產(chǎn)力這個(gè)話(huà)題非常不性感，太被低估了。

Harry Stebbings:

確實(shí)如此，但如果你將 5% 的生產(chǎn)力提升應(yīng)用到國(guó)家衛(wèi)生服務(wù)體系，這對(duì)國(guó)家狀況、國(guó)家預(yù)算和醫(yī)療保健將會(huì)產(chǎn)生巨大影響，可能影響到數(shù)百萬(wàn)人的生活。

Aidan Gomez:

是的。在加拿大，實(shí)際 GDP 并沒(méi)有真正增加。有人稱(chēng)這是“失落的十年”，因?yàn)槿藗儾](méi)有變得更富有，物品也沒(méi)有變得更豐富，你十年間無(wú)法負(fù)擔(dān)更多東西。

這種停滯會(huì)導(dǎo)致很多社會(huì)動(dòng)蕩，當(dāng)經(jīng)濟(jì)增長(zhǎng)停滯時(shí)，人們會(huì)為了爭(zhēng)奪有限的資源而爭(zhēng)斗。這種動(dòng)態(tài)真的讓我很擔(dān)憂(yōu)。我們作為社會(huì)的優(yōu)先事項(xiàng)應(yīng)該是提高生產(chǎn)力和促進(jìn)增長(zhǎng)。