吳恩達(dá)（Andrew Ng）與ARK Invest的首席投資策略師Charlie Roberts和首席未來學(xué)家Brett Winton進(jìn)行了一次深入的對談，分享了他對Agent Systems和開源技術(shù)的深刻見解。吳恩達(dá)對Agent Systems持有高度信心，并認(rèn)為開源技術(shù)在推動(dòng)技術(shù)進(jìn)步中具有巨大潛力。

近日，吳恩達(dá)（Andrew Ng）與 ARK Invest 首席投資策略師 Charlie Roberts 以及首席未來學(xué)家 Brett Winton 展開了一次對談，吳恩達(dá)分享了關(guān)于 Agent Systems 和開源技術(shù)的一些極具啟發(fā)性的觀點(diǎn)。

吳恩達(dá)表示，他對 Agent Systems 的高度信心，認(rèn)為這些系統(tǒng)不僅已經(jīng)出現(xiàn)，而且在技術(shù)層面幾乎沒有太多的風(fēng)險(xiǎn)，主要挑戰(zhàn)在于如何有效執(zhí)行。

此外，他認(rèn)為開源所帶來的優(yōu)勢遠(yuǎn)遠(yuǎn)超越了潛在的風(fēng)險(xiǎn)，引用 GPT-2 的例子來說明，即使當(dāng)初被認(rèn)為太危險(xiǎn)而無法公開的技術(shù)，如今卻被廣泛應(yīng)用，證明了開源在推動(dòng)技術(shù)進(jìn)步中的巨大潛力。

吳恩達(dá)還特別強(qiáng)調(diào)了分銷渠道在 AI 系統(tǒng)部署中的關(guān)鍵作用。他指出，擁有強(qiáng)大的分銷渠道不僅能夠加速系統(tǒng)的發(fā)布，還能在實(shí)際應(yīng)用中快速驗(yàn)證和改進(jìn)這些系統(tǒng)，這對于 AI 技術(shù)在商業(yè)化進(jìn)程中的競爭優(yōu)勢至關(guān)重要，也預(yù)示著在未來，渠道的有效性可能會成為決定 AI 技術(shù)成敗的關(guān)鍵因素。

ARK 預(yù)測，到 2030 年 AI 軟件將會是一個(gè) 13 萬億美元的收入市場，相比之下，但今天的整個(gè) IT 支出大約為 4～5 萬億美元。

吳恩達(dá)最新 Snowflake DevDay 演講：除了下一代基礎(chǔ)模型，Agent 工作流如何推動(dòng)更多 AI 進(jìn)步？

吳恩達(dá)紅杉美國 AI 峰會談 Agent Workflow 以及 4 種主流設(shè)計(jì)模式，相比 LLM 更強(qiáng)調(diào)迭代與對話。

以下為這次對話的主要內(nèi)容：

Charlie Roberts

Andrew 是 AI 領(lǐng)域最具影響力的研究人員和教育家之一，他在多個(gè)高調(diào)的角色中都取得了巨大成就，如 Google Brain 的聯(lián)合創(chuàng)始人和領(lǐng)導(dǎo)者、百度的首席科學(xué)家、 Coursera 的聯(lián)合創(chuàng)始人，以及在 Coursera 上教授了許多最受歡迎的課程，同時(shí)還是 AI Fund 和LandingAI 等多家公司的聯(lián)合創(chuàng)始人和董事。

我覺得最讓我感動(dòng)的數(shù)據(jù)是你告訴我，全球每千人中就有一人參加過你的 AI 課程，這對整個(gè)社區(qū)和生態(tài)系統(tǒng)來說都是一個(gè)巨大的貢獻(xiàn)，真是令人鼓舞。所以，我很高興能夠與你討論 AI 的未來和其他相關(guān)話題。

Brett Winton

非常高興見到你，我想或許可以請你從概述一下你對當(dāng)前 AI 發(fā)展階段的看法開始。關(guān)于 AI 的討論很多，其實(shí)已經(jīng)有一段時(shí)間了。

有人說 AI 遇到了瓶頸，或者我們在性能上的進(jìn)步不會帶來實(shí)際的生產(chǎn)力提升。你怎么看目前 AI 的能力和未來的發(fā)展軌跡？你如何評估這個(gè)問題？

Andrew Ng

在過去的 10～15 年里，總有少數(shù)聲音在說 AI 遇到了瓶頸，我覺得這些說法一次又一次地被證明是錯(cuò)誤的。我們距離碰到瓶頸還很遠(yuǎn)，我甚至驚訝有人在這個(gè)時(shí)候會認(rèn)真這么說。

AI 是一種通用技術(shù)，它的發(fā)展已經(jīng)非常迅速，現(xiàn)在有一些新的突破即將出現(xiàn)，未來我們將看到 AI 在多個(gè)領(lǐng)域的應(yīng)用快速增長。

目前，大家對生成式 AI 和 LLM 非常關(guān)注，我們已經(jīng)能夠讓這些模型完成的任務(wù)，遠(yuǎn)遠(yuǎn)超過了目前已經(jīng)部署的內(nèi)容。很明顯，更多的推理能力、更多的 GPU 或其他類型的硬件是將更多 AI 推向世界的瓶頸，這個(gè)問題我們知道將會得到解決。

為了供應(yīng)鏈、 GPU 和其他硬件的供應(yīng)，有非常強(qiáng)的經(jīng)濟(jì)動(dòng)機(jī)來解決這個(gè)問題。因此，即使 AI 不再發(fā)明任何新技術(shù)，在未來幾年中 AI 的部署量仍會大幅增加。

當(dāng)然，更好的消息是，還有更多的新技術(shù)正在研發(fā)中，并將疊加在現(xiàn)有技術(shù)之上，推動(dòng)未來更多的應(yīng)用。

Brett Winton

總結(jié)一下，你的意思是我們現(xiàn)在擁有的能力實(shí)際上還沒有真正進(jìn)入商業(yè)市場，所以僅僅通過部署這些能力就能帶來大量的生產(chǎn)力提升。此外，在技術(shù)架構(gòu)方面的改進(jìn)還會進(jìn)一步提升能力，這是正確的理解方式嗎？

Andrew Ng

是的，事實(shí)上，我與一些有想法甚至是已經(jīng)開發(fā)出原型的人交談過，他們希望通過 AI 實(shí)現(xiàn)顯著的投資回報(bào)率，但由于各種原因，他們無法獲取 GPU ，或者成本有點(diǎn)高，或者他們沒有足夠的軟件工程師來實(shí)現(xiàn)這些想法，所以這些項(xiàng)目還沒有真正落實(shí)。

因此，已經(jīng)有很多經(jīng)過驗(yàn)證的想法可以帶來顯著的投資回報(bào)率，但由于硬件限制或其他原因，這些項(xiàng)目還沒有被部署。我百分之百相信，未來一到兩年內(nèi)，這些問題將會得到解決，這就是為什么我對未來將有更多有價(jià)值的 AI 項(xiàng)目感到非常有信心。問題在于如何獲取和部署 GPU ，以及解決供應(yīng)鏈問題。

一旦這些問題得到解決，更多的項(xiàng)目將會落地。我對即將到來的技術(shù)感到非常興奮，比如 AI Agent 或我們稱之為 Agentic Workflow 的技術(shù)?，F(xiàn)在很多人使用的 LLM 的方式是，你輸入一個(gè)提示，它輸出一個(gè)結(jié)果，然后就結(jié)束了。這就像讓一個(gè)人寫一篇文章，但要求他一次性完成，不允許使用退格鍵。

當(dāng)然，人們可以這樣寫作，但我們最好的寫作并不是這樣完成的。我們更傾向于使用迭代的工作流程，比如在線寫作，先寫一個(gè)初稿，然后進(jìn)行編輯、研究等等，這是一個(gè)更加迭代的過程，可以幫助人們交付更好的工作成果。Agentic Workflow 也類似，它能顯著提高很多 AI 應(yīng)用的準(zhǔn)確性。

當(dāng)然， Agentic Workflow 的一個(gè)瓶頸是我們需要更快的推理能力，因?yàn)槟阈枰啻握{(diào)用它，反復(fù)迭代產(chǎn)品。然而，許多人正在努力解決這個(gè)問題，我非常有信心，隨著更好的硬件上線，這些工作將會得到更大的改進(jìn)，不僅在 AI 訓(xùn)練方面，而且在 AI 推理方面，更多的工作將會完成。

我受到你們的報(bào)告的啟發(fā)，其中你們估計(jì)訓(xùn)練成本每年下降 75%，推理成本每年下降 86%。雖然我不確定這些確切的數(shù)字是否準(zhǔn)確，但我確實(shí)看到成本在迅速下降，這對于進(jìn)一步的創(chuàng)新是非常有利的。訓(xùn)練和推理成本的下降將會推動(dòng)更多的應(yīng)用。

Brett Winton

是的，我們的基本觀點(diǎn)是，不僅成本在下降，還有大量投資資金涌入，因此你將成本下降和投資資金相結(jié)合，最終在兩到三年內(nèi)預(yù)期能力提升一百倍甚至一千倍。

你認(rèn)同像 John Locond 所說的那樣，系統(tǒng)在運(yùn)行時(shí)會有一定的錯(cuò)誤率，即使是 Agent Systems ，這個(gè)錯(cuò)誤率會隨著時(shí)間的推移而累積，實(shí)際上你正在處理的工作流程越長，生產(chǎn)力就越會受到影響，因?yàn)殄e(cuò)誤在累積。

你認(rèn)為在當(dāng)前的架構(gòu)下，這個(gè)問題是可以克服的嗎？還是我們需要新的架構(gòu)來讓 Agentic Workflow 真正穩(wěn)定地工作？

Andrew Ng

如果你在做開放式工作流，那么是的，每一步都需要完美無缺，但是一旦你實(shí)現(xiàn)了 Agentic Workflow ，你就可以回顧步驟并修復(fù)錯(cuò)誤，那么累積問題就會大大改善。舉個(gè)例子，我曾經(jīng)設(shè)定了一個(gè)非常簡單的 Agent 來進(jìn)行在線研究，它的任務(wù)是撰寫一份報(bào)告。

我記得我在斯坦福大學(xué)做現(xiàn)場演示時(shí)，由于某些原因，那個(gè)時(shí)候調(diào)用的網(wǎng)絡(luò)搜索失敗了，我當(dāng)時(shí)心想“糟糕，演示要失敗了”，但出乎我意料的是， Agent 說“網(wǎng)絡(luò)搜索失敗了，讓我用維基百科搜索代替吧”，而我完全忘了我還給它設(shè)置了維基百科搜索的備用方案。所以， Agent 在面對失敗時(shí)能夠自主切換到備用方案，演示仍然成功了。

Agentic Workflow 雖然不是魔法，也會犯錯(cuò)，但它們有能力在出錯(cuò)時(shí)回顧并修復(fù)，這使得系統(tǒng)更加穩(wěn)健。我不想過分類比 AI 和人類，它們有很大不同，但就像人類一樣，我們在做事情時(shí)第一次可能不會成功，但我們有反思和修復(fù)的能力，這使得人類在執(zhí)行任務(wù)時(shí)更加穩(wěn)健。AI Agent 也能夠做到這一點(diǎn)。

Brett Winton

你認(rèn)為要實(shí)現(xiàn)真正的 Agentic Workflow ，我們是否需要一個(gè)像 Transformer 那樣的架構(gòu)級別的改進(jìn)？還是說可能通過有效結(jié)合現(xiàn)有的工具，比如 LLM，加上強(qiáng)化學(xué)習(xí)，甚至可能再加上擴(kuò)散模型，已經(jīng)足夠了？你覺得目前這些工具能幫助我們實(shí)現(xiàn)這一目標(biāo)嗎？

Andrew Ng

Agentic Workflow 在現(xiàn)有的 Transformer 模型下已經(jīng)工作得很好了。我知道有研究人員在探索 Transformer 替代模型，這些模型很有前景，值得進(jìn)一步研究和測試。雖然擁有更好的模型會很棒，但我并不認(rèn)為這是絕對必要的。

然而，有一個(gè)方面被低估了，那就是快速推理和快速生成控制的能力。直到最近，很多大公司都在花費(fèi)巨額預(yù)算購買 GPU 用于訓(xùn)練，這很好，因?yàn)樗鼮槲覀儙砹舜笠?guī)模的基礎(chǔ)模型，包括專有和開源的模型。

但我發(fā)現(xiàn)，快速推理的能力正成為許多應(yīng)用的瓶頸。當(dāng) Meta 發(fā)布 Llama 3 70B 模型時(shí)，這是一個(gè)非常出色的開源模型，如果我們能將推理速度提高 10 倍，我們就能讓這些 Agentic Workflow 運(yùn)行得更快。

對于人類來說，閱讀速度大約是每秒 6 個(gè) token ，所以你不需要生成比每秒 6 個(gè) token 更快的內(nèi)容。但對于 Agentic Workflow 和 AI ，可能需要草擬草稿并修復(fù)錯(cuò)誤，這意味著它需要生成大量的 token ，可能需要在人工干預(yù)之前完成大量工作。

有時(shí)， Agentic Workflow 可能需要花費(fèi) 25 分鐘的時(shí)間來處理工作，如果我們能將這 25 分鐘的處理時(shí)間壓縮到2分鐘，這將是一個(gè)改變游戲規(guī)則的突破。

這會顯著改變客戶體驗(yàn)，從20到25分鐘縮短到1到2分鐘，因此在快速生成 token 方面還有很多工作要做，這將有助于推動(dòng)下一波 AI 的應(yīng)用。

Brett Winton

這些工作與訓(xùn)練密切相關(guān)，對吧？AI 推理和訓(xùn)練中的一個(gè)有趣動(dòng)態(tài)是，如果我在系統(tǒng)上投入更多的訓(xùn)練資金，像 Meta 正在做的那樣，我可以將更多的信息壓縮到一個(gè)更小的參數(shù)模型中，從而可以更快、更便宜地運(yùn)行。

這使得性能提升和成本下降同時(shí)發(fā)生，這就是一個(gè)有趣的動(dòng)態(tài)，這取決于你在訓(xùn)練計(jì)算上投入了多少資金。

Andrew Ng

是的，這些都會有所幫助。即使你使用一個(gè)大型模型，比如一些商用網(wǎng)站上的 LLM 可能每秒生成 10 個(gè) token 左右，這個(gè)速度已經(jīng)非?？炝?。

我們大多數(shù)人每秒閱讀大約 6 個(gè) token ，所以每秒 6～10 個(gè) token 的速度已經(jīng)足夠了。雖然模型不同，但我們可以生成更多的 token ，而且有些公司也在生成每秒數(shù)百個(gè) token 的內(nèi)容。還有一些公司在私下里分享說，他們也在開發(fā)便宜且超快的 token 生成技術(shù)。

這些公司的工作將解鎖許多新的能力，而這種超快的 token 生成技術(shù)，每秒超過100個(gè) token 對于大模型來說是非常重要的，這讓我們能夠做出非常復(fù)雜的事情。我實(shí)際上很高興看到更多的半導(dǎo)體制造商認(rèn)真對待推理，因?yàn)橥评憩F(xiàn)在是很多應(yīng)用的瓶頸。

另一個(gè)有趣的現(xiàn)象是，一些大公司完全合理地投資了 GPU 基礎(chǔ)設(shè)施用于訓(xùn)練，他們擁有非常出色的 GPU 團(tuán)隊(duì)，建立了卓越的訓(xùn)練基礎(chǔ)設(shè)施，然而，這些團(tuán)隊(duì)也傾向于說“我們已經(jīng)建立了最佳的訓(xùn)練基礎(chǔ)設(shè)施，那么我們也來建立推理基礎(chǔ)設(shè)施吧”，因?yàn)樗麄冊谟?xùn)練方面做得很好，所以自然就去做推理了。

但是，我們現(xiàn)在應(yīng)該認(rèn)真思考，訓(xùn)練和推理基礎(chǔ)設(shè)施是否應(yīng)該是同一套基礎(chǔ)設(shè)施？還是說它們之間有足夠的差異，甚至需要新的架構(gòu)？這是一個(gè)值得討論的問題。

Brett Winton

當(dāng)然，如果是在終端設(shè)備上，它們肯定是不同的，對吧？例如，如果我要在特斯拉車輛中安裝芯片，這就是完全不同的架構(gòu)棧了。你可以辯稱，從消費(fèi)者的實(shí)用性角度來看，有很多令人信服的理由說明為什么有些甚至大部分的處理應(yīng)該轉(zhuǎn)移到終端設(shè)備上。

Andrew Ng

是的，在設(shè)備上的確如此，即使是在云端，訓(xùn)練和推理工作流之間也存在足夠的差異，這值得我們從架構(gòu)和軟件堆棧的角度進(jìn)行思考。

Brett Winton

Andrew ，在教學(xué)方面，你的一大貢獻(xiàn)之一就是強(qiáng)調(diào)人們和開發(fā)人員在學(xué)習(xí)機(jī)器學(xué)習(xí)時(shí)需要關(guān)注 MLOps ，不僅是研究方面，還有實(shí)際應(yīng)用。我想知道，在 MLOps 中，你是否看到未來有可能將推理與訓(xùn)練分開進(jìn)行的趨勢？

Andrew Ng

是的，因?yàn)?LLM 應(yīng)用還是很新，所以 LLM Ops這個(gè)領(lǐng)域還在探索階段，如何構(gòu)建、部署和維護(hù) LLM 仍然是一個(gè)相對新的領(lǐng)域。

AI 堆棧正在發(fā)生巨大變化，云服務(wù)提供商正在推出有趣的編排層，比如 Harrison Chase 在 LangChain 上做得很好，Jerry Liu 在 LlamaIndex 上也做得很好，這些都是編排層。

還有其他應(yīng)用程序構(gòu)建在這些基礎(chǔ)之上，另一個(gè)即將出現(xiàn)的有趣框架是 Agentic Framework，這可能是另一種編排層。

我花了很多時(shí)間在應(yīng)用層，因?yàn)槲野l(fā)現(xiàn)有很多機(jī)會，比如在 AI Fund，我們與企業(yè)合作，他們帶給我們很多用例，我們環(huán)顧四周，發(fā)現(xiàn)幾乎沒有競爭對手。這說明在應(yīng)用層面仍然有很多新機(jī)會，而且競爭沒有基礎(chǔ)模型層那么激烈。

Brett Winton

對于那些應(yīng)用層面的公司，他們?nèi)绾嗡伎甲约航尤氲牡讓幽Ｐ?，比如基礎(chǔ)模型？他們是選擇使用現(xiàn)成的 GPT-4 ，還是會設(shè)計(jì)成能夠切換到另一個(gè)基礎(chǔ)模型？或者他們會對 Llama 進(jìn)行微調(diào)？你怎么看待應(yīng)用層面在競爭中的策略，以及它將如何影響底層堆棧的競爭？

Andrew Ng

這個(gè)領(lǐng)域變化非?？?。在很多項(xiàng)目的初始階段，團(tuán)隊(duì)往往會使用 GPT-4 ，最近幾周， Llama 3 變得越來越有競爭力，我聽到很多團(tuán)隊(duì)使用 GPT-4 ，這在當(dāng)前是最常見的選擇。

但一個(gè)瓶頸是評估，開發(fā)成本和時(shí)間比以前大大縮短，你可以在一天內(nèi)構(gòu)建出一個(gè)有吸引力的應(yīng)用程序，但評估可能需要花費(fèi)更多的時(shí)間，這使得人們不太愿意切換模型。

如果你開始使用 GPT-4 ，但無法有效評估其他模型，你可能會繼續(xù)使用最初的選擇。但我看到很多人正在努力開發(fā)更好的評估工具，以便更高效地比較不同的模型。

Brett Winton

我們對 Claude 的發(fā)展感到非常興奮， Claude 是我們從風(fēng)險(xiǎn)投資基金中最早投資的公司之一，我們與公司保持密切聯(lián)系，非常看好它的前景。

您對當(dāng)前關(guān)于開源的討論有何看法？這似乎是一個(gè)非常兩極化的討論，尤其是在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域，許多人對這個(gè)問題有非常強(qiáng)烈的看法。

Andrew Ng

開源非常重要，我們應(yīng)該盡力推動(dòng)開源，因?yàn)樗鼤屖澜缱兊酶?。我對去年反對開源的強(qiáng)烈游說活動(dòng)感到非常驚訝，這些活動(dòng)實(shí)際上會扼殺美國的創(chuàng)新，也會壓制全球的創(chuàng)新。

你可以理解，當(dāng)有人在大規(guī)模訓(xùn)練基礎(chǔ)模型上投入了數(shù)十億美元，然后發(fā)現(xiàn)其他人通過開源稀釋了這些昂貴投資的價(jià)值，這讓他們感到非常沮喪。游說活動(dòng)開始時(shí)的主要論點(diǎn)是 AI 可能會失控并關(guān)閉系統(tǒng)，這一論點(diǎn)在華盛頓特區(qū)失去了信譽(yù)。

游說者沒有放棄，他們轉(zhuǎn)而聲稱 AI 可能會被用來制造生物武器，但隨后出現(xiàn)了報(bào)告顯示， AI 并不比電子表格更容易被用來制造生物武器。

AI 不太可能制造生物武器的恐懼并沒有得到證實(shí)，這讓生物武器的論點(diǎn)失去了很大一部分信譽(yù)。

然而，游說者沒有放棄，他們現(xiàn)在的論點(diǎn)是國家安全問題，認(rèn)為開源可能會讓歐洲競爭對手受益。我對這些游說活動(dòng)的力度感到驚訝，他們不斷改變論點(diǎn)以推動(dòng)關(guān)閉開源的議程。

開源是全球 AI 技術(shù)供應(yīng)鏈的一部分，它反映了各國的價(jià)值觀。例如，很多國家使用 Google Docs ，而 Google Docs 在共享文檔時(shí)非常容易，但它在鎖定文檔時(shí)相對較難。這反映了 Google 內(nèi)部開放的文化。

而 iMessage 的端到端加密則反映了注重隱私的價(jià)值觀。每個(gè)國家的技術(shù)往往會反映其價(jià)值觀，如果民主國家不參與 AI 的供應(yīng)鏈，那么其他國家將會填補(bǔ)這一空白。

Brett Winton

撇開對開源的監(jiān)管壓力不談，你認(rèn)為在未來的狀態(tài)下， Meta 投下數(shù)十億美元訓(xùn)練這些模型并將其公開發(fā)布的努力，是否會削弱封閉的 LLM 基礎(chǔ)模型類玩家的經(jīng)濟(jì)效益？這是否會對 OpenAI 和 Anthropic 等公司的商業(yè)盈利能力構(gòu)成威脅？

Andrew Ng

目前，在基礎(chǔ)模型層面確實(shí)存在挑戰(zhàn)。根據(jù)你們的報(bào)告，成本每年下降 75%，這使得保持領(lǐng)先地位變得非常困難。

令人沮喪的是，你可能花費(fèi)了 1 億美元來訓(xùn)練一個(gè)模型，但一年后，競爭對手只需要 2500 萬美元就能做到，接著再過一年，這個(gè)成本可能又會下降四分之一。那么這種情況下的動(dòng)力在哪里呢？

不僅僅是純粹的基礎(chǔ)模型層面，其他層面可能會有所不同，也許對消費(fèi)者來說會有所變化。今天來看， LLM 的成本優(yōu)勢非常明顯，或許有些問題需要重新審視，但變化不大。

我們會看到這些技術(shù)的進(jìn)一步發(fā)展，未來可能會有其他技術(shù)組件來增強(qiáng)基礎(chǔ)模型的競爭力。如果只看基礎(chǔ)模型，而沒有其他內(nèi)容，我不知道這種模式能有多大的護(hù)城河。

Brett Winton

你認(rèn)為 Meta 之所以能夠進(jìn)入這個(gè)領(lǐng)域，是因?yàn)樵?ChatGPT 推出之前，團(tuán)隊(duì)樂于公開他們的研究成果，他們會說“這是我們的配方，這是我們構(gòu)建它的方法”，有一種公開的精神。即使模型是封閉的，它們也是出于安全原因而封閉的，并且共享了架構(gòu)和方法。

隨著 GPT-4 的推出，情況發(fā)生了變化，現(xiàn)在人們不再愿意公開分享他們的方法。所以，是否有更多的機(jī)會讓團(tuán)隊(duì)之間的性能差異更加明顯，因?yàn)楝F(xiàn)在這些配方不再公開共享了？

Andrew Ng

各個(gè)公司之間的人才流動(dòng)和想法傳播仍然很強(qiáng)烈，因此很難長期保守住秘密。你可能會在短期內(nèi)獲得一些優(yōu)勢，但長期來看，防御性的作用不大。

我看到的情況是，在大科技公司之間的競爭中，尤其是在 AI 和云業(yè)務(wù)方面，確實(shí)可以獲得短期優(yōu)勢，但長期優(yōu)勢我不確定能否持續(xù)。

你提到人們以安全的名義保守秘密，這確實(shí)很有趣。在過去的十年中，每當(dāng)有人說“我的技術(shù)太危險(xiǎn)了，我要保密”時(shí)，通常過了一兩年，類似的技術(shù)就被開源了，而且?guī)淼暮锰庍h(yuǎn)遠(yuǎn)超過了潛在的危害。

我并不是說沒有危害存在，確實(shí)有一些不良分子利用開源技術(shù)，但總體上，每當(dāng)有人說“我的技術(shù)太危險(xiǎn)了”，通常過不了多久就會有開源版本出現(xiàn)，而開源帶來的好處遠(yuǎn)遠(yuǎn)超過了潛在的危害。

以 Llama 3 為例，最初的版本有一個(gè)有限的上下文窗口長度，但因?yàn)樗情_源的，現(xiàn)在開發(fā)者已經(jīng)修改了 Llama 3，擴(kuò)展了它的上下文窗口長度。我們無法在封閉模型中實(shí)現(xiàn)這一點(diǎn)。所以開源創(chuàng)新的力量非常強(qiáng)大。我們現(xiàn)在能夠以非常低的成本提供這種恐懼感，這是開源帶來了大量的創(chuàng)新。

Brett Winton

Llama 開源的商業(yè)邏輯并不神秘。實(shí)際上，我看到 Meta 在開發(fā) PyTorch 時(shí)也采取了類似的策略。Meta 意識到自己需要一個(gè)開源的平臺來構(gòu)建業(yè)務(wù)，而不是依賴于競爭對手的專有平臺，比如 TensorFlow 。

Andrew Ng

是的， Meta 對依賴其他平臺的敏感性并不令人意外。例如，當(dāng) iOS 更改其隱私規(guī)則時(shí)，這會影響 Meta 的業(yè)務(wù)，因?yàn)?iOS 是一個(gè)專有平臺。

當(dāng)我的前團(tuán)隊(duì)在 Google Brain 開發(fā) TensorFlow 時(shí)，我們實(shí)際上雇傭了 Reggie Monger，他是一個(gè)出色的領(lǐng)導(dǎo)者，負(fù)責(zé)開發(fā) TensorFlow 。

Reggie 和我都是出色的工程師，當(dāng)你意識到主流的深度學(xué)習(xí)開發(fā)平臺可能會被競爭對手的專有平臺控制時(shí)， Meta 的做法非常聰明。

Meta 沒有試圖擁有這個(gè)平臺，而是創(chuàng)建了開源的 PyTorch ，隨后它獲得了大量的動(dòng)能，并且大大降低了被其他人控制深度學(xué)習(xí)平臺的風(fēng)險(xiǎn)。

由于 Meta 并沒有運(yùn)營大型云業(yè)務(wù)，因此它只需要一個(gè)開源的平臺來構(gòu)建社交網(wǎng)絡(luò)和通信業(yè)務(wù)。

從商業(yè)角度來看， Meta 確保有一個(gè)開源的基礎(chǔ)模型和生態(tài)系統(tǒng)是非常理性的，因?yàn)檫@樣一來， Meta 就可以在此基礎(chǔ)上進(jìn)行構(gòu)建，而不必?fù)?dān)心依賴于封閉的平臺，比如 iOS 可能在某個(gè)時(shí)候改變規(guī)則。

因?yàn)?Meta 沒有運(yùn)營大型云服務(wù)，所以它沒有動(dòng)機(jī)保持封閉狀態(tài)以銷售 API 調(diào)用?？偟膩碚f，這是一個(gè)非常理性的商業(yè)決策。但這也不影響我們對 Meta 開源這一寶貴舉動(dòng)的感激之情，即使它背后有著非常合理的商業(yè)模式。

Brett Winton

你認(rèn)為對于 AI 應(yīng)用公司來說，比如某家公司如果設(shè)計(jì)的能力水平達(dá)到了 GPT-4 的水平，那么他們其實(shí)可能是在犯一個(gè)大錯(cuò)，因?yàn)槲覀兒芸炀蜁懈鼜?qiáng)大的能力，也許就在今年或明年。

那么，你是否預(yù)見到這樣的戰(zhàn)略格局：OpenAI 推出非常有意義的進(jìn)步，然后其他公司大約六個(gè)月后才跟上？在 AI 應(yīng)用方面，這種技術(shù)進(jìn)步的速度是否會改變你對可能具有商業(yè)化潛力的 AI 應(yīng)用的看法或做法？

Andrew Ng

聽起來這是一個(gè)很好的領(lǐng)導(dǎo)者，自從他還是本科生時(shí)，我就認(rèn)識他了。他當(dāng)時(shí)在我父親的實(shí)驗(yàn)室工作，很久以前的事了。我非常尊重 OpenAI 的一點(diǎn)是，他們在推動(dòng) AI 方面非常積極進(jìn)取。他們確實(shí)很大膽，做出了很多賭注。

當(dāng)你這樣做時(shí)，并不意味著每一個(gè)賭注都會成功，但只需要少數(shù)幾個(gè)成功的賭注，你就可以取得巨大的成果。所以 OpenAI 確實(shí)在做很多不同的事情。

我不想猜測他們所有的計(jì)劃，但我確實(shí)認(rèn)為訓(xùn)練基礎(chǔ)模型是非常重要的，我很期待看到 GPT-5 的發(fā)布，我確信它將比 GPT-4 更強(qiáng)大得多。但我也相信，GPT-5 仍然會有很多事情做不到，很多其他應(yīng)用仍然需要在它之上構(gòu)建。

我的團(tuán)隊(duì)做了一個(gè)小研究，表明在編碼問題上使用 GPT-3.5 與使用 ?Agentic Workflow 的 GPT-4 相比， GPT-3.5 的表現(xiàn)其實(shí)更好。所以雖然從 GPT-3.5 到 GPT-4 的進(jìn)步非常令人興奮，但使用 Agentic Workflow 帶來的改進(jìn)實(shí)際上超過了這個(gè)進(jìn)步。

我非常樂觀地認(rèn)為，不管是 GPT-5 還是 Gemini 2，當(dāng)它們發(fā)布時(shí)，我都很期待它們的表現(xiàn)，但我也相信，現(xiàn)有模型的 Agentic Workflow 和其他創(chuàng)新仍然能在解決非常有價(jià)值的業(yè)務(wù)問題和應(yīng)用問題上走得很遠(yuǎn)。

Charlie Roberts

關(guān)于這個(gè)問題， Andrew ，我記得你多年來對醫(yī)療保健非常感興趣，我相信你家里也有醫(yī)學(xué)背景的人。

Mustafa Suleyman 在他的書《 Becoming Human 》中提到了他對現(xiàn)代圖靈測試的看法，他舉的例子是，如果你能給一個(gè) Agentic 系統(tǒng) 10 萬美元，并讓它生成 100 萬美元的年收入，這將是一個(gè)令人驚嘆的成就，比如它需要去設(shè)立一家公司，編寫營銷計(jì)劃，并開始執(zhí)行這些任務(wù)。

你有沒有想過，無論是在醫(yī)療領(lǐng)域還是其他領(lǐng)域，有沒有一個(gè)現(xiàn)代版的圖靈測試是你希望看到的，可能在不久的將來 Agentic 系統(tǒng)能達(dá)到的目標(biāo)？

Andrew Ng

AI 和人類智能是非常不同的。兩者都非常有價(jià)值，我們總是試圖將 AI 與人類可以做的事情進(jìn)行比較，這沒什么壞處，但，由于人類智能如此獨(dú)特，實(shí)際上很難讓 AI 做所有人類可以做的事情。

當(dāng)然，我們希望 AI 能夠做到，希望我們有生之年能看到這一天的到來，但即使在我們試圖讓 AI 達(dá)到人類水平之前， AI 已經(jīng)能夠在很多領(lǐng)域遠(yuǎn)遠(yuǎn)超越任何一個(gè)活著的人類，這本身就具有巨大的價(jià)值。

所以我更關(guān)注的是一步步的進(jìn)展，這種進(jìn)展正在非常迅速地發(fā)生，這個(gè)進(jìn)展包括 AI 能夠做的事情的范圍，以及各個(gè)行業(yè)的應(yīng)用，而不是僅僅試圖達(dá)到某種類似圖靈測試的標(biāo)準(zhǔn)。當(dāng)然，對于研究人員來說，這樣的測試也是很好的研究方向。

Brett Winton

最終來說，基準(zhǔn)測試有用之處在于它們能夠指示某種可以商業(yè)化并大規(guī)模應(yīng)用的實(shí)際應(yīng)用，這樣才能變得真正有意義和現(xiàn)實(shí)化。而你非常專注于將 AI 帶入市場的實(shí)際應(yīng)用。

你對語言生成之外的應(yīng)用有何看法？你怎么看待語言以外的應(yīng)用，比如機(jī)器人技術(shù)、自動(dòng)駕駛出租車和醫(yī)療領(lǐng)域？你對這些領(lǐng)域的進(jìn)展速度有何期待，你認(rèn)為這些是值得關(guān)注的領(lǐng)域嗎？

Andrew Ng

我們正在朝著那個(gè)方向前進(jìn)。文本革命首先通過 LLM 到來，但我看到圖像處理革命也將隨后到來。我指的不僅僅是生成圖像，而是分析圖像。

比如，LandingAI 正在進(jìn)行關(guān)于大型視覺模型的工作，在未來很短的幾年內(nèi)，我們將在 AI 分析圖像的能力上取得很大進(jìn)展。不僅僅是文本分析，圖像分析也會迅速發(fā)展。

至于應(yīng)用和 AI Fund 所涉及的領(lǐng)域，我們實(shí)際上試圖保持行業(yè)中立。因此，我們重新設(shè)計(jì)了我們的戰(zhàn)略，目的是通過視覺表達(dá) AI 技術(shù)。我們知道 AI 的能與不能，但由于 AI 是一種通用技術(shù)，適用于醫(yī)療保健、金融服務(wù)、物流、教育等多個(gè)領(lǐng)域，我們無法同時(shí)掌握或關(guān)注所有這些領(lǐng)域。

因此，我們在 AI Fund 中的策略是，我們非常喜歡與擁有專業(yè)知識的企業(yè)合作，這些企業(yè)通常是我們的 LP，也可能不是LP。

我們與擁有深厚行業(yè)專業(yè)知識的大型公司合作，這些公司在特定領(lǐng)域有深厚的市場知識和技術(shù)知識，我們通過合作，共同開發(fā)出一些非常獨(dú)特的東西。

我們確實(shí)在醫(yī)療保健領(lǐng)域有所涉足，這是我們的一個(gè)示例。在我們最近的醫(yī)療保健項(xiàng)目中，我們與在某些地理區(qū)域擁有深厚專業(yè)知識的合作伙伴合作，他們不僅在市場和市場進(jìn)入方面有深厚的知識，而且還能與我們的技術(shù)知識相輔相成，讓我們嘗試在美國以外的醫(yī)療保健市場中構(gòu)建一些非常獨(dú)特的東西，因?yàn)槲覀冋J(rèn)為這些市場可能更容易首先攻克。

有趣的是，每當(dāng)我們與大型公司合作并進(jìn)行頭腦風(fēng)暴時(shí)，我們總是會得到比我們或他們能夠?qū)嵤┑南敕ǘ嗟枚嗟膭?chuàng)意。創(chuàng)意的數(shù)量總是讓人既高興又煩惱，因?yàn)樗h(yuǎn)遠(yuǎn)超過了我們能夠動(dòng)用的資源。

Charlie Roberts

從你在 AI Fund 中的經(jīng)驗(yàn)和與大型企業(yè)的對話中，你對 AI 的應(yīng)用和商業(yè)案例有著非常深刻的理解。

在未來五年內(nèi)，你認(rèn)為市場上哪些大問題 AI 可能仍無法解決？反之，哪些大問題可能會因?yàn)?AI 的出現(xiàn)而完全消失，而這些問題是市場或大眾尚未意識到的？

Andrew Ng

這些變化會需要時(shí)間。許多行業(yè)的轉(zhuǎn)型都需要時(shí)間。在深度學(xué)習(xí)和 AI 浪潮中，我們正在做很多工業(yè)自動(dòng)化的重復(fù)性任務(wù)。

眾所周知，物質(zhì)的轉(zhuǎn)移是緩慢的，所以當(dāng)我們處理涉及到現(xiàn)實(shí)世界中物質(zhì)重新配置的事情時(shí)，我們會有所進(jìn)展，但這通常需要時(shí)間。

同樣，當(dāng)涉及到文化變革和內(nèi)部變革管理時(shí)，這種轉(zhuǎn)型也可能出人意料地緩慢。然而，我依然對我們能夠幫助許多企業(yè)重新思考工作流程的速度持樂觀態(tài)度。

雖然在改變物質(zhì)配置時(shí)，這可能是一個(gè)緩慢的過程，但當(dāng)涉及到比特和變革管理流程時(shí)，有時(shí)仍然需要幾年時(shí)間。

所以，盡管我們已經(jīng)大幅度地變革了許多知識型工作，每個(gè)知識型工作今天都可以通過生成式 AI 獲得效率提升，這令人興奮。而我們也將繼續(xù)推動(dòng)這些可能性的發(fā)展。