大模型前傳:一場(chǎng)拍賣(mài)會(huì)與巨頭間的人才戰(zhàn)
大模型這一概念在2023年發(fā)揮出了巨大的能量,互聯(lián)網(wǎng)巨頭更是在這一領(lǐng)域里頻頻動(dòng)作。那么如果將時(shí)間往回?fù)懿⒆犯菰?,到底是哪些事件或因素的?qū)動(dòng),決定了當(dāng)下的人工智能競(jìng)爭(zhēng)格局?不妨來(lái)看看本文的解讀。
2012年12月,AI領(lǐng)域的一場(chǎng)頂級(jí)會(huì)議NIPS在美國(guó)內(nèi)華達(dá)州太浩湖舉辦,會(huì)議酒店里的一場(chǎng)秘密拍賣(mài)拍出了4400萬(wàn)美元的高價(jià)。拍賣(mài)的是一家在會(huì)議前緊急成立的公司,公司成員只有3人,沒(méi)有發(fā)布任何產(chǎn)品。參與拍賣(mài)的有谷歌、微軟、DeepMind以及百度。
這是一場(chǎng)既豪橫又簡(jiǎn)陋的拍賣(mài),競(jìng)拍方通過(guò)Gmail郵件遠(yuǎn)程出價(jià),每一個(gè)小時(shí)出價(jià)一次,每次加價(jià)不少于100萬(wàn)美元。60多歲的主辦方成員因患有頸椎疾病無(wú)法久坐,他在酒店的桌子上倒扣一個(gè)垃圾桶,把電腦放在垃圾桶上遙控科技巨頭出價(jià)。
競(jìng)拍價(jià)一路攀升,2000萬(wàn)美元以后,場(chǎng)內(nèi)只剩百度和谷歌,兩家公司都勢(shì)在必得。出價(jià)4400萬(wàn)美元后,主辦方意外暫停了拍賣(mài),時(shí)間被拖到第二天。第二天拍賣(mài)開(kāi)始前,主辦方告訴百度,他們更希望加入谷歌。
這個(gè)故事被科技記者Cade Metz放在《深度學(xué)習(xí)革命》一書(shū)開(kāi)頭,用來(lái)說(shuō)明科技巨頭在人工智能領(lǐng)域?qū)θ瞬诺募ち覡?zhēng)奪。被拍賣(mài)的這家公司是DNNResearch,三名員工是被稱(chēng)為“深度學(xué)習(xí)之父”的Geoffrey Hinton、AlexNet卷積神經(jīng)網(wǎng)絡(luò)創(chuàng)始人Alex Krizhevsky和現(xiàn)任OpenAI首席科學(xué)家IIya Sutskever。
這場(chǎng)拍賣(mài)之前,“人工智能”還只是科幻小說(shuō)和電影里的事物,“深度學(xué)習(xí)”的概念就連前沿的科技巨頭內(nèi)部都少有人知。這場(chǎng)拍賣(mài)之后,一切開(kāi)始發(fā)生變化。拍賣(mài)3年后,AlphaGo橫空出世。5年后,還是同一場(chǎng)NIPS會(huì)議中,谷歌8位研究員帶著Transformer模型架構(gòu)技驚四座。10年后,美國(guó)幾乎所有的頂尖AI實(shí)驗(yàn)室里都有來(lái)自谷歌的身影。
一、Google Brain的第一個(gè)成功和失敗
數(shù)學(xué)公式組織著從微觀(guān)粒子世界到宏觀(guān)宇宙的廣闊圖景,同時(shí)也是人們構(gòu)建現(xiàn)代計(jì)算機(jī)和人工智能算法的工具——現(xiàn)代計(jì)算機(jī)底層邏輯運(yùn)算的原理是形成于19世紀(jì)中期由George Boole發(fā)明的布爾計(jì)算。20世紀(jì)40年代,人們開(kāi)始嘗試把生物神經(jīng)元的功能抽象化為數(shù)學(xué)模型,50年代末誕生了第一個(gè)Neural Network神經(jīng)網(wǎng)絡(luò)算法(NN算法)。
Geoffrey Hinton是George Boole的玄孫,在70年代進(jìn)入NN算法領(lǐng)域,并成為推動(dòng)NN算法發(fā)展的主要人物之一。到21世紀(jì)初,GPU的使用和分布式計(jì)算大大提升了算法運(yùn)行的效率,NN算法成為熱門(mén)領(lǐng)域。Hinton在2006年提出深度信念網(wǎng)絡(luò)的概念,讓訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)成為了可能,“深度學(xué)習(xí)”成為神經(jīng)網(wǎng)絡(luò)算法的代名詞。
谷歌在當(dāng)時(shí)有一個(gè)神秘實(shí)驗(yàn)室Google X,專(zhuān)門(mén)研究智能駕駛、增強(qiáng)現(xiàn)實(shí)等前沿尖端項(xiàng)目,這些項(xiàng)目往往都與人工神經(jīng)網(wǎng)絡(luò)有關(guān)。2011年,斯坦福大學(xué)人工智能教授吳恩達(dá)(Andrew Ng)加入Google X,希望把自己的神經(jīng)網(wǎng)絡(luò)研究推廣開(kāi)來(lái)。
然而即便在谷歌,當(dāng)時(shí)也少有人認(rèn)識(shí)到神經(jīng)網(wǎng)絡(luò)可以帶來(lái)的改變,多次碰壁的吳恩達(dá)遇到了Jeff Dean,雙方一拍即合,很快把一些研究轉(zhuǎn)化出成果,這次的合作項(xiàng)目最終成為獨(dú)立的部門(mén)Google Brain。
2012年夏天,《紐約時(shí)報(bào)》詳細(xì)報(bào)道了吳恩達(dá)和Jeff Dean合作的“小貓論文”,他們用16000臺(tái)計(jì)算機(jī)組成了一個(gè)有10億連接的大型神經(jīng)網(wǎng)絡(luò)系統(tǒng)。系統(tǒng)從來(lái)自YouTube的1000萬(wàn)張圖片中學(xué)會(huì)了“貓”的概念,并找出了其中含有貓的圖片。這讓谷歌的科學(xué)家大為震驚并深受鼓舞。
神經(jīng)網(wǎng)絡(luò)自學(xué)識(shí)別的貓的圖像 (圖源:紐約時(shí)報(bào))
不過(guò),吳恩達(dá)兩人的方法并不是當(dāng)時(shí)最高效的。在當(dāng)年秋天的ImageNet圖像識(shí)別大賽中,Hinton領(lǐng)導(dǎo)的三人組使用AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)奪得第一,他們的成績(jī)比第二名高出41%。這是ImageNet賽事的高光時(shí)刻,也是科技行業(yè)的“決定性瞬間”之一?!渡疃葘W(xué)習(xí)革命》一書(shū)的作者Cade Metz認(rèn)為,AlexNet是深度學(xué)習(xí)的轉(zhuǎn)折點(diǎn),也是全球科技行業(yè)的轉(zhuǎn)折點(diǎn),推動(dòng)了后來(lái)的人工智能熱潮。
這次比賽也直接催生了文章開(kāi)頭提到的拍賣(mài)會(huì),Hinton團(tuán)隊(duì)因此加入到Google Brain。
在這之后,學(xué)術(shù)投資成為谷歌具有戰(zhàn)略高度的投資方向。雖然深度學(xué)習(xí)在當(dāng)時(shí)是一個(gè)極小的領(lǐng)域,但谷歌創(chuàng)始人Larry Page認(rèn)為它將會(huì)重塑行業(yè),要求尋找其中的人才。在收下Hinton的同時(shí),谷歌開(kāi)始著手下一個(gè)目標(biāo)。
二、驕傲的DeepMind和谷歌的豪賭
DeepMind主理人同樣有三位,主要?jiǎng)?chuàng)辦人Demis Hassabis從小智力超常,8歲開(kāi)始編寫(xiě)電腦游戲,13歲就獲得國(guó)際象棋大師的頭銜。20歲時(shí),Hassabis在劍橋大學(xué)計(jì)算機(jī)科學(xué)專(zhuān)業(yè)獲得雙第一,畢業(yè)后成功經(jīng)營(yíng)了一家60人的游戲公司。后來(lái),Hassabis轉(zhuǎn)向攻讀認(rèn)知神經(jīng)科學(xué),最終投入人工智能浪潮。
2010年決定創(chuàng)辦DeepMind時(shí),資金問(wèn)題是重要的考量之一。Hassabis通過(guò)一場(chǎng)棋局獲得了第一筆投資,來(lái)自Peter Thiel。Thiel是Paypal的創(chuàng)始人,通過(guò)他,DeepMind又獲得了來(lái)自馬斯克的投資。創(chuàng)辦兩年內(nèi),DeepMind先后完成了兩輪融資。
Hassabis首先提出了AGI的概念,DeepMind以AGI為目標(biāo)保持獨(dú)立運(yùn)作。創(chuàng)辦早期,DeepMind訓(xùn)練了一個(gè)玩游戲的神經(jīng)網(wǎng)絡(luò)系統(tǒng),系統(tǒng)通過(guò)觀(guān)看學(xué)會(huì)了玩《太空侵略者》《乒乓球》《越獄》等游戲,在很多游戲中的表現(xiàn)超過(guò)人類(lèi)玩家。馬斯克在飛機(jī)上觀(guān)看DeepMind的演示視頻時(shí),剛好被谷歌的Larry Page注意到,《Wired》報(bào)道稱(chēng),馬斯克向Larry Page介紹了DeepMind。
對(duì)于DeepMind這樣的機(jī)構(gòu),注定無(wú)法獨(dú)立完成燒錢(qián)的AGI豪賭,它需要持續(xù)不斷的輸血,成立后很快陷入到窘境。幸運(yùn)的是,Hinton團(tuán)隊(duì)的拍賣(mài)會(huì)一舉抬高了AI領(lǐng)域人才的身價(jià),同時(shí)谷歌正在不計(jì)成本的投入其中。
2013年,谷歌團(tuán)隊(duì)乘坐專(zhuān)機(jī)去到倫敦與DeepMind接洽,在第二年以6.5億美元買(mǎi)下DeepMind。谷歌同意了DeepMind提出的要求:雙方合作技術(shù)不能用于軍事目的,并成立獨(dú)立道德委員會(huì)監(jiān)督。
DeepMind虧損壓力來(lái)到谷歌,電廠(chǎng)根據(jù)《CNBC》和《Bloomberg》媒體報(bào)道測(cè)算,2016年到2019年,DeepMind平均每年虧損4.6億美元。報(bào)道顯示,2019年,DeepMind所有公司間貸款和應(yīng)計(jì)利息共計(jì)15億美元,被谷歌一筆免除。
三、Facebook的開(kāi)源力量
跟Hassabis一樣,Zuckerberg在哈佛大學(xué)校園里創(chuàng)辦Facebook時(shí),第一筆天使投資也來(lái)自Peter Thiel。在DeepMind尋找買(mǎi)家時(shí),Thiel促成了兩人的首次接洽。Facebook比谷歌更想要DeepMind,愿意支付更高的收購(gòu)金額。然而這是一場(chǎng)失敗的收購(gòu),據(jù)《深度學(xué)習(xí)革命》一書(shū)記錄,Hassabis認(rèn)為,他跟Zuckerberg之間沒(méi)有“化學(xué)反應(yīng)”,更重要的是在AI安全方面沒(méi)有共同的認(rèn)知。
2013年是Facebook認(rèn)識(shí)到深度學(xué)習(xí)重要性的第一年,Zuckerberg決定招攬前沿的研究人才。但跟DeepMind一樣,這些來(lái)自學(xué)界的研究者認(rèn)為Facebook缺少吸引力。與財(cái)務(wù)收入相比,學(xué)者們看重自己的研究能不能在Facebook持續(xù),卻發(fā)現(xiàn)后者根本沒(méi)有設(shè)置實(shí)驗(yàn)室。
Zuckerberg找到了楊立昆(Yann LeCun)。楊立昆發(fā)明了卷積神經(jīng)網(wǎng)絡(luò),在深度學(xué)習(xí)領(lǐng)域跟Hinton有同樣的地位,手下學(xué)生眾多,如果由他運(yùn)營(yíng)實(shí)驗(yàn)室,F(xiàn)acebook將能夠逆轉(zhuǎn)局面。
楊立昆信奉技術(shù)開(kāi)放,會(huì)公布自己最新的研究成果,他認(rèn)為這一領(lǐng)域的進(jìn)步由一代代研究人員接力推動(dòng)。在《Popular Science》的一次專(zhuān)訪(fǎng)中,楊立昆談到同意這次合作的原因——他對(duì)實(shí)驗(yàn)室的想象與Facebook的開(kāi)放理念一致。Facebook社交帝國(guó)的基礎(chǔ)是開(kāi)源軟件,Zuckerberg對(duì)開(kāi)放的理解打消了楊立昆的擔(dān)憂(yōu)。
楊立昆幫助Facebook經(jīng)營(yíng)FAIR實(shí)驗(yàn)室,同時(shí)仍然擔(dān)任在紐約大學(xué)的職務(wù)。有了實(shí)驗(yàn)室的Facebook也有了從谷歌、微軟挖掘人才的優(yōu)勢(shì)。
開(kāi)放開(kāi)源讓Facebook保持著在AI領(lǐng)域的領(lǐng)先地位。2022年,來(lái)自獨(dú)立實(shí)驗(yàn)室OpenAI的ChatGPT一飛沖天,Zuckerberg選擇開(kāi)源Llama大模型應(yīng)對(duì),從而迅速占據(jù)生態(tài)優(yōu)勢(shì)。促進(jìn)這次開(kāi)源決定的正是楊立昆。
四、不被看好的OpenAI
深度學(xué)習(xí)領(lǐng)域有三位學(xué)術(shù)巨頭,除了Hinton和楊立昆,另一位是Yoshua Bengio。谷歌和Facebook掀起AI人才爭(zhēng)奪戰(zhàn)后,Bengio收到了無(wú)數(shù)來(lái)自科技公司的邀約,但他都一一回絕,這些公司中就包括OpenAI。
當(dāng)時(shí)的OpenAI還沒(méi)有成立,Greg Brockman和Sam Altman正在召集人才。他們認(rèn)識(shí)到科技公司內(nèi)部的實(shí)驗(yàn)室正在迅速擴(kuò)張,必須采取行動(dòng),這得到了馬斯克的支持。根據(jù)《Wired》報(bào)道,Bengio給了他們一份名單,列出了他所認(rèn)為的這個(gè)領(lǐng)域最有前途的年輕研究人員,其中就包括Ilya Sutskever。
谷歌開(kāi)出高薪挽留Sutskever,第一年接近200萬(wàn)美元,是OpenAI的兩到三倍,這讓Sutskever產(chǎn)生了動(dòng)搖?!渡疃葘W(xué)習(xí)革命》書(shū)中詳細(xì)記錄了這個(gè)故事,OpenAI原本計(jì)劃在當(dāng)年的NIPS會(huì)議上宣布成立,但Sutskever的猶豫打亂了計(jì)劃,最后一天的會(huì)議結(jié)束之后,他才確定“上車(chē)”。
OpenAI作為非盈利組織在2015年12月成立,它把自己定位為科技巨頭技術(shù)擴(kuò)張的對(duì)抗力量,宗旨是確保AI技術(shù)造福人類(lèi)。然而,秉持類(lèi)似理想的DeepMind卻認(rèn)為,OpenAI只會(huì)加速行業(yè)里的技術(shù)對(duì)抗,從而帶來(lái)更多風(fēng)險(xiǎn),OpenAI初創(chuàng)團(tuán)隊(duì)的技術(shù)人員當(dāng)中,有5個(gè)曾在DeepMind工作。不看好OpenAI的也包括楊立昆,楊立昆告訴Sutskever,他的選擇是在犯錯(cuò),并給出了10多條理由。
五、谷歌的一團(tuán)火和滿(mǎn)天星
人工智能技術(shù)的理論突破幾乎全部來(lái)自校園里的學(xué)術(shù)團(tuán)隊(duì),谷歌、Facebook的實(shí)驗(yàn)室承擔(dān)了高校與商業(yè)公司之間的紐帶,培養(yǎng)了大批學(xué)術(shù)力量,推動(dòng)了科研成果的誕生。隨著時(shí)間推移,很多科研人員意識(shí)到事情發(fā)生了變化。
Ilya Sutskever在后來(lái)的采訪(fǎng)中談到自己離開(kāi)谷歌的原因,他表示,人工智能的神經(jīng)網(wǎng)絡(luò)變得越來(lái)越龐大,未來(lái)將會(huì)是更大的、更有組織的的工程項(xiàng)目。研究人員需要用更宏觀(guān)的視角研究它們,實(shí)驗(yàn)室能夠提供舒適的環(huán)境和優(yōu)越的回報(bào),但無(wú)法給他們調(diào)動(dòng)更多的資源。
OpenAI的成立開(kāi)啟了一種趨勢(shì)。很快,過(guò)去幾年加入科技巨頭實(shí)驗(yàn)室的研發(fā)人員開(kāi)始陸續(xù)出走。其中最具代表性的,應(yīng)當(dāng)是谷歌發(fā)明了Transformer模型架構(gòu)的8位作者。
2017年,谷歌8位研究員完成的《Attention is All You Need》論文橫空出世,推動(dòng)AI行業(yè)進(jìn)入到大模型時(shí)代,Transformer成為幾乎所有AI大模型的核心。但從2017年至今,8位作者已經(jīng)全部從谷歌出走,進(jìn)入到各個(gè)領(lǐng)域的“OpenAI”當(dāng)中。
2012年以來(lái),谷歌的實(shí)驗(yàn)室成了AI技術(shù)和人才策源地。過(guò)程中,AI研究經(jīng)歷了從論文到落地的階段,開(kāi)始走向應(yīng)用??粗嗄陮W(xué)術(shù)投資成果散落各地,谷歌終于幡然醒悟。隨著Geoffrey Hinton在2023年退休,谷歌一方面宣布不再公布最新的科研成果,另一方面把DeepMind和Google Brain合并成Google DeepMind,由Hassabis擔(dān)任CEO。
過(guò)去幾年一直處在弱勢(shì)地位的微軟,卻因?yàn)镺penAI的崛起重新拿到先發(fā)優(yōu)勢(shì)。谷歌的戰(zhàn)略調(diào)整也決定了,始終擔(dān)心AI安全問(wèn)題的Hassabis將不得不加快他的“曼哈頓計(jì)劃”。而先后失去了DeepMind和OpenAI的馬斯克,不得不X上繼續(xù)呼吁人們警惕AI技術(shù)擴(kuò)張帶來(lái)的威脅。
作者:肖余林;編輯:高宇雷
原文標(biāo)題:電廠(chǎng) | 大模型前傳:一場(chǎng)拍賣(mài)會(huì)與巨頭間的人才戰(zhàn)
來(lái)源公眾號(hào):電廠(chǎng)(ID:wonder-capsule),探索科技公司的未知,為你充電。
本文由人人都是產(chǎn)品經(jīng)理合作媒體 @電廠(chǎng) 授權(quán)發(fā)布,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自Unsplash,基于 CC0 協(xié)議。
該文觀(guān)點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
- 目前還沒(méi)評(píng)論,等你發(fā)揮!