英偉達(dá)CEO最新專訪:關(guān)于競爭,我們喜歡創(chuàng)造需求并定位自己,當(dāng)我們下重注時,實(shí)際上已經(jīng)提前應(yīng)對了所有可能的風(fēng)險!
科技公司有所不同,所發(fā)展的方向與機(jī)會也有所不同。本文走進(jìn)英偉達(dá)總部,深入挖掘了英偉達(dá)切入數(shù)據(jù)中心的來龍去脈以及初衷,還包括老黃的創(chuàng)業(yè)思考、平臺戰(zhàn)略初衷、內(nèi)部管理理念以及市場&技術(shù)判斷方法。
《Acquired》是一檔關(guān)注科技產(chǎn)業(yè)的并購、合并、投資和創(chuàng)新等話題的科技類播客節(jié)目,由Ben Gilbert 以及 David Rosenthal 在 2015 年創(chuàng)立。
Ben Gilbert在硅谷有著豐富的創(chuàng)業(yè)和投資經(jīng)驗(yàn),曾是 Madrona 創(chuàng)業(yè)工作室的聯(lián)合創(chuàng)始人,隨后加入了 Pioneer Square Labs 孵化器,共同孵化了Pioneer Square Labs旗下多個初創(chuàng)公司;David Rosenthal 曾在 UBS 和 WSJ 擔(dān)任分析師,也是Ben Gilbert 在 Madrona 的同事,兩人已經(jīng)認(rèn)識了 10 年之久。
《Acquired》最新的一期內(nèi)容走進(jìn)了英偉達(dá)總部,Ben Gilbert 以及David Rosenthal 與老黃,深入挖掘了英偉達(dá)切入數(shù)據(jù)中心的來龍去脈以及初衷,還包括老黃的創(chuàng)業(yè)思考、平臺戰(zhàn)略初衷、內(nèi)部管理理念以及市場&技術(shù)判斷方法。
老黃表示,如果未來科技公司變得更大,大家不要感到驚訝,因?yàn)檫@些科技公司生產(chǎn)的東西非常不同,機(jī)會有多大,公司就有多大,這取決于每家公司如何定義自身,以及如何匹配變化的市場,全文如下:
Ben Gilbert:
在過去兩年里,我們對英偉達(dá)進(jìn)行了約 500 小時的研究,然后我們飛到英偉達(dá)總部,與 Jensen 本人坐下來進(jìn)行了交流。Jensen 是英偉達(dá)的創(chuàng)始人和 CEO ,英偉達(dá)正在推動整個 AI 的爆炸式增長,在錄制這期內(nèi)容時,英偉達(dá)的市值達(dá)到了 1.1 萬億美元,是全球第六大市值的公司,而現(xiàn)在對英偉達(dá)來說是一個關(guān)鍵時刻,期望值非常之高,我的意思是高得離譜,他們相對競爭對手擁有最令人印象深刻的戰(zhàn)略地位和領(lǐng)先優(yōu)勢。
有一個每個人都在思考的問題,英偉達(dá)的繁榮是否會在未來幾年繼續(xù)下去?AI 會不會成為下一個萬億美元的技術(shù)浪潮?我們對此有多確定?如果是這樣,英偉達(dá)能否在這個市場形成的時候保持他們離譜的主導(dǎo)地位?
Jensen Huang:
帶我們回到過去,講述了他們?nèi)绾螐膱D形轉(zhuǎn)向數(shù)據(jù)中心再到 AI ,如何在多次瀕死經(jīng)歷中幸存下來,他還對創(chuàng)始人有很多建議,并在節(jié)目末尾分享了創(chuàng)始人旅程的情感層面。
David Rosenthal:
僅僅通過做這件事,我對英偉達(dá)和 Jensen 作為創(chuàng)始人和領(lǐng)導(dǎo)者有了新的看法,盡管我們以為我們事先已經(jīng)知道了一切,結(jié)果證明我們還不夠了解。
Ben Gilbert:
你正準(zhǔn)備發(fā)布 RIVA128 ,一款英偉達(dá)革命性的產(chǎn)品,因?yàn)樗状我肓藛涡酒O(shè)計,將 2D 和 3D 圖形處理能力整合到同一塊芯片上,這一設(shè)計在當(dāng)時非常先進(jìn)。
你們當(dāng)時只剩下幾個月的運(yùn)營資金了,但你決定全部通過模擬測試而不是等到收到真實(shí)的原型,你在看都不看的情況下就下令量產(chǎn),用公司剩下的所有資金,全押在 RIVA128 上,它最終回來了,在 32 個 Direct X 混合模式中,它支持8 個,你必須說服市場購買它,還得說服開發(fā)者只使用這 8 個混合模式,請給我們講講當(dāng)時的情況。
Jensen Huang:
我得說服他們,另外 24 個模式不那么重要。
David Rosenthal:
這是最初的計劃嗎?你是什么時候意識到的?
Jensen Huang:
我很晚才意識到,我們本應(yīng)該實(shí)現(xiàn)所有 32 個模式,但是我們已經(jīng)做了 8 個模式,所以不得不盡力而為,那是一個非凡的時刻。還記得 RIVA128 嗎?NV1 和 NV2 基于正面紋理映射,沒有三角形,而是曲線,它對曲線進(jìn)行了剖分,由于我們渲染的是更高級別的對象,我們基本上避免了使用 Z 緩沖器,我們認(rèn)為這將是一個好的渲染方法,但事實(shí)證明這完全是錯誤的。
RIVA128 是我們公司的重新起步,還記得我們在 1993 年成立公司時,我們是唯一的消費(fèi)級 3D 圖形公司,當(dāng)時我們專注于將 PC 轉(zhuǎn)變?yōu)榧铀?PC,Windows 實(shí)際上是軟件渲染的系統(tǒng),所以無論如何,RIVA128 是我們公司的重新起步,當(dāng)我們意識到我們走錯路時,微軟已經(jīng)推出了DirectX,它在根本上與英偉達(dá)的架構(gòu)不兼容,30 名競爭對手已經(jīng)出現(xiàn),即使我們是最早成立的公司,但當(dāng)時的世界已經(jīng)完全不同了。
關(guān)于公司戰(zhàn)略應(yīng)該做什么的問題,我會說我們做了很多錯誤的決定,但在那一天很重要的事情上,我們做了一系列非常好的決定。1997 年可能是英偉達(dá)最好的時刻,原因是我們陷入了絕境,我們正在用盡時間,用盡資金,有很多員工,我們正在用盡希望,問題是我們該怎么辦?我們做的第一件事是決定接受 DirectX,讓我們想辦法為它建造世界上最好的東西,RIVA128 是世界上第一個完全硬件加速的 3D 渲染流水線,從變換、投影、元素到幀緩沖區(qū),都是完全硬件加速的。
我們實(shí)現(xiàn)了紋理緩存,我們將總線限制和幀緩沖區(qū)限制提高到當(dāng)時物理所能承受的最大值,我們制造了有史以來最大的芯片,使用了最快的內(nèi)存?;旧希绻覀冎圃炝四莻€芯片,就不會有任何東西能比它更快,我們也選擇了一個成本點(diǎn),明顯高于我們認(rèn)為任何競爭對手愿意承受的最高價格。如果我們正確地構(gòu)建一切并實(shí)現(xiàn)了 DirectX 中我們所知道的一切,那么顯然沒有人可以建造比它更快的東西。
David Rosenthal:
在某種程度上,英偉達(dá)也是這樣做的,那時你們是消費(fèi)類產(chǎn)品公司,對嗎?當(dāng)時就是這樣,而消費(fèi)者得掏錢購買,這點(diǎn)很關(guān)鍵。
Jensen Huang:
對,但我們注意到市場上有一個細(xì)分領(lǐng)域,當(dāng)時 PC 行業(yè)還在起步,性能還不夠好,每個人都渴望能有更快的東西,所以如果你的性能比可買到的快 10 倍,就會有一大批愛好者愿意購買,我們相信會有這樣一個巨大的市場。
事實(shí)證明我們是完全正確的,PC 行業(yè)確實(shí)有一個相當(dāng)大的愛好者市場,他們會購買最好的一切,直到今天,這仍然是真的,在某些細(xì)分市場,技術(shù)永遠(yuǎn)還不夠好,比如 3D 圖形,當(dāng)我們選擇了正確的技術(shù),3D 圖形永遠(yuǎn)還不夠好,我們當(dāng)時稱之為 3D 給了我們可持續(xù)的技術(shù)機(jī)會,因?yàn)樗肋h(yuǎn)還不夠好,所以你的技術(shù)可以不斷進(jìn)步,我們選擇了它。
我們還做出了使用仿真技術(shù)的決定。那是一家叫 Icons 的公司,我打電話給他們那天,他們正準(zhǔn)備關(guān)閉公司,因?yàn)闆]有客戶,我說我可以買掉你們的庫存,我們需要那個仿真器的原因是,你算一算我們有多少錢,如果我們完成了一個芯片的設(shè)計并從晶圓廠得到了它,然后我們開始對軟件進(jìn)行開發(fā),等我們找到所有 bug 時,再為芯片進(jìn)行下一次設(shè)計,到那時我們已經(jīng)倒閉了。
David Rosenthal:
你的競爭對手會趕上來的。
Jensen Huang:
沒錯,更不用說我們會倒閉,如果無論如何都要倒閉,那個計劃顯然不是計劃,通常公司會走的計劃是 —— 設(shè)計芯片,編寫軟件,修復(fù)bug,然后設(shè)計新的芯片等等,但那種方法行不通,我們只有 6 個月時間,只能完成一次芯片設(shè)計,顯然需要設(shè)計一款完美的芯片。
我記得和我們的領(lǐng)導(dǎo)討論過,他們說 Jensen ,你怎么知道它會是完美的?我說我知道它會是完美的,因?yàn)槿绻皇?,我們就倒閉了,所以讓我們把它做到完美,我們只有一次機(jī)會,我們基本上是通過購買這個仿真器并讓軟件團(tuán)隊(duì)在其上編寫我們的全部軟件棧來“虛擬原型”芯片的,我們就坐在實(shí)驗(yàn)室里等待 Windows 繪圖,你知道會非常慢。
David Rosenthal:
每幀需要 6 萬秒,對吧?
Jensen Huang:
肯定的,我認(rèn)為每幀需要 1 個小時左右,我們就坐在那里看它繪圖,在決定完成芯片設(shè)計的那一天,我假設(shè)芯片是完美的,我們能測試的都提前測試過了,我告訴每個人,我們要完成芯片設(shè)計,以及接下來是什么?答案很明顯,直接進(jìn)入量產(chǎn)。
Ben Gilbert :
還有大規(guī)模的營銷攻勢。
Jensen Huang:
對,直接開始一切,我們確信我們有完美的芯片。
David Rosenthal:
這其中你占多大比例,你的合伙人、公司其他人、董事會又占多大比例?每個人都說你瘋了嗎?
Jensen Huang:
不,所有人都很清楚,我們沒有勝算,因?yàn)闊o論如何都會倒閉,所以除此之外的任何事都很瘋狂,這看起來相當(dāng)合乎邏輯,坦白說,現(xiàn)在我描述的一切,你可能都會認(rèn)為很合理;最后它奏效了,所以我們完成了芯片設(shè)計,直接進(jìn)入量產(chǎn)。
Ben Gilbert :
那么對創(chuàng)始人的教訓(xùn)是,當(dāng)你像 Rivo 128 或 CUDA 那樣對某件事有信心時,就把公司壓上去,這對你一直起作用。所以你從中吸取的經(jīng)驗(yàn)教訓(xùn)似乎是繼續(xù)下注,因?yàn)榈侥壳盀橹梗看味际亲嘈У?。不,你怎么看這個問題呢?
Jensen Huang:
不,當(dāng)你下重注時,我知道它會奏效。注意,我們假設(shè)我們設(shè)計出了一個完美的芯片,原因是在完成芯片設(shè)計之前,對整個芯片進(jìn)行了仿真,開發(fā)了整個軟件棧,對所有驅(qū)動程序和軟件進(jìn)行了質(zhì)量檢測,運(yùn)行了我們的所有游戲,運(yùn)行了每個 VGA 應(yīng)用程序,所以當(dāng)你下重注時,你實(shí)際上已經(jīng)提前應(yīng)對了所有可能的風(fēng)險,這就是教訓(xùn),一直到今天,我們都會提前謀劃并模擬我們可以預(yù)見的未來。
David Rosenthal:
我們經(jīng)常討論這個,當(dāng)你知道它會成功時,你才會下重注。
Ben Gilbert :
每次我們看到你讓公司做出下重注的舉動時,你都已經(jīng)對其進(jìn)行了模擬,你覺得 CUDA 就是這種情況嗎?
Jensen Huang:
事實(shí)上,在 CUDA 之前,就已經(jīng)有 CG了,所以我們已經(jīng)在玩一個概念,即如何在我們的芯片上創(chuàng)建一個抽象層,它可以用更高級的語言和更高級的表達(dá)式來表達(dá),并且我們?nèi)绾问褂?GPU 進(jìn)行 CT 重建和圖像處理,我們已經(jīng)在朝這個方向發(fā)展了,所以我們有一些積極的反饋和直觀的積極反饋,我們認(rèn)為通用計算是可能的。
如果只是看看可編程著色器的流水線,它是一個處理器,高度并行,大規(guī)模多線程,它是世界上唯一做到這一點(diǎn)的處理器,所以可編程陰影著色有很多特征表明 CUDA 有很大的成功機(jī)會。
Ben Gilbert :
如果確實(shí)有大量的機(jī)器學(xué)習(xí)從業(yè)者,他們最終會出現(xiàn)并希望做所有這些偉大的科學(xué)計算和加速計算,那么這是正確的。但在你開始投資現(xiàn)在需要大約1萬人 年來構(gòu)建這個平臺時,你是否曾覺得,哦,人們,我們可能投資領(lǐng)先于機(jī)器學(xué)習(xí)的需求,因?yàn)槲覀儽日麄€世界意識到它要早10 年。
Jensen Huang:
我猜是也是,當(dāng)我們看到深度學(xué)習(xí),看到 AlexNet ,并意識到它在計算機(jī)視覺方面的驚人效果時,我們有一種很好的感覺,如果你愿意的話,回到第一性原理,問問是什么讓它這么成功的?
當(dāng)一個新的軟件技術(shù)、一個新的算法出現(xiàn),并以某種方式跳過 30 年的計算機(jī)視覺工作時,你必須退一步問自己,它是否可擴(kuò)展?如果是,還能解決什么問題?
我們做出了幾個觀察。首先,如果你有大量的示例數(shù)據(jù),你可以教會這個函數(shù)進(jìn)行預(yù)測,我們基本上發(fā)現(xiàn)了一個通用函數(shù)逼近器,因?yàn)榫S度可以高到你想要的程度,而且因?yàn)槊恳粚佣际侵饘佑?xùn)練的,所以沒有理由你不能做出非常深的神經(jīng)網(wǎng)絡(luò)。
現(xiàn)在你只需要邏輯推理,回到 12 年前,你可以想象我腦海中的邏輯推理,我們發(fā)現(xiàn)了一個通用函數(shù)逼近器,事實(shí)上,再加上幾項(xiàng)技術(shù),我們可能發(fā)現(xiàn)了一臺通用計算機(jī)。
David Rosenthal:
你當(dāng)時關(guān)注圖像競賽。
Jensen Huang:
這是因?yàn)楫?dāng)時我們已經(jīng)深入研究計算機(jī)視覺領(lǐng)域,試圖將 CUDA 變成一個出色的計算機(jī)視覺系統(tǒng)。然而,大多數(shù)為計算機(jī)視覺設(shè)計的算法并不適用于 CUDA 。因此,我們都花了很多時間嘗試?yán)斫膺@一問題。然后,AlexNet 出現(xiàn)了,它的效果非常驚人,以至于你不得不停下來思考,為什么會這么成功呢?
當(dāng)你像這樣思考時,你開始想象在一個通用函數(shù)逼近器可以解決的問題領(lǐng)域中,會有哪些問題需要解決呢?我們知道大多數(shù)算法都是從基本科學(xué)原理出發(fā)的。你試圖理解因果關(guān)系,以因果關(guān)系為基礎(chǔ)構(gòu)建可擴(kuò)展的仿真算法。然而,對于很多問題,我們實(shí)際上并不太在意因果關(guān)系,我們更關(guān)心的是可預(yù)測性。
我真的需要知道你更喜歡某種牙膏勝過另一種牙膏的根本原因嗎?事實(shí)上,并不是很重要。我們更關(guān)心的是是否可以預(yù)測你的選擇,這種思維方式適用于預(yù)測電影、音樂、天氣等等。我們了解熱力學(xué),我們了解來自太陽的輻射,了解云層的影響,了解海洋的影響,了解各種不同的因素,但最終我們只關(guān)心是否需要穿毛衣。因此,對于世界上很多問題來說,因果關(guān)系并不是關(guān)鍵,我們更關(guān)注的是模擬系統(tǒng)并進(jìn)行預(yù)測。
Ben Gilbert :
這是一個非常有利可圖的市場,如果你能預(yù)測下一個在社交媒體信息流中表現(xiàn)最好的項(xiàng)目,實(shí)際上這是一個巨大的挑戰(zhàn)。
David Rosenthal:
我正想說的是,我非常喜歡你提到的例子,無論是牙膏、番茄醬、音樂還是電影。
Jensen Huang:
當(dāng)你認(rèn)識到這一點(diǎn)時,它就是一個泛函數(shù)近似器,一個機(jī)器學(xué)習(xí)系統(tǒng),從示例中學(xué)到的東西可能有著巨大的機(jī)會。因?yàn)閼?yīng)用領(lǐng)域廣泛,從商業(yè)到科學(xué)等各個領(lǐng)域,所以你可以看到,這可能會影響世界上的許多行業(yè),幾乎所有的軟件最終都會以這種方式編程。如果是這樣,那么計算機(jī)和芯片的構(gòu)建方式可能會完全改變,只有看你是否有勇氣去支持這樣的芯片。
David Rosenthal:
所以現(xiàn)在我們正處于這個階段,英偉達(dá)也是如此。但我好奇的是,AlexNet 出現(xiàn)后的幾年,那時候,Ben 和我也進(jìn)入了科技創(chuàng)業(yè)領(lǐng)域。
Ben Gilbert :
我是在 2012 年 AlexNet 之后、在任何人談?wù)摍C(jī)器學(xué)習(xí)之前加入微軟的,即使在主流工程社區(qū)中也沒有人提到它。
David Rosenthal:
在這些年里,對于世界上許多其他人來說,這些看起來都像科學(xué)項(xiàng)目。但硅谷的科技公司,特別是社交媒體公司,他們才剛剛意識到這些項(xiàng)目帶來了巨大的經(jīng)濟(jì)價值,如谷歌、Facebook 和 Netflix 等。顯然,這導(dǎo)致了許多事情,包括幾年后的 OpenAI。但在這幾年時間里,當(dāng)你看到硅谷釋放了巨大的經(jīng)濟(jì)價值時,你當(dāng)時的感受如何?
Jensen Huang:
首先的想法是,當(dāng)然是如何改變計算棧?第二個想法是在哪里找到最早的使用可能性?如果我們要建立這臺計算機(jī),人們會用它來做什么?
我們很幸運(yùn),與世界各地的大學(xué)和研究人員合作對我們公司來說是與生俱來的,因?yàn)槲覀円呀?jīng)在研究 CUDA,CUDA 的早期用戶是研究人員。因?yàn)槲覀兺茝V了超級計算機(jī),CUDA 不僅用于 AI,它在幾乎所有領(lǐng)域的科學(xué)研究中都有應(yīng)用,從分子動力學(xué)到 CT 掃描重建到地震處理到天氣模擬到量子化學(xué)等等。應(yīng)用的范圍非常廣泛,所以在 CUDA 上的研究應(yīng)用非常多。當(dāng)我們認(rèn)識到深度學(xué)習(xí)可能非常有趣時,自然而然地回到了研究人員這里,并找到每一個AI研究人員,問他們我們?nèi)绾螏椭麄兺七M(jìn)工作。這包括 Yann LeCun、吳恩達(dá)、Geoffrey Hinton 等等。這就是我與所有這些人接觸的方式。
我過去常去所有 AI 會議,就是在那里我第一次遇到 Ilya Sutskever,所以當(dāng)時真正的問題是我們可以建立什么系統(tǒng)和軟件棧來幫助你獲得更多成功,推進(jìn)研究;當(dāng)時它看起來像是一個玩具,但我們相信即使是 GAN,我第一次遇到Goodfellow 時,GAN 只是 32×32 模糊的圖像,但它能發(fā)展到什么程度?
所以我們相信它,相信你可以擴(kuò)展深度學(xué)習(xí),因?yàn)轱@然它是逐層訓(xùn)練的,你可以使數(shù)據(jù)集更大,模型更大。我們相信如果你使它越來越大,它就會變得越來越好,這很有道理。我認(rèn)為與研究人員的討論和互動就是我們需要的正反饋系統(tǒng)。
David Rosenthal:
OpenAI 成立于 2015 年,那是一個非常關(guān)鍵的時刻。今天這一點(diǎn)已經(jīng)顯而易見,但當(dāng)時,即使是科技行業(yè)的人們也感到困惑,不知道這是什么?因?yàn)槟闩c研究人員有著密切的聯(lián)系,要讓谷歌和 Facebook 明確地吸引頂尖人才進(jìn)入研究社區(qū)并開放研究,這是非常關(guān)鍵的時刻。你是否參與其中?
Jensen Huang:
我沒有參與它的創(chuàng)立,但我認(rèn)識那里的很多人。當(dāng)然還有 Elon、Peter、Bill 以及 Ilya 也在那里,我們有一些偉大的員工,他們在開始的時候也在那里,我知道他們需要我們正在構(gòu)建的這臺驚人的計算機(jī),我們正在構(gòu)建第一版 DGX,你今天看到了 Hopper,它有70萬個部件,1 萬安培,DGX 的第一版是我們內(nèi)部使用的,我把第一個交給了OpenAI。
那是非常有趣的一天,但我們最初的成功在于幫助研究人員達(dá)到新的高度。我知道它目前的狀態(tài)并不非常有用,但我也相信一次點(diǎn)擊就可以使它非常驚人,這種信念來自與所有這些出色的研究人員的互動,也來自于看到逐步取得的進(jìn)展。
最初,論文每三個月才發(fā)表一次,而今天的論文每天都在出現(xiàn),所以你可以簡單地監(jiān)控存檔論文,我對深度學(xué)習(xí)的進(jìn)展非常感興趣,盡我所能閱讀這些論文,你可以實(shí)時看到指數(shù)級的進(jìn)展。
Ben Gilbert :
即使對于行業(yè)內(nèi)一些研究人員來說,當(dāng)你只是增加模型的大小時,沒有人能預(yù)測語言模型會變得多么有用。他們認(rèn)為,哦,一定需要一些算法變化,一旦你超過了 100 億參數(shù),它們就神奇地變得更準(zhǔn)確、更有用、更有生命力。當(dāng)你第一次看到一個真正大的語言模型時,你對此感到驚訝嗎?你還記得那種感覺嗎?
Jensen Huang:
我對語言模型的第一個感覺是,只是遮蔽單詞并使其預(yù)測下一個單詞,這有多巧妙,這是自我監(jiān)督學(xué)習(xí)的最佳方式。我們有那么多文本,我知道答案是什么,我只要讓你猜猜看,所以我對 Bert 的第一印象真的很巧妙。
現(xiàn)在的問題是如何擴(kuò)展它。第一個觀察結(jié)果是幾乎所有東西都很有趣,然后設(shè)法從直覺上理解為什么它有效。然后下一步當(dāng)然是從第一原則出發(fā),你會如何推斷呢?所以我們顯然知道 Bert 會變得更大。
現(xiàn)在關(guān)于這些語言模型的一件事是它正在編碼信息,對嗎?它正在壓縮信息,在世界語言和文本中,存在相當(dāng)多的編碼推理,我們描述了很多推理性的東西,如果你說幾步推理在某種程度上可以通過閱讀來學(xué)習(xí),我不會感到驚訝,對我們許多人來說,我們通過閱讀獲得常識和推理能力。所以為什么機(jī)器學(xué)習(xí)模型也不能從中學(xué)習(xí)一些推理能力呢。從推理能力出發(fā),你可以有新興的能力,新興的能力與直觀推理是一致的,所以其中一些是可以預(yù)測的,但這仍然令人驚嘆。
事實(shí)上它是合理的,并不能使它變得不那么令人驚嘆,我可以直觀地想象整個計算機(jī)和自駕汽車中的所有模塊。它仍然保持車道使我非常高興。
Ben Gilbert:
我還記得上大學(xué)時,第一次學(xué)習(xí)操作系統(tǒng)課,經(jīng)歷了從編程語言到底層電子工程的學(xué)習(xí),我突然明白了馮·諾依曼計算機(jī)的工作原理,真是一個奇跡。
Jensen Huang:
確實(shí)如此,把它們組合在一起,依然是一個奇跡。
Ben Gilbert:
現(xiàn)在談?wù)勎覀冏钕矚g的公司之一,Statsig,我們有一些技術(shù)歷史要與大家分享。
David Rosenthal:
我們談到了谷歌和 Facebook 的 AI 研究團(tuán)隊(duì)如何通過先進(jìn)的ML模型取得了令人難以置信的業(yè)務(wù)成果,這些模型為Facebook 的新聞源、谷歌廣告以及 YouTube 和下一個視頻推薦等功能提供了動力。然而,我們還沒有詳細(xì)探討這些模型的實(shí)際部署方式。
Ben Gilbert:
部署新模型的最常見方法是通過實(shí)驗(yàn),即 A/B 測試。研究團(tuán)隊(duì)創(chuàng)建新模型后,產(chǎn)品工程師將其部署給用戶的子集,并測量模型對核心產(chǎn)品指標(biāo)的影響。這些卓越的實(shí)驗(yàn)工具改變了機(jī)器學(xué)習(xí)開發(fā)過程,降低了版本發(fā)布的風(fēng)險。
由于每個模型都可以向一小部分用戶發(fā)布,因此它們加速了發(fā)布周期,并使研究人員能夠從真實(shí)用戶數(shù)據(jù)中快速獲得反饋。最重要的是,它們樹立了一種數(shù)據(jù)驅(qū)動的文化,因?yàn)檠芯咳藛T的回報來自于推動實(shí)際產(chǎn)品的改進(jìn)。隨著時間的推移,這些實(shí)驗(yàn)工具為 Facebook 和谷歌帶來了巨大的競爭優(yōu)勢,因?yàn)樗鼈儗?shí)際上成為領(lǐng)先的 ML 團(tuán)隊(duì)的必備條件。
David Rosenthal:
是的,所以現(xiàn)在你可能會想,這對于 Facebook 和谷歌來說很不錯,但我的團(tuán)隊(duì)無法建立自己的內(nèi)部實(shí)驗(yàn)平臺。實(shí)際上,Statsig 是由曾在 Facebook 工作的工程師創(chuàng)建的,他們已經(jīng)構(gòu)建了一個卓越的實(shí)驗(yàn)、特征標(biāo)志和產(chǎn)品分析平臺,任何公司都可以使用。如今,許多 AI 公司都在使用 Statsig 來改進(jìn)和部署他們的模型,包括 OpenAI 和 Anthropic。
Jensen Huang:
我認(rèn)為這不是英偉達(dá)特有的特質(zhì),而是我們有勇氣構(gòu)建這樣一個系統(tǒng)。英偉達(dá)的建設(shè)方式與軍隊(duì)或武裝力量不同,我們的組織不是通過自上而下的指揮和控制以及信息分發(fā)系統(tǒng)建立的。實(shí)際上,我們更像是一個計算棧,底層是我們的架構(gòu),然后是我們的芯片,然后是我們的軟件,頂部有各種不同的模塊,每個模塊都由人來管理。所以在我看來,公司的架構(gòu)更像是一個帶有計算棧的計算機(jī),不同部分的系統(tǒng)由人來管理。重要的是找到最擅長管理特定模塊或?qū)用娴娜耍麄冐?fù)責(zé)那部分,他們就是機(jī)長,這是第一個特點(diǎn)。
David Rosenthal:
我從一開始就是這樣看待公司的。
Jensen Huang:
對,之所以這么做,是因?yàn)槟愕慕M織應(yīng)該是建立在產(chǎn)品架構(gòu)上的,每家公司看起來都差不多,但感覺卻不同。你明白我的意思嗎?
制作炸雞、漢堡和中式炒飯的方法都不同,為什么機(jī)器的過程就要完全相同呢?所以對我來說,大多數(shù)公司的組織結(jié)構(gòu)圖看起來都很相似,但實(shí)際上,它們都在嘗試構(gòu)建不同的東西,適合構(gòu)建它的公司架構(gòu)也因此不同。
就信息系統(tǒng)和合作而言,我們將它們連接起來,有點(diǎn)像神經(jīng)網(wǎng)絡(luò),我們在公司里說的一句話是“任務(wù)至上”,因此我們明確任務(wù)是什么,然后將最優(yōu)秀的技能、最佳的團(tuán)隊(duì)和最佳的資源連接起來,以完成任務(wù)。這看似毫無規(guī)則,但卻像神經(jīng)網(wǎng)絡(luò)一樣連接整個組織。
Ben Gilbert:
與傳統(tǒng)結(jié)構(gòu)相比,這種方式有哪些權(quán)衡呢?
Jensen Huang:
不足之處在于領(lǐng)導(dǎo)者面臨相當(dāng)大的壓力。原因是在指揮與控制系統(tǒng)中,你報告的人擁有比你更多的權(quán)力。他們之所以擁有更多的權(quán)力,是因?yàn)樗麄兙嚯x信息源更近。在我們的公司中,信息快速傳播到許多不同的人,通常是在團(tuán)隊(duì)級別。
舉個例子,剛剛在我們的機(jī)器人會議上,我們在討論某些事情,房間里有幾位剛剛畢業(yè)的大學(xué)生。房間里還有 3 名 VP 和 2 名 CXO,當(dāng)我們做出決定時,每個人都完全同時了解,沒有人擁有比其他人更多的權(quán)力。
剛剛畢業(yè)的大學(xué)生和員工,以及為我工作的高管和我自己,都在完全相同的時間學(xué)習(xí)。你贏得工作是因?yàn)槟阃ㄟ^推理解決問題和幫助他人成功的能力,而不是因?yàn)槟阏莆樟四承┨貦?quán)信息。
David Rosenthal:
在我們最近的英偉達(dá)對話中,我們進(jìn)行了一項(xiàng)思考練習(xí),特別是考慮到英偉達(dá)的產(chǎn)品發(fā)布周期在過去幾年中非常令人印象深刻,尤其是考慮到你所使用的技術(shù)水平和困難程度,我們基本上提出了這樣一個問題:想象一下蘋果每年發(fā)布兩款 iPhone?
這實(shí)際上很難想象,但這在英偉達(dá)發(fā)生了,是否還有其他公司,無論是現(xiàn)在還是在歷史上,你向往并贊賞,可能從中獲取了一些靈感?
Jensen Huang:
在過去的 30 年里?我讀過我應(yīng)該讀的商業(yè)書籍。就像任何你讀的東西一樣,你應(yīng)該首先享受它,從中獲得啟發(fā),但不要照搬。這些書籍的關(guān)鍵不在于復(fù)制,而在于分享經(jīng)驗(yàn)。你應(yīng)該問自己,這對我所在的世界意味著什么?在我所處的環(huán)境中意味著什么?對我和我所在的環(huán)境意味著什么?對我和我試圖實(shí)現(xiàn)的目標(biāo)意味著什么?對英偉達(dá)以及我們公司的年齡和能力意味著什么?所以你應(yīng)該問自己,這對你意味著什么?然后,在從各種不同源頭學(xué)到的東西的基礎(chǔ)上,制定自己的策略。
我剛才描述的就是我處理每件事情的方式。你應(yīng)該從其他所有人那里獲得啟發(fā)和學(xué)習(xí)。而且,教育是免費(fèi)的。當(dāng)有人討論新產(chǎn)品時,你應(yīng)該去聽聽,不要忽略它。你應(yīng)該從中學(xué)習(xí)。它可能是競爭對手,可能來自不同行業(yè),也可能與我們無關(guān)。我們從世界上發(fā)生的事情中學(xué)到的越多,越好。然后,你應(yīng)該回過頭來問自己,這對你意味著什么。
David Rosenthal:
我喜歡這個學(xué)習(xí)而不是模仿的態(tài)度,從各種不同的來源學(xué)習(xí),我認(rèn)為英偉達(dá)今天所取得的成功還有第 3 個令人難以置信的因素,那就是數(shù)據(jù)中心,當(dāng)然,這并不是顯而易見的。
從AlexNet、你與研究社區(qū)的互動以及社交媒體反饋中,我無法推斷出你和公司決定全力以赴,在數(shù)據(jù)中心領(lǐng)域進(jìn)行了為期 5 年的全力沖刺。你是如何決定以及公司是如何決定投入這個領(lǐng)域的?這究竟是怎么發(fā)生的?
Jensen Huang:
我們走向數(shù)據(jù)中心的歷程可以追溯到近 17 年前。一直以來,我都被問及 —— 公司未來可能面臨的挑戰(zhàn)是什么?我一直認(rèn)為英偉達(dá)的技術(shù)連接到一臺計算機(jī)上,而那臺計算機(jī)必須離你很近,因?yàn)樗仨氝B接到顯示器。
某一天,這將限制我們的機(jī)會,因?yàn)椴逵?GPU 的臺式 PC 只有那么多,我們可以驅(qū)動的 CRT 和 LCD 也只有那么多,所以問題是,如果我們的計算不再必須與顯示設(shè)備連接,會不會更好?將它們分離,使我們可以在其他地方進(jìn)行計算?
有一天,我們的一位工程師向我展示了這個想法,實(shí)際上是捕獲幀緩沖,并將其編碼為視頻,然后將其流傳輸?shù)浇邮赵O(shè)備,從而實(shí)現(xiàn)計算與查看的分離。
Ben Gilbert :
在許多方面,這就是云游戲。
Jensen Huang:
事實(shí)上,那就是我們開始 GeForce Now 的時候,我們知道 GeForce Now 會是一個漫長的旅程,因?yàn)槟阍谂c各種問題作斗爭,包括延遲。David
Rosenthal:
這是你的第一個云產(chǎn)品。
Jensen Huang:
我們的第二個數(shù)據(jù)中心產(chǎn)品是遠(yuǎn)程圖形,將我們的 GPU 放入世界各地的企業(yè)數(shù)據(jù)中心,然后才推出我們的第三款產(chǎn)品,它將 CUDA 與我們的 GPU 相結(jié)合,成為超級計算機(jī),然后繼續(xù)努力。
之所以如此重要的原因是,英偉達(dá)計算完成的地方與計算結(jié)果的享用之間的分離,如果你可以分離開來,你的市場機(jī)會就會爆炸,這是完全正確的,所以我們不再受桌面 PC 必須放在桌子旁邊的物理限制,我們不再限于每個人一個 GPU,所以不再重要它在哪里了,這真的是個偉大的觀察。
Ben Gilbert :
這提醒了我,對我來說,英偉達(dá)業(yè)務(wù)的數(shù)據(jù)中心部分已經(jīng)變成了 AI 的同義詞,這是錯誤的等價關(guān)系。有趣的是你已經(jīng)準(zhǔn)備好在數(shù)據(jù)中心爆發(fā) AI ,只因之前有 3 個以上的產(chǎn)品,你在其中學(xué)習(xí)了如何建立一個數(shù)據(jù)中心計算機(jī),即使這些市場不像 AI 那樣改變世界的技術(shù)轉(zhuǎn)變,但這就是你學(xué)習(xí)的方式。
Jensen Huang:
沒錯,你想鋪平通向未來機(jī)會之路,你不能等待機(jī)會擺在你面前,然后再伸手去夠,你必須預(yù)測,我們作為 CEO 的工作就是看“around corners”,預(yù)見機(jī)會何時會出現(xiàn),即使我不完全確定什么時候會發(fā)生什么,我該如何定位公司,使其靠近它,就站在樹下,當(dāng)蘋果落下時,我們可以迅速抓住,你們明白我的意思嗎?你必須足夠接近才能迅速抓住。
David Rosenthal:
回顧 2015 年和 OpenAI,如果你當(dāng)時沒有在數(shù)據(jù)中心方面奠定基礎(chǔ),如今就不會支持 OpenAI。
Jensen Huang:
將計算從終端設(shè)備中分離出來的想法非常出色。實(shí)際上,如今所有關(guān)于計算的內(nèi)容都是關(guān)于分離它,通過將它放入數(shù)據(jù)中心,我們能夠克服延遲問題,這意味著無法戰(zhàn)勝光速,端到端的延遲只有大約 120 毫秒左右。
Ben Gilbert:
從數(shù)據(jù)中心到地球上的任何地方,可以說是真正橫跨全球。
Jensen Huang:
是的,如果能解決這個問題,大致像這樣,我記不清確切的數(shù)字了,但并不是很長,所以我的意思是如果你能消除所有其他障礙,那么光速應(yīng)該就足夠了,你可以輕松建設(shè)數(shù)據(jù)中心,用這些小型設(shè)備來進(jìn)行驚人的事情,無論是將電視變成計算機(jī)還是其他應(yīng)用,都可以瞬間變得令人驚嘆,因此,15 年前的這個洞察力是非常準(zhǔn)確的。
Ben Gilbert:
你顯然看到無限帶寬比任何人預(yù)料的要有用得多,收購 Mellanox,我認(rèn)為你獨(dú)特地看到這是訓(xùn)練 LLM 所必需的,而且你在收購這家公司方面非常積極,為什么你能看到別人看不到的?
Jensen Huang:
嗯,有幾個原因。首先,如果你想成為一家數(shù)據(jù)中心公司,那么構(gòu)建處理芯片不是正確的方法,數(shù)據(jù)中心與桌面計算機(jī)和手機(jī)的區(qū)別不在于所使用的處理器,數(shù)據(jù)中心中的桌面計算機(jī)使用相同的 CPU 和 GPU,顯然非常接近。
因此,問題不在于芯片,不在于處理芯片,正如 DIS 所描述的那樣,而在于網(wǎng)絡(luò)、基礎(chǔ)設(shè)施、計算資源分配、安全性提供以及網(wǎng)絡(luò)管理等等,Mellanox 的這些特性與英偉達(dá)無關(guān),在我做出這個結(jié)論的那一天,英偉達(dá)真正希望成為未來計算機(jī)的構(gòu)建者,未來的計算機(jī)將在數(shù)據(jù)中心中實(shí)現(xiàn)。
如果我們想成為一家以數(shù)據(jù)中心為導(dǎo)向的公司,我們就需要進(jìn)入網(wǎng)絡(luò)領(lǐng)域,這是第一點(diǎn);其次,隨著云計算在最初大規(guī)模發(fā)展,它涉及使用大量的公共組件,在一臺計算機(jī)上虛擬化許多用戶,而 AI 實(shí)際上是分布式計算,其中一個作業(yè),一個訓(xùn)練作業(yè),要在數(shù)百萬個處理器上協(xié)同工作,這與大規(guī)模計算幾乎是相反的,你設(shè)計一個大規(guī)模計算機(jī),具有機(jī)架后商品以太網(wǎng),這對于 Hadoop 來說很好,對于搜索查詢也很好,對于所有這些東西都很好。
現(xiàn)在這個觀察表明,你所需的網(wǎng)絡(luò)類型不完全是以太網(wǎng)。我們?yōu)槌売嬎銠C(jī)設(shè)計的網(wǎng)絡(luò)方式確實(shí)非常理想,所以這兩個觀點(diǎn)的結(jié)合讓我堅信 Mellanox 絕對是正確的公司,因?yàn)樗麄兪侨蝾I(lǐng)先的高性能網(wǎng)絡(luò)公司。我們已經(jīng)在高性能計算的許多不同領(lǐng)域與他們合作。此外,我真的很喜歡這里的團(tuán)隊(duì)。以色列團(tuán)隊(duì)是一流的。我們現(xiàn)在有大約 3200 名員工。這是我所做的最佳戰(zhàn)略決策之一。
David Rosenthal:
我們與許多人交談,許多人告訴我們 Mellanox 的收購是有史以來最佳之一。
Jensen Huang:
我也是這么認(rèn)為的。它與我們通常所做的工作完全不相符,對每個人都是一個令人驚喜的決策。
Ben Gilbert:
如你所說,你站在行動附近,所以一旦有機(jī)會,你就能看到 LLM 即將嶄露頭角,每個人都需要它,我認(rèn)為我比其他人更早看到了。
Jensen Huang:
你需要將自己置于機(jī)會附近,不必追求完美,只需將自己放在樹旁邊,即使在蘋果掉到地面之前,只要你是第一個拾起它的人,那就足夠了,你只需將自己置于機(jī)會附近。因此,我的大部分工作是將公司定位在機(jī)會附近,并使公司具備貨幣化每個步驟的技能,以便我們能夠持續(xù)發(fā)展。
Ben Gilbert:
你剛才說的讓我想起巴菲特和芒格的一句名言,大意是“大概正確比完全錯誤要好”。
Jensen Huang:
是的,這句話很貼切。
Ben Gilbert:
想向你請教一些建議,因?yàn)槲覀冇泻芏鄤?chuàng)始人在聽這個節(jié)目。一些建議,尤其是對那些已經(jīng)具備 PMF 、正在不斷成長的有趣市場的公司,他們應(yīng)該如何看待競爭對手并應(yīng)對競爭?
Jensen Huang:
盡管有各種各樣的方法來思考競爭,但我們更喜歡以一種滿足通常還沒出現(xiàn)的需求的方式來定位自己。
David Rosenthal:
我聽你或其他人在視頻中說過“0-10 億美元的市場”?
Jensen Huang:
沒錯。這是我們的方式,意思是還沒有市場,但我們相信會有一個市場。通常當(dāng)你處在那個位置時,每個人都會試圖弄明白你為什么在這里,因?yàn)楫?dāng)我們第一次涉足汽車領(lǐng)域時,我們相信未來汽車將在很大程度上依賴軟件,如果它將在很大程度上依賴軟件,那么一個真正強(qiáng)大的計算機(jī)是必要的。
David Rosenthal:
我非常高興你提到了這一點(diǎn),因?yàn)槲蚁雴柲?,在我的印象中,至少在你的印象中,英偉達(dá)絕對是一個平臺公司,在全世界真正有意義的平臺公司寥寥無幾。我認(rèn)為也可以公平地說,在你創(chuàng)立的頭幾年,你是一家技術(shù)公司,而不是平臺公司。我能想到的每個公司,如果試圖作為平臺公司啟動,都會失敗。你必須首先作為一個技術(shù)公司起步。你是在什么時候考慮進(jìn)行平臺轉(zhuǎn)型的?就像你最初的顯卡就是技術(shù)。當(dāng)時沒有 CUDA,沒有平臺。
Jensen Huang:
你觀察到的不是錯誤的。然而,在我們公司內(nèi)部,我們一直是一家平臺公司。原因是從我們公司的第一天起,我們就有了這個叫 CUDA 的架構(gòu),這是統(tǒng)一設(shè)備架構(gòu) UDA。
David Rosenthal:
CUDA 是計算統(tǒng)一設(shè)備架構(gòu)。
Jensen Huang:
沒錯。原因是我們所做的,我們在最開始所做的,盡管 RIVA128 只有計算機(jī)圖形,但該架構(gòu)描述了各種加速器。我們會用那個架構(gòu),開發(fā)人員會對它進(jìn)行編程。事實(shí)上,英偉達(dá)的第一個商業(yè)策略是,我們將成為 PC 中的游戲機(jī)。游戲機(jī)需要開發(fā)人員,這就是為什么早在很多 年前英偉達(dá)的第一批員工中就有開發(fā)人員關(guān)系人的原因。所以我們認(rèn)識所有的游戲開發(fā)人員和所有 3D 開發(fā)人員。
David Rosenthal:
最初的商業(yè)計劃是像直接與任天堂和世嘉競爭,作為 PC 中的 一種建立, DirectX 競爭者。
Jensen Huang:
用 PC ,英偉達(dá)最初的架構(gòu)稱為 Direct NV,DirectX 是一個 API,它使操作系統(tǒng)能夠直接尋址硬件,我們一直是面向開發(fā)者的公司。
Ben Gilbert:
最初的嘗試是我們會讓開發(fā)者基于 Direct NV 來構(gòu)建,然后他們會為我們的芯片構(gòu)建,然后我們會有一個平臺。正如所發(fā)生的那樣,微軟已經(jīng)擁有所有這些開發(fā)者關(guān)系,所以你從艱難的教訓(xùn)中確切地學(xué)到了。
David Rosenthal:
微軟當(dāng)年這樣做,這可能是一個開發(fā)者平臺,我們會采用這個。
Jensen Huang:
不,但他們做了很多,他們做了很多正確的事情,我們做了很多錯誤的事情。
David Rosenthal:
你在 90 年代與微軟競爭。
Jensen Huang:
這很不同,但我很感激你這么說。但是我們與他們的競爭距離還很遙遠(yuǎn)。如果你現(xiàn)在看 CUDA 出現(xiàn)了,還有 OpenGL 、 DirectX ,但還有另一個擴(kuò)展,如果可以這么說,那個擴(kuò)展就是 CUDA 。那個 CUDA 擴(kuò)展允許一顆芯片,這顆芯片用于運(yùn)行 DirectX 和 OpenGL ,為 CUDA 創(chuàng)建一個安裝基礎(chǔ)。所以這就是。
David Rosenthal:
策略。你是那么堅持,我認(rèn)為從我們的研究來看,正是你的堅持讓每一個英偉達(dá)芯片都運(yùn)行 CUDA 。
Jensen Huang:
如果你是一個計算平臺,一切都必須兼容。我們是地球上唯一一個所有加速器在架構(gòu)上與其他加速器兼容的加速器。世界上現(xiàn)在活躍使用的 CUDA GPU 有 3 到 5 億,對吧,2.5 到 3 億。它們在架構(gòu)上都是兼容的,如果你知道 NV30 和 NV35 和 NV39 和 NV40 都是不同的,對吧,30 系與 40 系完全不兼容,那么你怎么可能擁有一個計算平臺呢?如果是這樣的話,我們公司里的一切都是可以協(xié)商的,除了這一點(diǎn)不可商量。
David Rosenthal:
我意識到現(xiàn)在,盡管 UDA 可以追溯到最初的所有芯片,但對我來說, CUDA 實(shí)際上是 UDA 的重生。
Jensen Huang:
事實(shí)上, UDA 一直延續(xù)到今天我們所有的芯片,順便說一句,我必須告訴看這期內(nèi)容的創(chuàng)始人和 CEO 們,成功公司和成功 CEO 的特征,我認(rèn)為已經(jīng)有相當(dāng)好的描述,有很多這樣的特征,我只是認(rèn)為創(chuàng)立成功的公司難度非常大,簡直難以置信。
我認(rèn)為技能是你可以在路上學(xué)到的東西,但是重要的時刻,某些情況必須聚合在一起,我確實(shí)認(rèn)為市場必須成為幫助你成功的因素之一,這顯然還不夠,因?yàn)樵S多人仍然失敗。
Ben Gilbert:
你還記得英偉達(dá)歷史上的任何時刻,當(dāng)時你會想做了一系列錯誤決定,但由于所有運(yùn)氣和技能的總和,最后才成功地得以幸存,你還記得任何我們曾像那樣險些失敗的時刻嗎?
Jensen Huang:
你指的是 RIVA128 嗎?正如我所說,我們做出的許多聰明決策,即便到今天看來也仍然很明智,我們設(shè)計芯片的方式與今天完全一樣,因?yàn)楫?dāng)時沒有人這樣做過,我們使出渾身解數(shù),出于絕望,因?yàn)槲覀儎e無選擇。
事實(shí)證明那就是應(yīng)該做事的方式,現(xiàn)在每個人都是那樣做的,因?yàn)槿绻憧梢砸淮瓮瓿桑瑸槭裁匆鰞纱文??為什么要制?7 次芯片,如果可以只制造 1 次呢?正確的,最具成本效益的,最具競爭力的速度是技術(shù),對吧?上市時間就是性能,所有這些都適用,如果我們可以一次完成,為什么要做兩次呢?所以 RIVA128 做出了許多偉大的決定,以及我們?nèi)绾味x產(chǎn)品,如何考慮市場需求和缺乏,以及我們?nèi)绾闻袛嗍袌龅鹊?。我們做出了一些驚人的好決定,當(dāng)時我們背靠墻壁,只有最后一次機(jī)會才能做到這一點(diǎn)。
Ben Gilbert:
一旦你使出渾身解數(shù),看看你能做什么,為什么下次還要設(shè)限呢?一直全力以赴才對。
David Rosenthal:
沒錯。不過,回想 1997 年,是否公平地說,那一刻消費(fèi)者開始真正看重游戲中的3D圖形性能?
Jensen Huang:
例如,讓我們談?wù)勥\(yùn)氣。如果 John Carmack 沒有決定使用加速器,因?yàn)橐涀 稓鐟?zhàn)士》是完全通過軟件渲染的,而英偉達(dá)的理念是,盡管通用計算機(jī)是一個很棒的東西,它會支持軟件等等,但我們覺得有些應(yīng)用如果不進(jìn)行加速就不可能實(shí)現(xiàn)或者成本會很高,這些應(yīng)用應(yīng)該進(jìn)行加速,3D圖形就是其中之一,當(dāng)然它不是唯一的,碰巧它是第一個,而且是一個非常好的例子。
我仍然記得我們第一次見 John Carmack 的時候,他非常強(qiáng)調(diào)使用CPU和軟件渲染器的好處。坦白地說,如果你看看當(dāng)時的《毀滅戰(zhàn)士》,即使用加速器也很難取得那么好的性能。如果你不進(jìn)行過濾,不進(jìn)行雙線性過濾,它的表現(xiàn)其實(shí)還不錯。
David Rosenthal:
《毀滅戰(zhàn)士》的問題是它需要 Carmack 來編程。
Jensen Huang:
沒錯,它需要 Carmack 來編程,這是一段天才的代碼,但盡管如此,軟件渲染做得確實(shí)很好,如果他沒有決定轉(zhuǎn)向 OpenGL 并為雷神之錘加速,坦白地說,會有什么殺手級應(yīng)用讓我們走到今天這一步呢?Carmack 和 Tim Sweeney 通過《雷神之錘》和《虛幻》為消費(fèi)級 3D 創(chuàng)建了頭兩個殺手級應(yīng)用,所以我欠他們很多。
David Rosenthal:
我想立刻回到你剛才說的,你說你講這些故事,然后說“我不知道創(chuàng)始人能從中獲得什么”。但我的確知道。我認(rèn)為如果你看看今天所有的大科技公司,谷歌可能是一個例外,它們確實(shí)都是從理解開發(fā)者、計劃構(gòu)建一個平臺、為開發(fā)者構(gòu)建工具開始的,所有這些公司,蘋果、亞馬遜。當(dāng)然,亞馬遜有 AWS , AWS 就是這樣開始的。所以我認(rèn)為這確實(shí)是一個教訓(xùn),正如你所說,這不會保證成功,但會讓你搭上這趟順風(fēng)車,如果蘋果真的落下來的話。
Jensen Huang:
我們有再多好的想法,你也不可能有世界上所有的好點(diǎn)子。擁有開發(fā)者的好處是你可以看到很多好的想法。
Ben Gilbert:
好的,隨著我們漸漸接近尾聲,我們花了很多時間談過去,我想稍微思考一下未來。我相信你花了很多時間思考這個問題,站在 AI 的前沿。我們正在進(jìn)入一個時代,軟件帶來的生產(chǎn)力,當(dāng)一個人使用軟件時,可以大大放大他們的影響和創(chuàng)造的價值,從長遠(yuǎn)來看,這對人類來說必須是一件令人驚喜的事。從短期來看,在我們理清這意味著什么的過程中,必然會比較顛簸。隨著 AI 變得越來越強(qiáng)大,越來越好地提高生產(chǎn)力,你認(rèn)為解決由此帶來的所有失業(yè)的解決方案是什么?
Jensen Huang:
首先,我們必須保證 AI 的安全, AI 安全有幾個不同的領(lǐng)域非常重要,顯然在機(jī)器人技術(shù)和自動駕駛汽車中,有一個整個 AI 安全領(lǐng)域,我們致力于功能安全、主動安全以及各種不同的安全領(lǐng)域。
什么時候需要人在循環(huán)中,什么時候人不在循環(huán)中可以接受?如何讓人逐漸不需要在循環(huán)中,但人還是主要在循環(huán)中?就信息安全而言,顯然偏見、錯誤信息以及尊重藝術(shù)家和創(chuàng)造者的權(quán)利,這整個領(lǐng)域值得關(guān)注,你已經(jīng)看到了我們在這方面做的一些工作,我們沒有爬網(wǎng),而是與蓋蒂圖像和快門股票合作,以一種商業(yè)公平的方式應(yīng)用 AI ,與 AI 共享。
在越來越大的語言模型和越來越高能動性的 AI 的未來,答案顯然是在可行的情況下,我認(rèn)為這種可行會持續(xù)很長時間,人要在這里的循環(huán)中。
已經(jīng)有很多不同的行業(yè)展示了如何建立安全、有利于人類的系統(tǒng),顯然,自動駕駛的工作方式,兩名飛行員體系,以及航空管制、冗余性、多樣性,所有設(shè)計安全系統(tǒng)的基本理念同樣適用于自動駕駛汽車等等。所以我認(rèn)為有很多創(chuàng)造安全 AI 的模式,我認(rèn)為我們需要應(yīng)用它們。
關(guān)于自動化,我的感覺是,我們拭目以待,但 AI 更有可能創(chuàng)造更多就業(yè)機(jī)會。從近期來看,問題是近期的定義是什么?原因是生產(chǎn)力提高首先帶來的是繁榮,當(dāng)公司獲得更大成功時,他們會雇用更多人,因?yàn)樗麄兿霐U(kuò)展到更多領(lǐng)域。
所以,如果你考慮一個公司,然后說好吧,如果我們提高生產(chǎn)力,他們需要更少的人,那是因?yàn)楣緵]有更多想法,但對于這些公司來說不是這樣的。如果你提高生產(chǎn)力,公司變得更有利可圖,他們通常會雇用更多人去擴(kuò)展新領(lǐng)域。只要我們相信有更多可以擴(kuò)展的領(lǐng)域,在藥物研發(fā)中還有更多想法,在患者轉(zhuǎn)移中還有更多想法,在零售業(yè)還有更多想法,在娛樂業(yè)還有更多想法,在技術(shù)上還有更多想法。只要我們相信還有更多想法,行業(yè)的繁榮,這來自于生產(chǎn)力的提高,會導(dǎo)致雇用更多人,進(jìn)行更多創(chuàng)意。
現(xiàn)在回顧歷史,我們可以公平地說,今天的行業(yè)大于 1000 年前世界各行業(yè)的總和。原因顯然是人類有很多想法。我認(rèn)為繁榮和生產(chǎn)力提升還有大量想法。
但我的感覺是,它可能會創(chuàng)造更多就業(yè)機(jī)會。顯然,凈增加的就業(yè)機(jī)會不能保證任何人不會失業(yè),我的意思是,這顯然是真的,更有可能的是,一些人會失去工作,失去給使用 AI 的其他人的工作,不太可能直接失去給 AI ,而是給使用 AI 的其他人,所以我認(rèn)為每個人首先要做的就是學(xué)習(xí)如何使用 AI 。
David Rosenthal:
這很貼切。我們稱之為摩爾定律的 Moritz 推論,以紅杉資本的 Michael Moritz 命名。
Jensen Huang:
紅杉是我們公司的第一家投資人。
David Rosenthal:
當(dāng) Michael 從 Don Valentine 那里接管紅杉時,他看著紅杉的回報,我想是第 3 輪或者第 4 輪融資,那里有思科,他說我們怎么可能超過那個回報?我做不到,Don 會讓我們很尷尬,我們永遠(yuǎn)趕不上那個,他們思考后意識到,隨著計算變得更便宜,更容易進(jìn)入經(jīng)濟(jì)的更多領(lǐng)域,因?yàn)樗兊酶阋?,可以更廣泛地采用,那么我們可以解決的市場應(yīng)該會變大。論點(diǎn)基本上就是 AI 會做同樣的事情,完全正確。
Jensen Huang:
我剛給你舉了完全相同的例子。哦,事實(shí)上,生產(chǎn)力提高并不會導(dǎo)致我們做更少的事情。生產(chǎn)力提高通常會導(dǎo)致我們做更多的事情。我們做的一切都會更簡單,但我們最終會做更多的事情。因?yàn)槲覀冇袩o限的雄心。這個世界有無限的雄心。所以,如果一個公司獲利更多,他們往往會雇用更多人做更多事情。
David Rosenthal:
人類有無盡的雄心。
Ben Gilbert:
人類總是會擴(kuò)張和消耗更多能量,并努力追求更多想法。這一直是我們物種的每個版本在時間上都是正確的。
我們從一個簡單的問題開始,根據(jù)這里我們看到的所有以科幻命名的會議室,你最喜歡的科幻書是什么?
Jensen Huang:
我從來沒有讀過科幻小說。
Ben Gilbert:
你對《星際迷航》的癡迷。
Jensen Huang:
只是看電視劇嗎?《星際迷航》是我最喜歡的。
David Rosenthal:
現(xiàn)在你每天開哪輛車上下班?相關(guān)問題,你還保留著 Supra 嗎?
Jensen Huang:
這是我最喜歡的車之一,也是我最喜歡的記憶之一。你們可能不知道,洛麗和我在一個圣誕節(jié)訂婚了,我們開著我的全新 Supra 回家,然后我們把它完全搞垮了,我愛那輛車,出于安全等原因,我現(xiàn)在被 Mercedes 的 EQS 接送,這是一款很棒的車,我被它迷住了。
David Rosenthal:
使用英偉達(dá)技術(shù)。
Jensen Huang:
是的,我們在 EQS 中使用的是中央計算機(jī)。
Ben Gilbert:
我知道我們已經(jīng)簡要談過商業(yè)書籍,但你最喜歡的一兩本書是什么?它們給你帶來了什么啟發(fā)?
Jensen Huang:
我認(rèn)為 Clayton Christensen 的系列是最好的,我的意思是這無可爭議的,原因是它非常直觀和合理,很容易理解,我?guī)缀醵甲x過,我真的很喜歡 Andrew Grove 的書,它們都很好。
Ben Gilbert:
你最喜歡 Don Valentine 的什么特質(zhì)?
Jensen Huang:
脾氣不好但令人喜愛。他最后一次決定投資我們公司時對我說,如果你輸?shù)粑业腻X,我會殺了你。當(dāng)然了。在之后的幾十 年里,每當(dāng)媒體對我們有好評時,他會說“干得好”,他就在報紙上寫這句話,然后把它郵寄給我,我希望能保留它們,不管怎樣,你能看出他是一個真心善意的人,他關(guān)心這些公司。
Ben Gilbert:
假設(shè)你回到 40 歲,什么是今天會反對,并且“say no”的東西?
Jensen Huang:
如果你合理安排自己的時間,確保不讓日歷控制你的時間,你會有足夠的時間,只是不要做每一件事,合理安排你的生活,做出犧牲,不要讓日歷控制你每天要做什么。注意我遲到了我們的會議,原因是當(dāng)我抬頭看的時候,我想你門在等我,已經(jīng)過了很久,但我們有時間,就是這樣。
Ben Gilbert:
哈哈哈哈?,F(xiàn)在有什么讓你害怕的么?如果有的話?
Jensen Huang:
我現(xiàn)在所害怕的和公司剛開始時一樣,那就是讓員工失望。許多人加入你的公司是因?yàn)樗麄兿嘈拍愕膲粝耄⑵渥鳛樽约旱膲粝?。你想成為他們正確的人,你想讓他們成功,你想讓他們能夠建立偉大的生活和偉大的公司,能夠建立偉大的職業(yè)生涯。你想讓他們享受這一切?,F(xiàn)在,我想讓他們能夠享受我所享受的好處和所有的偉大成功。我想讓他們享受這一切。所以,我認(rèn)為最大的恐懼是你讓他們失望。
David Rosenthal:
你什么時候意識到你不會再有其他工作了?這就是你的工作嗎?
Jensen Huang:
我不換工作。如果不是被說服從事視頻方面,我今天還會在 LSI Logic。我可以肯定。真的嗎?對不起。我會繼續(xù)我在做的事情。當(dāng)時我完全專注于幫助 LSI Logic 成為最好的公司。我是 LSI Logic 最好的大使。
David Rosenthal:
我的感覺是 LSI Logic 可能也改變了你對計算的觀點(diǎn)和理念。從我們的研究來看,你剛離開學(xué)校,剛?cè)?AMD 的時候,你相信類似 Terry Sanders 的觀點(diǎn),真正的男人有晶圓廠,你需要做整個棧,你必須做所有的事情。LSI Logic 改變了你。
Jensen Huang:
LSI Logic 讓我意識到,你可以用高級語言來表達(dá)晶體管、邏輯門和芯片功能。通過提高抽象級別,這現(xiàn)在被稱為高級設(shè)計,這個詞是 Harvey Jones 創(chuàng)造的,他在英偉達(dá)董事會,我在 Synopsys 的早期就認(rèn)識他。但在那個時期,有這樣一種信念,即你可以用高級語言來表達(dá)芯片設(shè)計,通過這種方式,你可以利用優(yōu)化編譯器和優(yōu)化邏輯和工具,變得更有生產(chǎn)力。
這種邏輯對我來說是非常合理的,當(dāng)時我 21 歲,我想追求這種愿景。坦白說,這在機(jī)器學(xué)習(xí)中已經(jīng)發(fā)生,在軟件編程中也發(fā)生了,我希望它發(fā)生在數(shù)字生物學(xué)中,這樣我們可以用一種更高級的語言來思考生物學(xué),可能一個 LLM 將是使其可表示的方式。這種轉(zhuǎn)變是如此革命性。我認(rèn)為這是該行業(yè)發(fā)生的最好的事情。我非常高興能成為其中的一部分,我處于核心位置。
所以,我看到一個行業(yè)改變了另一個行業(yè),如果沒有 LSI Logic 所做的工作,接著是 Synopsys,那么今天的計算機(jī)行業(yè)將是什么樣子呢?我在正確的時間出現(xiàn)在正確的地方見證了這一切。
David Rosenthal:
非???,聽起來 LSI Logic CEO 在你和 Don Valentine 之間說了好話,你知道嗎?
Jensen Huang:
我不知道,如何寫一份商業(yè)計劃,寫一個所有人都不知道對錯的財務(wù)預(yù)測,其實(shí)并不重要。但商業(yè)計劃可能能提出的重要事項(xiàng)。我認(rèn)為商業(yè)計劃的寫作應(yīng)該更簡短,它迫使你濃縮真正要解決的問題是什么,你認(rèn)為會出現(xiàn)的未滿足需求是什么,以及你要做的與眾不同的事情,這樣當(dāng)其他人意識到這是一個好主意時,他們不會蜂擁而至,讓你過時,所以它必須足夠難以完成,涉及產(chǎn)品定位、定價和進(jìn)入市場等方面的技能很多,但那些是可以學(xué)習(xí)的技能。
我描述的精髓是真正難的部分,在這方面我做得不錯,但是我完全不知道如何寫商業(yè)計劃。我很幸運(yùn),Wilfred Corrigan 對我在 LSI Logic 的工作非常滿意,他打電話給 Don Valentine ,告訴 Don 投資這個孩子,他會找上你,所以從那一刻起我就注定成功,讓我們站穩(wěn)腳跟。
Ben Gilbert:
只要你不虧錢就行。
Jensen Huang:
我認(rèn)為紅杉很不錯,我們可能是紅杉有史以來最好的投資之一。
Ben Gilbert:
他們現(xiàn)在還持有你們股份么?
Jensen Huang:
有兩家最早的 VC 合伙人在我們董事會中。
Ben Gilbert:
Sutter Hill Ventures 和紅杉?
Jensen Huang:
是的,Tench Coxe 和 Mark Stevens ,我不認(rèn)為這種情況經(jīng)常發(fā)生。我們在這方面可能是獨(dú)一無二的。我相信他們這些年來一直在創(chuàng)造價值,一直鼓舞人心,提供了偉大的智慧和支持,但他們也一直在受到公司的娛樂、啟發(fā)和回報,所以他們堅持了下來,我對此心存感激。
David Rosenthal:
最后一個問題,現(xiàn)在是 2023 年,英偉達(dá)成立 30 周年。如果你今天神奇地又年輕 30 歲,還在 2023 年,你要和最好的兩個朋友或者認(rèn)識的兩個最聰明的人一起去 Denny’s 餐廳,討論創(chuàng)業(yè),你會談?wù)搫?chuàng)立什么公司?
Jensen Huang:
我不會做的,原因很簡單,拋開我們會創(chuàng)立什么公司不說。第一,我不確定我為什么不會做,這與為什么創(chuàng)業(yè)如此艱難有關(guān)。建立一家公司和英偉達(dá)比我們?nèi)魏稳祟A(yù)期的難了一百萬倍。如果當(dāng)時我們意識到痛苦、脆弱和面臨的挑戰(zhàn),以及尷尬、羞恥,以及所有可能出錯的事情的清單,我不認(rèn)為任何人會創(chuàng)業(yè)。
沒有理智的人會這樣做。我認(rèn)為這是創(chuàng)業(yè)者的超能力,他們不知道有多難。他們只問自己,這有多難?直到今天,我還是會欺騙自己的大腦,覺得沒多難。因?yàn)槟氵€得醒來,今天又有多難?我們正在做的一切,有多難?Omniverse,在中心方面有多難?
David Rosenthal:
盡管你可以隨時退休,你不打算這么快退休嗎?你還會繼續(xù)下去,
Jensen Huang:
沒錯,我仍然非常享受,而且我還在稍微增值。但是創(chuàng)業(yè)者的訣竅就是你必須讓自己相信這沒那么難,因?yàn)閷?shí)際上會比你想象的難得多。所以如果我現(xiàn)在拿著所有的知識回去,說我要再次忍受那整個旅程,我認(rèn)為那太艱難了。簡直太艱難了。
Ben Gilbert:
你對如何應(yīng)對建立這樣公司的情感創(chuàng)傷有任何建議或支持系統(tǒng)嗎?
Jensen Huang:
我有家人和朋友,這里所有同事,我被在這里工作 30 年的人包圍著,對吧?我被這些從未放棄過的人圍繞著,他們從未放棄過我。這是全盤事實(shí)。能夠回家,你的家人全力支持你要做的一切,不管順境或逆境,他們?yōu)槟愫凸靖械阶院馈D阈枰@樣的支持。
你需要周圍人毫不動搖的支持。我們公司的所有早期人員,他們從未放棄過公司和我們,你需要這樣的支持,我可以肯定,幾乎每一個成功的公司和創(chuàng)業(yè)者在遭遇艱難挑戰(zhàn)時,都有這樣的支持系統(tǒng)。
David Rosenthal:
我無法想象這有多重要的意義。我知道任何公司都非常重要。但對你來說,考慮到我覺得英偉達(dá)的旅程在這些方面特別突出,對吧?你經(jīng)歷了公開市場上近80%的跌幅,可能不止一次,但從第一天開始就有投資者支持你,這一定非常非常了不起。
Jensen Huang:
支持確實(shí)令人難以置信,你討厭任何這些事情發(fā)生,其中大多數(shù)是你無法控制的。但你知道,80%的跌幅,無論如何看都是非凡的。我忘了具體數(shù)字,但我的意思是,我們的市值一度跌到 20~30 億美元,因?yàn)槲覀儧Q定進(jìn)入 CUDA 和做所有的工作,你的信念系統(tǒng)必須非常強(qiáng)大。
你必須真正相信并真正渴望它,否則,忍受這一切就太難了,所有人都在質(zhì)疑你,員工會有疑問,外界在質(zhì)疑你,這有點(diǎn)尷尬,當(dāng)你的股票價格下跌時,這更尷尬,無論你如何看待它,這很難解釋,所以對所有這些情況都沒有好的答案,CEO 也是人,公司是由人組成的,這些挑戰(zhàn)難以忍受。
David Rosenthal:
在我們最近的英偉達(dá)集中評論了現(xiàn)在 Rivian 的情況,他說對任何其他公司來說,這會是一個岌岌可危的境地。但對英偉達(dá)來說,這只是老生常談,你們已經(jīng)習(xí)慣了這些大幅波動。
Jensen Huang:
要牢記的關(guān)鍵是,始終關(guān)注你正在參與的市場機(jī)會。這有助于告知你的公司規(guī)模。很久以前,有人告訴我英偉達(dá)永遠(yuǎn)不可能超過 10 億美元。
顯然,這低估了市場機(jī)會的規(guī)模。確實(shí),沒有芯片公司可以變得如此之大。但是,如果你不是芯片公司,為什么這適用于你呢?
當(dāng)前技術(shù)獨(dú)特之處在于,技術(shù)只是一種工具,規(guī)模有限,與今天的情況不同的是,我們正在制造智能,制造工作的世界,這就是 AI,以及執(zhí)行工作任務(wù)的世界,具有生產(chǎn)力的 AI 工作,具有創(chuàng)造力的智能工作。
這個市場規(guī)模是巨大的,可以用萬億來衡量。一種思考方式是,如果你為汽車制造一款芯片,有多少輛汽車,它們會消耗多少芯片?這是一種思考方式。但是,如果你建立一個系統(tǒng),在需要時可以協(xié)助駕駛汽車。一個自動駕駛員的價值是多少?
這時,問題顯然變得更大,機(jī)會變得更大。如果我們能神奇地為每輛汽車配備一位司機(jī),那會是什么樣子?那個市場有多大?顯然,那是一個更大的市場。所以技術(shù)行業(yè)正處于我們發(fā)現(xiàn)的東西,那就是不僅僅把英偉達(dá)視為一家芯片公司,而是在芯片之上構(gòu)建的AI 公司,市場機(jī)會增長了可能 1000 倍。
如果未來科技公司變得更大,不要感到驚訝,因?yàn)槟闵a(chǎn)的東西非常不同,這就是思考你的機(jī)會有多大,你就有多大的方式。
作者:有新;來源公眾號:有新Newin
本文由 @有新Newin 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自 Pixabay,基于 CC0 協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
昨天英偉達(dá)市值損失4000億美元~