“大模型、NFC、人生”與第一性原理
任何一個系統(tǒng)都有自己第一性的原理,是一個根基性命題或假設(shè),不能被缺省,也不能被違反。這篇文章作者將用通俗易懂的例子來為我們介紹“第一性原理”的概念和使用方法,歡迎大家閱讀~
有一天,我和一個朋友聊起了GPT的模型大小。
我提到GPT3的模型大概有40GB,但他卻認(rèn)為應(yīng)該是幾百GB。
我說他弄錯了,因為我清楚地記得自己曾經(jīng)問過ChatGPT:
但是,后來我查了一下,發(fā)現(xiàn)他是對的,GPT-3的模型大小確實是幾百GB。
這一次,我被ChatGPT忽悠了。
其實,如果我們使用“第一性原理”,就可以估算出這個數(shù)值的大致范圍。
深度學(xué)習(xí)訓(xùn)練出的大模型中,最主要的是億萬個神經(jīng)元,而每個神經(jīng)元最重要的是其參數(shù),即節(jié)點的權(quán)重和偏置值。
GPT-3的模型共有1750億個參數(shù),而這些參數(shù)通常使用4個字節(jié)的浮點數(shù)來保存的。
因此,我們可以通過簡單的乘法來估算出GPT-3的模型大小。
具體來說,1750 * 4 = 7000億字節(jié),即700GB。
實際上,GPT-3的模型是800GB,與上述估算接近。
類似地,GPT-1、GPT-2的模型大小也符合“乘4”的規(guī)律。
GPT-1有1.17億個參數(shù),模型大小約為0.47GB(1.17億*4=0.468G)。
GPT-2有15億個參數(shù),模型大小約為6GB(15億*4=6G)。
你看看,了解了一個事物的本質(zhì),遵循“第一性原理”,就能做出較為準(zhǔn)確的推理和判斷。
所謂“第一性原理”,是一種從基本原理出發(fā)、剝離已有經(jīng)驗和假設(shè)的思考方式,由亞里士多德提出。
其實,就是追求底層邏輯、遵循本質(zhì)的原理。
馬斯克對“第一性原理”特別推崇,并不斷進(jìn)行實踐。
比如,利用“第一性原理”造火箭。
當(dāng)馬斯克開始研究火箭制造成本時,他發(fā)現(xiàn)傳統(tǒng)方法成本極高。
通過運用第一性原理,他深入研究火箭的基本組成部分和制造過程,找到了降低成本的方法,從而創(chuàng)立了SpaceX。
這使得火箭制造成本大幅降低,實現(xiàn)了可回收和重復(fù)使用的火箭,為航天領(lǐng)域帶來了革命性的改變。
利用“第一性原理”,特斯拉制定了“純視覺”的自動駕駛技術(shù)路線。
馬斯克和特斯拉團(tuán)隊認(rèn)為,人類駕駛員主要靠視覺來駕駛汽車。
他們從這個基本原理出發(fā),堅信純視覺系統(tǒng)可以實現(xiàn)完全自動駕駛,而不依賴激光雷達(dá)等其他傳感器。
因此,特斯拉專注于優(yōu)化攝像頭和計算機(jī)視覺算法,大大提高了自動駕駛性能,使特斯拉的自動駕駛技術(shù)在業(yè)界處于領(lǐng)先地位。
遵循“第一性原理”制造特斯拉“人形”機(jī)器人Optimus。
特斯拉機(jī)器人是特斯拉公司計劃開發(fā)的一款人形機(jī)器人,旨在實現(xiàn)自動化生產(chǎn)、家庭服務(wù)等功能。
從第一性原理出發(fā),馬斯克認(rèn)為這個世界上大部分基礎(chǔ)設(shè)施和工具都是為人類設(shè)計的。
因此,開發(fā)一個能夠與人類一樣靈活地使用這些工具和設(shè)施的機(jī)器人是有意義的。
特斯拉機(jī)器人的設(shè)計目標(biāo)是解決一系列通用勞動問題,從而提高生產(chǎn)效率和改善人們的生活質(zhì)量。
其實,在生活當(dāng)中,我們也可以應(yīng)用“第一性原理”。
例如,用“第一性原理”復(fù)制門禁卡。
有一天,我想把門禁卡存入手機(jī)的NFC軟件中(稱為手機(jī)A),方便開啟單元樓的門。
但手頭只有另外一個已經(jīng)復(fù)制了卡的手機(jī)(稱為手機(jī)B),而沒有實體卡。
在研究了一下之后,我發(fā)現(xiàn)手機(jī)的NFC軟件并沒有分享卡片的功能。
在幾乎要放棄的時候,我想起了“第一性原理”——手機(jī)B的NFC卡既然能打開門禁,那么它工作時其實就相當(dāng)于是一張實體門禁卡。
于是,我把手機(jī)B中的門禁卡“打開”,將手機(jī)A靠近手機(jī)B,并選擇添加門禁卡。
結(jié)果,成功地將門禁卡復(fù)制到了手機(jī)A當(dāng)中。
接著,我們再思考一個更加宏大的哲學(xué)問題:人生的目的和意義究竟是什么?
對于這個問題,我們可以嘗試運用“第一性原理”來加以探討。
在這個崇尚物質(zhì)和金錢的社會里,很多人可能認(rèn)為人活著就是為了掙錢、為了擁有豪車豪宅、為了追求名利地位。
然而,如果我們深入思考,追求這些東西的最終目的究竟是什么呢?
當(dāng)我們不斷追問背后的原因,我們會發(fā)現(xiàn),所有這些追求的最終目的都是為了實現(xiàn)的幸福和快樂。
因此,無論美丑、貧富、無論處于逆境還是順境,我們都應(yīng)該學(xué)會在當(dāng)下的每一天,追求和實現(xiàn)幸??鞓返哪芰?,而不是陷入對現(xiàn)在的抱怨,對未來的假設(shè)和等待當(dāng)中。
第一性原理,你值得擁有。
專欄作家
朱百寧,微信公眾號:八點三十五,人人都是產(chǎn)品經(jīng)理專欄作家。前百度品牌總監(jiān)、螞蟻產(chǎn)品總監(jiān),著有《自傳播》一書,現(xiàn)在專注于人工智能以及產(chǎn)品設(shè)計等領(lǐng)域。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于CC0協(xié)議。
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
第一性原理:從底層邏輯,本質(zhì)規(guī)律的角度來思考,確實可以解決一切問題,不管是精神世界還是物理世界都是有規(guī)律存在的,獲取了底層本質(zhì),在結(jié)合當(dāng)前的環(huán)境條件,解決問題的方法論就出現(xiàn)了,所以我們要有學(xué)習(xí)和認(rèn)知“底層邏輯”的能力。
無論是在科技創(chuàng)新上,生活上還是人生哲理的認(rèn)識上,我們都可以嘗試運用“第一性原理”來思考,這個角度真的好特別又好有邏輯。