隨著這幾年AI領(lǐng)域的火爆，不少同學(xué)都想轉(zhuǎn)行做AI產(chǎn)品經(jīng)理。這篇文章，作者分享了AI產(chǎn)品經(jīng)理的基礎(chǔ)知識(shí)——大模型相關(guān)的基礎(chǔ)，想做AI產(chǎn)品的同學(xué)不可錯(cuò)過(guò)了。

本系列會(huì)深入淺出為小白介紹AI知識(shí)，尤其是近年火起來(lái)的大模型、AIGC、Agent等內(nèi)容

大模型，其實(shí)最大的不同就是——大

哪里大？——參數(shù)量大、數(shù)據(jù)量大、計(jì)算資源大

想象一下AI就像是一個(gè)超級(jí)聰明的助手，它可以幫助我們做很多事情，比如回答問(wèn)題、寫(xiě)文章、甚至是開(kāi)車。而大模型，就是這個(gè)助手的大腦。

01 大模型的基礎(chǔ)認(rèn)知

1. 參數(shù)數(shù)量“大”：大模型最直接的體現(xiàn)就是參數(shù)的數(shù)量。參數(shù)，可以想象成是模型的“記憶點(diǎn)”。就像一個(gè)人的人腦，有很多神經(jīng)元，就可以記住很多東西，他代表的是可以記憶的能力。記的東西越多，能做的事情就越多。大模型的參數(shù)多到驚人，比如GPT-3，有1750億個(gè)參數(shù)，每個(gè)參數(shù)都存儲(chǔ)了模型學(xué)習(xí)到的一小部分知識(shí)。參數(shù)數(shù)量越多，模型就越能夠捕捉和表達(dá)復(fù)雜的語(yǔ)言模式和知識(shí)關(guān)系。這就好比一個(gè)人有1750億個(gè)記憶點(diǎn)，能記住的東西可就太多了。
2. 數(shù)據(jù)訓(xùn)練量“大”：有了記憶能力還需要接觸到大量的知識(shí)，大模型需要大量的數(shù)據(jù)來(lái)“喂飽”它們，這樣才能學(xué)習(xí)到各種知識(shí)。這就像是一個(gè)頂級(jí)廚師，需要很多食材才能做出一桌豐盛的宴席。大模型也是這樣，它們需要海量的數(shù)據(jù)來(lái)訓(xùn)練，比如網(wǎng)頁(yè)、書(shū)籍、文章等等，這樣才能學(xué)會(huì)理解和生成語(yǔ)言。僅以GPT-3為例，它的訓(xùn)練數(shù)據(jù)包含了大約5000億個(gè)tokens，相當(dāng)于數(shù)萬(wàn)億個(gè)單詞。如果一個(gè)人閱讀速度很快，每天可以讀10萬(wàn)字，每年365天不眠不休的讀書(shū)，要讀完GPT-3的訓(xùn)練數(shù)據(jù)量大約需要10000年。
3. 計(jì)算資源量“大”：大模型這個(gè)大腦在學(xué)習(xí)知識(shí)的時(shí)候，需要的計(jì)算資源量也是“大”的。這就好比你要開(kāi)一個(gè)大型派對(duì)，需要一個(gè)大場(chǎng)地和很多食物。大模型訓(xùn)練需要強(qiáng)大的計(jì)算機(jī)，比如GPU或者TPU，這些都是很貴的硬件。而且，訓(xùn)練一個(gè)大模型可能要花上幾周甚至幾個(gè)月的時(shí)間，這就像是在準(zhǔn)備一場(chǎng)大型的馬拉松比賽。

02 大模型的工作原理

涌現(xiàn)

涌現(xiàn)，是一種現(xiàn)象——當(dāng)系統(tǒng)的復(fù)雜度達(dá)到一定程度時(shí)，就會(huì)出現(xiàn)一些新的特性，這些特性是單個(gè)部分所沒(méi)有的。就像一群螞蟻，每只螞蟻都很普通，但當(dāng)它們聚集在一起時(shí)，就能建造出復(fù)雜的蟻穴。

做交互设计10年，我为何转岗到产品经理？

真正转岗之后，我发现很多工作还是超出了自己的想象。产品经理的工作确实比较杂。理论上，产品经理的工作包括了产品的方方面面，从市场研究、用户调研、数据分析...

查看详情 >

我們的大腦就像是一個(gè)超級(jí)復(fù)雜的機(jī)器，里面有很多神經(jīng)元，它們通過(guò)連接來(lái)傳遞信息。這些神經(jīng)元就像是大模型里的參數(shù)，幫助我們學(xué)習(xí)和記憶。在我們小時(shí)候大腦發(fā)育時(shí)，神經(jīng)元的數(shù)量和連接會(huì)增加，我們就能學(xué)會(huì)更多的東西，比如讀英語(yǔ)、做數(shù)學(xué)題、騎自行車、彈鋼琴等等。后來(lái)長(zhǎng)大了，我們結(jié)合跨學(xué)科的知識(shí)，解決更加復(fù)雜的問(wèn)題。這本質(zhì)上其實(shí)就是我們有足夠多的神經(jīng)元，并且學(xué)到了足夠多的知識(shí)，自然而然具備了一些“進(jìn)階的能力”。

大模型也是這樣，它們有很多參數(shù)，這些參數(shù)就像是模型的“神經(jīng)元”。參數(shù)越多，模型的“大腦”就越復(fù)雜，能夠處理的信息就越多，學(xué)習(xí)能力也就越強(qiáng)。同時(shí)大模型學(xué)到了全世界的知識(shí)，涌現(xiàn)現(xiàn)象便產(chǎn)生了：當(dāng)參數(shù)數(shù)量足夠多，模型的結(jié)構(gòu)足夠復(fù)雜時(shí)，模型就能展現(xiàn)出一些驚人的能力，比如理解語(yǔ)言的細(xì)微差別，或者生成逼真的圖像。這些能力并不是單個(gè)參數(shù)直接賦予的，而是在大量參數(shù)相互作用的過(guò)程中自然產(chǎn)生的。

涌現(xiàn)的形式

比如說(shuō)，GPT-3這個(gè)大模型，它有1750億個(gè)參數(shù)。這么多的參數(shù)讓它能夠理解我們說(shuō)的話，甚至能寫(xiě)詩(shī)、編故事。這些能力不是任何一個(gè)參數(shù)單獨(dú)能做到的，而是所有參數(shù)一起工作的結(jié)果。

再比如，DALL-E這個(gè)模型，它可以根據(jù)我們的描述生成圖像。比如你告訴它“一只穿著太空服的貓”，它就能畫(huà)出這樣的圖像。這種創(chuàng)造力，也是因?yàn)槟Ｐ椭杏凶銐蚨嗟膮?shù)，它們能夠捕捉到描述中的信息，并將其轉(zhuǎn)化為圖像。

所以，大模型的參數(shù)規(guī)模和涌現(xiàn)的關(guān)系，就像是一群螞蟻建造蟻穴，或者一群神經(jīng)元讓我們學(xué)會(huì)騎自行車。當(dāng)數(shù)量和復(fù)雜度達(dá)到一定程度時(shí)，就會(huì)出現(xiàn)一些神奇的、新的特性。這就是大模型的魅力所在，也是為什么科學(xué)家們對(duì)它們?nèi)绱酥浴?/p>

文字生成原理

以大語(yǔ)言模型LLM為例，我們形象的介紹一下他的生成內(nèi)容的原理。

想象一下，你有一個(gè)超級(jí)聰明的助手，這個(gè)助手的大腦里裝滿了成千上萬(wàn)本書(shū)、文章和網(wǎng)頁(yè)。這個(gè)助手就是大語(yǔ)言模型。它不是真的人，但它通過(guò)學(xué)習(xí)大量的文字資料，學(xué)會(huì)了如何理解和生成人類的語(yǔ)言。

模型學(xué)習(xí)的過(guò)程，就像是在玩一個(gè)“模仿游戲”。它看了大量的文本，然后學(xué)習(xí)這些文本中的模式。比如，它學(xué)會(huì)了在“生日快樂(lè)”后面通常會(huì)跟著“快樂(lè)”，在“對(duì)不起”后面可能會(huì)跟著“我錯(cuò)了”。這樣，當(dāng)它在生成內(nèi)容時(shí)，就會(huì)用到這些學(xué)到的模式。

大語(yǔ)言模型生成內(nèi)容的原理，你可以想象成是一個(gè)“預(yù)測(cè)游戲”。模型看一段文字，然后猜下一個(gè)字或者下一個(gè)詞是什么。比如，我給你說(shuō)“今天天氣真”，你可能會(huì)想，下一個(gè)字可能是“好”。大語(yǔ)言模型也是這樣，它根據(jù)前面的文字，預(yù)測(cè)下一個(gè)最可能的字或者詞。

比如說(shuō)，我想讓大語(yǔ)言模型幫我寫(xiě)一封邀請(qǐng)函。我給它一個(gè)開(kāi)頭：“親愛(ài)的李先生，我們誠(chéng)邀您參加本周六的聚會(huì)”。然后，模型就會(huì)開(kāi)始預(yù)測(cè)下一句話是什么。它可能會(huì)說(shuō)：“這將是一個(gè)難忘的夜晚，我們將享受美食和精彩的音樂(lè)。”這樣，一句接一句，直到生成完整的邀請(qǐng)函。

大語(yǔ)言模型還有一個(gè)神奇的地方，就是它有時(shí)候能生成一些我們意想不到的內(nèi)容，就像它有自己的“直覺(jué)”一樣。比如，你讓它寫(xiě)一個(gè)關(guān)于“未來(lái)城市”的故事，它可能會(huì)創(chuàng)造出一些全新的概念，比如“飛行汽車”或者“海底住宅”。這些內(nèi)容可能是它從各種科幻小說(shuō)和文章中學(xué)到的，然后結(jié)合在一起，創(chuàng)造出新的故事。

03 大模型的分類

基于數(shù)據(jù)類型

咱們來(lái)聊聊大模型的分類，按照數(shù)據(jù)類型來(lái)分有三種：語(yǔ)言模型、計(jì)算機(jī)視覺(jué)（CV）模型和多模態(tài)模型。

1. 語(yǔ)言模型

語(yǔ)言模型，就像它的名字一樣，是專門(mén)處理和理解人類語(yǔ)言的大模型。它們能夠閱讀和生成文本，就像我們現(xiàn)在聊天一樣自然。這些模型通常是基于大量的文本數(shù)據(jù)訓(xùn)練出來(lái)的，能夠捕捉到語(yǔ)言的復(fù)雜性和多樣性。例如：GPT 系列（OpenAI）、Bard（Google）、文心一言（百度）。

2. 計(jì)算機(jī)視覺(jué)（CV）模型

計(jì)算機(jī)視覺(jué)模型，就像是給計(jì)算機(jī)裝上了眼睛，讓它們能夠“看”圖像和視頻，并理解其中的內(nèi)容。這些模型在圖像識(shí)別、目標(biāo)檢測(cè)等方面有著廣泛的應(yīng)用。例如：VIT 系列（Google）、文心UFO、華為盤(pán)古 CV、INTERN（商湯）。

3. 多模態(tài)模型

多模態(tài)模型就像是全能型的藝術(shù)家，它們能夠處理和理解多種類型的數(shù)據(jù)，比如文本、圖像、聲音等。這種模型在理解復(fù)雜場(chǎng)景和提供更豐富交互體驗(yàn)方面有著巨大的潛力。例如：DingoDB 多模向量數(shù)據(jù)庫(kù)（九章云極 DataCanvas）、DALL-E(OpenAI)、悟空畫(huà)畫(huà)（華為）、midjourney。

基于應(yīng)用領(lǐng)域

按照應(yīng)用領(lǐng)域的分類，主要分為通用領(lǐng)域大模型、行業(yè)大模型和垂直大模型這三種。

1. 通用領(lǐng)域大模型

通用領(lǐng)域大模型就像是AI界的“全能選手”，它們不局限于特定的領(lǐng)域，而是在多個(gè)領(lǐng)域和任務(wù)上都能發(fā)揮作用。這些模型通常在大規(guī)模的多領(lǐng)域數(shù)據(jù)集上進(jìn)行訓(xùn)練，學(xué)習(xí)到廣泛的知識(shí)和技能，具備跨領(lǐng)域的泛化能力。

特點(diǎn)：

• 廣泛適用性：能夠處理各種任務(wù)，如自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等，適用于不同行業(yè)和場(chǎng)景。
• 多模態(tài)處理：能夠處理多種數(shù)據(jù)類型，如文本、圖像、語(yǔ)音等，實(shí)現(xiàn)跨模態(tài)的理解和生成。
• 深度學(xué)習(xí)基礎(chǔ)：通?；谏疃葘W(xué)習(xí)架構(gòu)，如Transformer，通過(guò)多層神經(jīng)網(wǎng)絡(luò)捕捉復(fù)雜的數(shù)據(jù)模式。

例如，GPT系列：由OpenAI開(kāi)發(fā)的一系列通用大模型，能夠進(jìn)行文本生成、翻譯、問(wèn)答等多種語(yǔ)言任務(wù)。

2. 行業(yè)大模型

行業(yè)大模型則是AI界的“行業(yè)專家”，它們針對(duì)特定行業(yè)或領(lǐng)域進(jìn)行優(yōu)化，使用行業(yè)相關(guān)的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練或微調(diào)，以提高在該領(lǐng)域的性能和準(zhǔn)確度。

特點(diǎn)：

• 領(lǐng)域?qū)＞?/strong>：針對(duì)特定行業(yè)或應(yīng)用，如醫(yī)療、金融、教育等，提供更精準(zhǔn)、專業(yè)的解決方案。
• 數(shù)據(jù)針對(duì)性：訓(xùn)練依賴于特定領(lǐng)域的專業(yè)數(shù)據(jù)，這使得模型在特定場(chǎng)景下的表現(xiàn)更為出色。