大模型這個熱門話題在過去一年里引發(fā)了大量討論，那么，你是否知曉大模型究竟是怎么生成文字的？這篇文章里，作者嘗試講透其生成原理，并帶你了解四種構(gòu)建AI應(yīng)用的大模型技術(shù)架構(gòu)，一起來看看吧。

在人工智能的領(lǐng)域，大模型在去年已經(jīng)成為了一個熱門的話題。各大廠商如谷歌、微軟、OpenAI等，都在積極研發(fā)和應(yīng)用大模型技術(shù)。這些模型在語言理解、圖像識別、推薦系統(tǒng)等方面都表現(xiàn)出了驚人的能力，甚至在某些任務(wù)上，已經(jīng)超越了人類的表現(xiàn)。

或許你用過，驚嘆于它的神奇，或許你沒有用過，聽著它的傳奇。無論如何，都懂那么一點點，但很難講的清，它到底是怎么生成的？

我們接下來就講透它生成的原理，并了解四種構(gòu)建AI應(yīng)用的大模型技術(shù)架構(gòu)。

一、大模型的生成原理

首先，我們要了解的是，GPT大模型是一種基于深度學(xué)習(xí)的自然語言處理模型，也就是LLM。

（敲黑板，LLM是一種生成文字的模型，文生圖比如DALL·E，它和LLM都是多模態(tài)語言模型的分支）它的工作原理可以簡單地理解為“學(xué)習(xí)語言的規(guī)律”，它的生成方式只是根據(jù)上文，猜下一個詞的概率。

那它為什么會掌握這么多的知識？那是因為在模型訓(xùn)練過程中，GPT模型會閱讀大量的文本數(shù)據(jù)，然后學(xué)習(xí)這些文本中的語言規(guī)律。

這個過程可以類比為人類學(xué)習(xí)語言的方式。當(dāng)我們是嬰兒時，我們會通過聽父母和周圍的人說話，學(xué)習(xí)語言的規(guī)律。

做了8年产品经理后，我是这么看产品经理的

我个人是从非常初级的产品经理做起，再到负责一个大产品的项目管理，现在有幸跳出了日常基础的工作更多的去看产品的PMF，product strategy...

查看详情 >

比如，我們會學(xué)習(xí)到“我”通常后面會跟“是”，“你”通常后面會跟“好”等等。這就是一種語言規(guī)律。GPT模型就是通過類似的方式，學(xué)習(xí)語言的規(guī)律。

但是，GPT模型的學(xué)習(xí)能力遠(yuǎn)超人類。

它可以閱讀數(shù)以億計的文本，學(xué)習(xí)到非常復(fù)雜的語言規(guī)律。這就是為什么GPT模型可以生成非常自然、連貫的文本。

二、GPT模型如何學(xué)習(xí)語言的規(guī)律

說到這里，需要我們了解一下GPT模型的內(nèi)部結(jié)構(gòu)。GPT模型是由多層神經(jīng)網(wǎng)絡(luò)組成的。每一層神經(jīng)網(wǎng)絡(luò)都可以抽取文本的某種特征。比如：

• 第一層神經(jīng)網(wǎng)絡(luò)可能會抽取出單詞的拼寫規(guī)律；
• 第二層神經(jīng)網(wǎng)絡(luò)可能會抽取出詞性的規(guī)律；
• 第三層神經(jīng)網(wǎng)絡(luò)可能會抽取出句子的語法規(guī)律等等。

通過這種層層抽取，GPT模型可以學(xué)習(xí)到非常深層次的語言規(guī)律。

當(dāng)GPT模型生成文本時，它會根據(jù)已有的文本，預(yù)測下一個單詞，整體就是通過這種方式，生成連貫的文本。

當(dāng)然，這只是一個非常簡化的版本。實際上，GPT模型的工作原理還涉及到很多復(fù)雜的數(shù)學(xué)和計算機科學(xué)知識。

三、大模型的四種應(yīng)用技術(shù)架構(gòu)

大模型的厲害之處，其實不止在于它很像我們?nèi)藢W(xué)習(xí)語言，而更大的作用在于它未來會改變我們的生活和職場。從整體現(xiàn)有最新的架構(gòu)來看，其實有四種大模型的應(yīng)用架構(gòu)，從上往下，依次從簡單到復(fù)雜。

第一種：Prompt（指令工程）

指令工程聽著好像很遙遠(yuǎn)，其實就是通過下面這個輸入框觸發(fā)的：

看上去簡單，但這個很考驗一個人寫prompt的“功力”。

prompt的作用就是通過引導(dǎo)模型生成特定類型的文本。一個好的prompt可以引導(dǎo)模型以期望的方式生成文本。例如，如果我們想讓模型寫一篇關(guān)于全球變暖的文章，我們可以給模型一個prompt，如“全球變暖是一個嚴(yán)重的問題，因為…”。模型會根據(jù)這個prompt生成一篇文章。

這種方法的優(yōu)點是簡單直觀，但缺點是可能需要大量的嘗試才能找到一個好的prompt。

第二種：Function calling（函數(shù)調(diào)用）

Function calling是一種更深入的應(yīng)用架構(gòu)，它通過調(diào)用模型的內(nèi)部函數(shù)，直接獲取模型的某些特性。

例如，我們可以調(diào)用模型的詞向量函數(shù)，獲取單詞的詞向量。

這種方法的優(yōu)點是可以直接獲取模型的內(nèi)部信息，但缺點是需要深入理解模型的內(nèi)部結(jié)構(gòu)。

第三種：RAG（Retrieval-Augmented Generation）

RAG是一種結(jié)合檢索和生成的應(yīng)用架構(gòu)。

在這種方法中，模型首先會檢索相關(guān)的文本，然后用這些文本作為輸入，讓模型生成答案。

例如，如果我們想讓模型回答一個關(guān)于全球變暖的問題，模型可以先檢索到一些關(guān)于全球變暖的文章，然后根據(jù)這些文章生成答案。

這種方法的優(yōu)點是可以利用大量的外部信息，提高模型的生成質(zhì)量。但缺點是需要大量的計算資源，因為需要對大量的文本進行檢索。

第四種：Fine-tuning（微調(diào)）

Fine-tuning是一種在特定任務(wù)上進一步訓(xùn)練模型的應(yīng)用架構(gòu)（如計算鋼材的消耗量等等）。

在這種方法中，模型首先會在大量的文本上進行預(yù)訓(xùn)練，學(xué)習(xí)語言的基本規(guī)律。然后，模型會在特定任務(wù)的數(shù)據(jù)上進行fine-tuning，學(xué)習(xí)任務(wù)的特定規(guī)律。

例如，我們可以在情感分析任務(wù)上fine-tuning模型，讓模型更好地理解情感。

這種方法的優(yōu)點是可以提高模型在特定任務(wù)上的表現(xiàn)，但缺點是需要大量的標(biāo)注數(shù)據(jù)。

最后的話

總的來說，GPT大模型生成結(jié)果的原理，就是通過學(xué)習(xí)語言的規(guī)律，然后根據(jù)已有的語境，預(yù)測下一個單詞，從而生成連貫的文本。這就像我們?nèi)祟愓f話或?qū)懳恼乱粯樱鶕?jù)已有的語境，預(yù)測下一個單詞或短語。只不過，GPT模型的學(xué)習(xí)能力和生成能力，遠(yuǎn)超我們?nèi)祟悺?/p>

我們可以看到，AI在學(xué)習(xí)我們?nèi)祟悾鼈儾恢＞?，孜孜以求，我們?nèi)祟愐矐?yīng)該向它們學(xué)習(xí)，不帶批判和有色眼鏡的看待身邊人的觀點，用僅剩的群體智慧來繼續(xù)引領(lǐng)我們走向下一個新世界。

后續(xù)還會對四種技術(shù)架構(gòu)進行深入探討，歡迎交流~

希望帶給你一點啟發(fā)，加油。