生成式AI已經(jīng)發(fā)展數(shù)年，還是有不少人弄不清楚Transformer、GPT、大模型、AIGC這些詞匯的概念。有很多非從業(yè)者想要了解ChatGPT到底會如何影響我們，或者有很多當?shù)攱尩谋缓⒆訂柕絽s不知道怎么“幼兒園化”地把這些概念講清楚。這篇文章，我們就來解決下這個問題。

Transformer、GPT、InstructGPT、大模型、AIGC……你是不是被這個概念鬧暈了？

作為一個文科生+AIGC從業(yè)者+市場人，其實要搞懂ChatGPT等等晦澀的概念多多少少有些吃力，我想應該會有不少人也有這種感覺。

或者有很多非從業(yè)者想要了解ChatGPT到底會如何影響我們，或者有很多當?shù)攱尩谋缓⒆訂柕絽s不知道怎么“幼兒園化”地把這些概念講清楚。

但是我看了大部分市場上傳播的文章，依然晦澀難懂，造成了不少認知門檻。

今天，我試著挑戰(zhàn)，用一篇文章搞清楚ChatGPT的相關概念，一方面讓自己加深理解，另一方面，希望對各位有用。

一、Transformer

我的理解是，這是一種高級的“翻譯機器”，它能夠理解和翻譯不同語言之間的文本。為了幫助你更通俗地理解這個模型，我們可以將其比作一個有著超凡記憶力和注意力分配能力的多語言翻譯家。

這個翻譯家有以下幾種能力：

• 自注意力機制：這個翻譯家在閱讀一段文本時，不僅關注當前的單詞，還能夠記住并考慮到整個句子或段落中的其他單詞。這種能力使得翻譯家能夠捕捉到文本中的重要信息和上下文關系，從而更準確地理解和翻譯。
• 位置編碼：就像翻譯家在閱讀時會注意到單詞在句子中的位置一樣，位置編碼幫助模型理解單詞的順序。這對于理解句子結(jié)構和意義非常重要，就像我們知道“狗追趕貓”和“貓追趕狗”這兩個句子的意思完全不同。
• 編碼器和解碼器：模型的編碼器部分就像翻譯家在理解原文時的大腦，它會分析輸入文本的內(nèi)容和結(jié)構。而解碼器部分則像是翻譯家在創(chuàng)造譯文時的大腦，它會基于對原文的理解生成新的句子，相當于設計了一個程序語言。
• 多頭注意力：這就像是翻譯家有多個分身，每個分身專注于文本的不同方面，比如語法、詞匯選擇、文化背景等。通過這種方式，翻譯家可以從多個角度理解文本，從而做出更準確的翻譯。
• 前饋神經(jīng)網(wǎng)絡：可以比作翻譯家在處理信息時的邏輯和分析能力，它會對編碼器和解碼器的輸出進行進一步的分析和加工，確保翻譯的準確性和流暢性。

二、GPT

GPT，一個多層的Transformer解碼器，它就像是一個通過大量閱讀和學習，掌握了許多語言知識和寫作技巧的“虛擬作家”。這個作家不僅閱讀了大量的書籍和文章，而且還學會了如何根據(jù)上下文生成連貫、有意義的文本。

想象這個作家在成長的過程中，沒有老師直接告訴他哪些句子是正確的，哪些是錯誤的。相反，他通過閱讀大量的文本，自己學會了語言的規(guī)則和模式。這就是GPT模型的自監(jiān)督學習，它通過閱讀大量未標記的文本數(shù)據(jù)，自己學習語言的結(jié)構和用法。

這個作家首先通過廣泛的閱讀來積累知識（預訓練），然后在需要寫特定類型的文章時，他會針對這種類型進行專門的練習（微調(diào)）。GPT模型也是如此，它首先在大量數(shù)據(jù)上進行預訓練，然后在特定任務上進行微調(diào)，以提高在該任務上的表現(xiàn)。

在寫作時，這個作家只能根據(jù)他已經(jīng)寫好的內(nèi)容來預測下一個字或句子，而不能提前知道后面的內(nèi)容。GPT模型使用因果掩碼來確保在生成文本時，每個單詞只依賴于它之前的單詞，保證了文本的連貫性。

隨著時間的推移，這個作家不斷學習和積累經(jīng)驗，寫作技巧也越來越熟練。GPT-1、GPT-2和GPT-3就像這個作家的不同成長階段，每一代都比前一代閱讀了更多的書籍，掌握了更多的知識，寫作能力也更強。

到了GPT-3這個階段，這個作家已經(jīng)非常熟練，即使沒有或只有很少的示例，他也能夠?qū)懗龈哔|(zhì)量的文章。這意味著GPT-3能夠在沒有或只有極少的特定任務訓練數(shù)據(jù)的情況下，理解和完成新的任務。

三、InstructGPT

什么是InstructGPT？

如果 GPT-3想象成一個聰明的學生，那么 InstructGPT則是這個學生經(jīng)過特別輔導后的樣子。

GPT-3這個學生雖然學習了很多知識，但有時候回答問題可能會離題、編造故事、或者帶有一些不公平的看法。同時，他在進行長對話時，有時會忘記之前說過的內(nèi)容，導致對話不夠連貫。

為了讓這個學生更好地理解老師（人類用戶）的意圖，并且按照老師的喜好來回答問題，我們需要一種方法來調(diào)整他的學習方式，這就是“Alignment”（對齊）的概念。

為了讓GPT-3變得更好，我們給他請了一個特別的家教（RLHF），這個家教通過收集老師的反饋來知道哪些答案是好的，哪些是不好的。然后，家教用這些反饋來指導學生學習，幫助他在未來給出更符合老師期望的答案。

四、ChatGPT（GPT3.5/GPT4.0）

我的理解是， ChatGPT就像是一個全能的、知識淵博的機器人圖書管理員，隨時準備幫助你解答問題和提供信息。而且，隨著時間的推移，它會學到更多的東西，變得更加聰明和有用。

這個機器人圖書管理員不僅知道很多關于書籍和文字的知識，它還能理解圖片。所以，如果你給它看一張圖片，它不僅能告訴你圖片里有什么，還能根據(jù)圖片給你講一個故事或者回答你關于圖片的問題。

五、大模型

如何理解這一概念？

我們用一個小學生也能理解的方式來解釋這些概念。

想象一下，有一個非常非常大的學校，這個學校有很多層樓和很多教室。這個學校就像是一個“大模型”，它有很多老師（參數(shù)）和學生（數(shù)據(jù)）。這些老師非常聰明，他們可以教很多不同的課程，比如數(shù)學、語文、科學等等。

• 模型架構設計：這個學校的建筑（模型架構）設計得很特別，有很多教室和走廊，這樣老師們就可以在不同的教室里教不同的課程，而且學生們也可以輕松地從一個教室走到另一個教室。
• 數(shù)據(jù)準備：為了讓老師們教得更好，學校收集了很多教科書和練習冊（數(shù)據(jù)），這樣老師們就可以用這些資料來準備課程，并且?guī)椭鷮W生們學習。
• 計算資源：因為這個學校非常大，所以需要很多電腦和服務器（計算資源）來幫助老師們準備課程和批改作業(yè)。
• 優(yōu)化算法：學校還有一個非常聰明的校長（優(yōu)化算法），他會確保老師們用最好的方法來教學，并且?guī)椭鷮W生們?nèi)〉煤贸煽儭?/li>
• 正則化技術：有時候，老師們可能會對某個課程太專注，忽略了其他課程。校長會確保這種情況不會發(fā)生，讓所有的課程都得到平衡（這就是正則化技術）。
• 模型并行和數(shù)據(jù)并行：因為這個學校有很多學生，所以老師們會分成小組來教課（模型并行），同時，學生們也會分成小組來學習（數(shù)據(jù)并行）。

現(xiàn)在，這個學校有很多成功的畢業(yè)生，比如GPT-3、BERT和T5等。他們都是在這個大學校里學習過的，現(xiàn)在他們可以幫助人們解決很多問題，比如寫作文、做數(shù)學題或者解答科學問題。

所以，這個大學校（大模型）就像是一個能夠培養(yǎng)出很多聰明學生的好地方，雖然它需要很多資源和努力來運營，但是它能夠幫助我們做很多事情，讓我們的生活變得更好。

六、AIGC（人工智能生成內(nèi)容）

想象一下，你有一個非常聰明的機器人朋友，它可以做很多事情，比如畫畫、寫故事、甚至幫你做數(shù)學題。這個機器人朋友就是人工智能（AI）的一個例子。

AIGC（人工智能生成內(nèi)容）：這個機器人朋友可以創(chuàng)造很多東西，就像一個會畫畫和寫故事的藝術家。它可以畫出你想象中的圖畫，或者寫出一個關于你最喜歡的超級英雄的故事。這就是人工智能生成內(nèi)容，意味著機器人可以用它的大腦（AI技術）來創(chuàng)造新的東西。

Diffusion（擴散模型）：想象你把一滴墨水滴進清水里，墨水會慢慢散開，最后水變得渾濁。機器人朋友就像能夠把這個渾濁的水變回清澈一樣，它可以從一團混亂的噪點中創(chuàng)造出清晰的圖畫。

CLIP（圖文表征模型）：如果你給這個機器人朋友看很多圖片和它們的名字（比如“蘋果”、“小狗”、“汽車”），它會學會識別這些圖片。下次你給它看一個新的圖片，它就能告訴你圖片里是什么。

Stable Diffusion（穩(wěn)定擴散模型）：這個機器人朋友還可以根據(jù)你給它的提示來畫畫。比如你告訴它“畫一個快樂的小狗”，它就能畫出一個小狗的圖畫，而且這個小狗看起來很開心。

七、AGI（通用人工智能）

想象一下，如果這個機器人朋友不僅會畫畫和寫故事，還能像人類一樣理解世界，學習任何東西，并且可以做任何工作，那么它就像一個真正的小朋友一樣了。這就是通用人工智能，它能夠做任何人類能做的事情。

現(xiàn)在的AI，比如GPT，就像是一個在某個特定領域（比如寫故事）非常擅長的機器人，但它并不像真正的小朋友那樣理解世界。科學家們正在努力讓AI變得更像人類，但這是一個很大的挑戰(zhàn)，需要很多時間和研究。

所以，AIGC就是讓AI像藝術家一樣創(chuàng)造內(nèi)容，而AGI是讓AI變得像人類一樣理解和做事。

八、LLM（大型語言模型）

大型語言模型就像是一個非常非常聰明的圖書管理員，它讀過很多書，知道很多關于語言的知識，可以幫助我們做很多事情，甚至可以自己寫故事。

想象一下，這個圖書館管理員每天都在閱讀圖書館里的成千上萬的書籍。它通過閱讀這些書籍，學會了很多單詞、句子和故事。這就是大型語言模型的訓練過程，它通過閱讀大量的文本數(shù)據(jù)來學習語言。

因為讀過很多書，這個管理員可以幫你做很多事情。比如，它可以給你講一個故事的摘要，或者幫你把一個故事翻譯成另一種語言，甚至可以告訴你一個故事里的人物是開心還是傷心。大型語言模型也是這樣，它可以執(zhí)行很多不同的任務，比如文本總結(jié)、翻譯和情感分析。

這個管理員之所以這么聰明，是因為它有一個超級大腦，里面有很多“小房間”（參數(shù)），每個“小房間”都存儲著不同的信息和知識。大型語言模型也是這樣，它有很多參數(shù)，這些參數(shù)幫助它記住和理解語言的復雜規(guī)則和模式。

當你問這個管理員一個問題，或者給它一個主題時，它可以給你一個答案或者講一個故事。它可以根據(jù)它讀過的書籍和學到的知識，創(chuàng)造出連貫和有意義的文本。大型語言模型也是這樣，它可以生成新的文本，就像它自己在寫故事一樣。

GPT-3、ChatGPT、BERT和T5就像是不同領域的圖書館管理員，有的可能更擅長講故事，有的可能更擅長解釋科學知識，而文心一言就像是會寫詩的圖書管理員。它們都有自己的特長，但都能幫助我們理解和使用語言。

九、Fine-tuning（微調(diào)）

微調(diào)就像是在你已經(jīng)學會一項技能的基礎上，做一些小的改變和練習，讓你能夠更好地完成一個特定的任務。這樣做可以節(jié)省時間，因為你不需要重新學習所有的東西，只需要專注于你需要改進的部分。

舉個例子，你在學習騎自行車。你的爸爸或媽媽先帶你在一個空曠的大公園里練習（這就像是預訓練模型，公園里的各種地形就像是大量的數(shù)據(jù)，幫助你學會騎車的基本技巧）。

現(xiàn)在你已經(jīng)會騎車了，但是你想學習如何在你家附近的小山丘上騎（這就像是一個新的任務，需要微調(diào)）。因為小山丘的路和公園里的路可能不一樣，有上坡、下坡和彎道，所以你需要一些特別的練習來適應這些新的情況。

你的爸爸或媽媽會帶你在小山丘上練習幾天，這樣你就會知道如何在上坡時蹬得更用力，在下坡時控制速度，在彎道時轉(zhuǎn)彎（這就是微調(diào)過程，你在學習如何應用你已經(jīng)掌握的騎車技巧來適應新的環(huán)境）。

微調(diào)的好處是，因為你已經(jīng)知道怎么騎車了，所以你不需要再從零開始學習，只需要做一些小的調(diào)整就可以了。這就像是微調(diào)一個已經(jīng)預訓練好的模型，讓它適應一個新的任務，比如理解醫(yī)學文本。

十、 自監(jiān)督學習（Self-Supervised Learning）

自監(jiān)督學習就像是通過讀故事和玩游戲來學習新單詞，而不需要別人告訴我們答案。這樣，我們可以用很多沒有標簽的數(shù)據(jù)來訓練模型，讓模型變得更聰明。

比如你正在讀一本非常有趣的故事書。你讀了很多頁，學到了故事里的很多新單詞和句子。現(xiàn)在，如果你的朋友在旁邊，你可以玩一個游戲：你給他讀故事的一部分，然后遮住一些單詞，讓你的朋友猜下一個單詞是什么。這個游戲就像是自監(jiān)督學習。

在這個游戲中，你的朋友不需要別人告訴他正確的答案是什么，因為故事的上下文（已經(jīng)讀過的部分）就是線索。你的朋友可以通過他已經(jīng)知道的單詞和故事的內(nèi)容來猜測下一個單詞。這就是自監(jiān)督學習的方式，模型通過已經(jīng)知道的信息來學習新的東西，而不需要額外的答案或標簽。

以上，就是我的本周觀察和思考，歡迎討論。