大語言模型（LLM）作為人工智能領(lǐng)域的重要分支，近年來在自然語言處理（NLP）方面取得了顯著進展。然而，對于非技術(shù)出身的人來說，理解LLM的底層技術(shù)往往顯得晦澀難懂。本文作者通過類比和通俗易懂的方式，深入淺出地介紹了LLM的底層技術(shù)原理，包括詞元（token）的概念、有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)的區(qū)別，以及語言生成技術(shù)如GPT和BERT的工作機制。

近期在入門學(xué)習(xí)AI相關(guān)技術(shù)，由于并非技術(shù)出身，因此通過類比方式理解相關(guān)底層技術(shù)，如有問題歡迎指出。

人工智能并不等同于大語言模型（LLM），人工智能是一個很大的領(lǐng)域，其中又包括自然語言處理（NLP）、計算機視覺（CV）、知識圖譜、語音等等。而其中目前火熱的大語言模型（LLM）則是目前自然語言處理的技術(shù)形態(tài)，也可以說目前通過大語言模型（LLM）的能力實現(xiàn)自然語言處理。

自然語言處理，這個概念的命名就非常有意思，關(guān)鍵就在于自然兩個字。我和小學(xué)生說“請你把你的橡皮擦給我”，小學(xué)生也能做到無需過多的思考，自然就理解我的意思，但是機器也是做不到的。就連現(xiàn)在機器也做不到像小學(xué)生一樣理解我的意思，因為機器并非真的擁有生命意識去理解我的意思，而是通過一些技術(shù)手段解構(gòu)我們語言，就比如結(jié)構(gòu)這句話“請你把你的橡皮擦給我”。而這個技術(shù)手段解構(gòu)語言的技術(shù)，就被稱為自然語言處理。

程序員通過思考為什么人類能做到自然語言處理的結(jié)論中獲得啟發(fā)，像上帝一樣模擬人類大腦賜予機器對應(yīng)能力。為什么小學(xué)生也能理解“請你把你的橡皮擦給我”，因為在小學(xué)生的腦子里，首先他通過學(xué)習(xí)裝有各種名詞、形容詞等等知識，接著他能通過這幾個詞組合，整體理解這句話的意思?；仡櫹戮拍炅x務(wù)教育的中，教會小學(xué)生學(xué)習(xí)，是先從各種日常詞匯開始，然后再到用詞組句。同樣的，教會計算機也是同樣的道理。

首先，得學(xué)習(xí)基本的詞匯，而詞匯在機器學(xué)習(xí)里面則叫詞元（token）。

如何定义B端产品及B端产品经理方法论

相较于C端产品，B端产品最大的特点是：面向特定领域用户，且数量少得多，但更注重对用户专业领域操作流程的深度挖掘——也就是专业性更强，与业务的结合更紧密。

查看详情 >

那么，教完小學(xué)生之后，怎么能夠證明小學(xué)生學(xué)會了呢？

偉大的人類發(fā)明了考試，通過考試方式測試他是否真的學(xué)會了。而機器學(xué)習(xí)也是使用這種學(xué)習(xí)過程，而根據(jù)其實際教學(xué)不同分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。

有監(jiān)督學(xué)習(xí)，相當(dāng)于先讓機器做題，然后做完之后，讓他做出的答案參考標準答案是否正確。就好像現(xiàn)實里小學(xué)生考到90分，則獎勵一個大紅花；考到50分，就懲罰一個大哭臉。得到大紅花的小學(xué)生，則會繼續(xù)采取正確的學(xué)習(xí)方法；而得到大哭臉的小學(xué)生，則會重新思考正確的學(xué)習(xí)方法。

那么，無監(jiān)督學(xué)習(xí)，相當(dāng)于沒有參考答案，自我去猜測答案。

就好像小學(xué)生學(xué)會了這幾個詞“列”“烈”“裂”都念lie，那么當(dāng)他第一次看到“?！边@個詞，大概率第一反應(yīng)也念洌。

為什么？

因為小學(xué)生的腦袋也知道歸納總結(jié)，通過總結(jié)出有“列”的詞都念lie。當(dāng)然歸納總結(jié)的方法也不一定會對。比如這個“?！币泊_實念lie的音，但是例卻又不念lie音。

接著，小學(xué)生學(xué)會各種詞匯了，就要教他們各種組句能力了。而組句的能力，機器學(xué)習(xí)又叫語言生成。鍛煉小學(xué)生組句能力，我們會用挖空鍛煉。

就比如：媽媽__ __ __ __。有的小學(xué)生答案是我真愛你，有的小學(xué)生答案是最棒的。

那么機器學(xué)習(xí)中，其中一個語言生成技術(shù)的底層邏輯，就是這種通過上文詞匯，預(yù)測下文詞匯。那么現(xiàn)實里為什么小學(xué)生都能做到，現(xiàn)實里我們會說是語感好。那么，機器學(xué)習(xí)其實是通過深度網(wǎng)絡(luò)去構(gòu)建出詞的關(guān)聯(lián)，就比如輸入“媽媽”這兩個詞，在程序員構(gòu)建出來的神經(jīng)網(wǎng)絡(luò)中，則輸出最前面的詞就是“我真愛你”，而深度網(wǎng)絡(luò)其實模擬就是人類的神經(jīng)細胞網(wǎng)絡(luò)。

當(dāng)然，這種單向預(yù)測的技術(shù)叫GPT（其實并不嚴謹，只是為了好理解），其實只是一種語言生成技術(shù)，還有雙向預(yù)測。就比如：就比如：媽媽__ __ __ __。在這句話的前面說媽媽會很多事情，在這句話的后面說優(yōu)秀的母親對我的影響。那么答案是媽媽是最棒的，比我真愛你，就更加適合。那么結(jié)合上下文的能力，則叫BERT。所以，基于兩個技術(shù)的區(qū)別，GPT適合續(xù)寫作文，BERT適合做完形填空。