本文將深入探討增強(qiáng)檢索技術(shù)的關(guān)鍵步驟、應(yīng)用領(lǐng)域及其優(yōu)勢與局限性，揭示如何通過這項(xiàng)技術(shù)提升模型輸出的可信度和專業(yè)性，同時確保對最新數(shù)據(jù)的訪問。

一、什么是增強(qiáng)檢索

LLMs 外掛一個“LLMs 外掛一個“實(shí)時更新的知識庫”，使用外部數(shù)據(jù)提高LLMs的準(zhǔn)確性專業(yè)性。

二、解決了什么問題

模型誤導(dǎo)輸出/知識缺乏實(shí)效性/垂直領(lǐng)域知識不足

三、應(yīng)用領(lǐng)域

很通用，問答系統(tǒng)/內(nèi)容摘要/對話系統(tǒng)/文本生成等

四、關(guān)鍵步驟

1. 在接到輸入時，檢索一組與之相關(guān)的文檔或信息片段

• 對于于這個輸入構(gòu)建一個或多個查詢。
• 這些查詢從一個大型的數(shù)據(jù)存儲（如文本數(shù)據(jù)庫或知識庫）中檢索相關(guān)信息。

2. 將這些檢索到的信息與輸入結(jié)合起來，作為生成模型的輸入

• 模型通過一個檢索系統(tǒng)（通常是預(yù)先訓(xùn)練好的檢索模型或者是簡單的基于關(guān)鍵詞的檢索系統(tǒng)）在數(shù)據(jù)存儲中搜索相關(guān)的文檔/信息片段
• 返回一組與查詢最相關(guān)的文檔/信息片段，隨后被編碼為向量形式。通常使用預(yù)訓(xùn)練的語言模型（如BERT、RoBERTa等）來完成。
• 融編碼后的文檔向量與原始查詢的表示被融合，作為生成模型的輸入。生成模型（如GPT）然后根據(jù)這些信息生成最終的輸出文本。
• 生成模型不僅考慮了原始輸入的信息，也考慮了檢索到的相關(guān)信息。

3. 生成更加準(zhǔn)確和信息豐富的文本

• 生成模型輸出的文本被呈現(xiàn)給用戶，作為對原始查詢的回答或補(bǔ)充信息。

五、優(yōu)勢

1. 成本低，無需模型訓(xùn)練

通過檢索現(xiàn)有的知識庫，增強(qiáng)模型的回復(fù)質(zhì)量，相比fine-tune的微調(diào)模型而言，成本更低，無需對模型進(jìn)行重新訓(xùn)練。

2. 增強(qiáng)模型輸出的可信度

Reg生成的回答可以附帶對應(yīng)的引用來源，用戶點(diǎn)擊引用來源后，可以查看對應(yīng)的引用內(nèi)容，可以隨時驗(yàn)證模型回答的準(zhǔn)確性，從而增加對模型輸出的信任。

3. 增強(qiáng)模型輸出的專業(yè)性

通過檢索知識庫中的信息，可以有效減少模型作出錯誤判斷的可能性，并且通過檢索知識庫加上提示詞的優(yōu)化可以滿足不同行業(yè)或者客群的定制話需求

4. 能夠始終訪問最新的數(shù)據(jù)

知識庫可以實(shí)時更新便于調(diào)用最新的信息和數(shù)據(jù)，對于實(shí)時需要獲取信息的領(lǐng)域尤為重要，比如教育醫(yī)療和金融領(lǐng)域。

六、局限性

不能根治LLM的本質(zhì)局限。

不會改變推理能力，模型參數(shù)不變，模型固有能力不變，如果模型本身參數(shù)不足，在理解和推理上存在固有的缺陷，單純用Rag技術(shù)，也無法提高模型的輸出質(zhì)量。