大模型的幻覺問題怎么解？谷歌DeepMind：用AI來做同行評審！事實核驗正確率超過人類，而且便宜20倍。AI的同行評審來了！

一直以來，大語言模型胡說八道（幻覺）的問題最讓人頭疼，而近日，來自谷歌DeepMind的一項研究引發(fā)網友熱議：

大模型的幻覺問題，好像被終結了？

論文地址：https://arxiv.org/pdf/2403.18802.pdf

項目地址：https://github.com/google-deepmind/long-form-factuality

在這篇工作中，研究人員介紹了一種名為 “搜索增強事實性評估器”（Search-Augmented Factuality Evaluator，SAFE）的方法。

做了8年产品经理后，我是这么看产品经理的

我个人是从非常初级的产品经理做起，再到负责一个大产品的项目管理，现在有幸跳出了日常基础的工作更多的去看产品的PMF，product strategy...

查看详情 >

對于LLM的長篇回答，SAFE使用其他的LLM，將答案文本分解為單個敘述，然后使用諸如RAG等方法，來確定每個敘述的準確性。

——簡單來說就是：AI答題，AI判卷，AI告訴AI你這里說的不對。

真正的「同行」評審。

另外，研究還發(fā)現(xiàn)，相比于人工標注和判斷事實準確性，使用AI不但便宜20倍，而且還更靠譜！

目前這個項目已在GitHub上開源。

長文本事實性檢驗

大語言模型經常胡說八道，尤其是有關開放式的提問、以及生成較長的回答時。

比如小編隨手測試一下當前最流行的幾個大模型。

ChatGPT：雖然我的知識儲備只到2021年9月，但我敢于毫不猶豫地回答任何問題。

Claude 3：我可以謙卑且胡說八道。

為了對大模型的長篇回答進行事實性評估和基準測試，研究人員首先使用GPT-4生成LongFact，這是一個包含數(shù)千個問題的提示集，涵蓋38個主題。

LongFact包含兩個任務：LongFact-Concepts和LongFact-Objects，前者針對概念、后者針對實體。每個包括30個提示，每個任務各有1140個提示。

然后，使用搜索增強事實性評估器（SAFE），利用LLM將長篇回復分解為一組單獨的事實，并使用多步驟推理過程來評估每個事實的準確性，包括使用網絡搜索來檢驗。

此外，作者建議將F1分數(shù)進行擴展，提出了一種兼顧精度和召回率的聚合指標。

1. SAFE工作流程

如上圖所示，首先提示語言模型將長篇響應中的每個句子拆分為單個事實。

然后，通過指示模型將模糊的引用（代詞等）替換為上下文中引用的適當實體，將每個單獨的事實修改為自包含的事實。

為了對每個獨立的個體事實進行評分，研究人員使用語言模型來推理該事實是否與上下文中相關，并且使用多步驟方法對每個相關事實進行評定。

如上圖所示，在每個步驟中，模型都會根據(jù)要評分的事實和先前獲得的搜索結果生成搜索查詢。

在設定的步驟數(shù)之后，模型執(zhí)行推理以確定搜索結果是否支持該事實。

2. 比人類更好用

首先，直接比較對于每個事實的SAFE注釋和人類注釋，可以發(fā)現(xiàn)，SAFE在72.0%的單個事實上與人類一致（見下圖），表明SAFE幾乎達到了人類的水平。

——這還沒完，跟人類一致并不代表正確，如果拿正確性PK一下呢？

研究人員在所有SAFE注釋與人類注釋產生分歧的案例中，隨機抽樣出100個，然后人工重新比較到底誰是正確的（通過網絡搜索等途徑）。

最終結果讓人震驚：在這些分歧案例中，SAFE注釋的正確率為76%，而人工注釋的正確率僅為19%（見上圖），——SAFE以將近4比1的勝率戰(zhàn)勝了人類。

然后我們再看一下成本：總共496個提示的評分，SAFE發(fā)出的 GPT-3.5-Turbo API調用成本為64.57美元，Serper API調用成本為 31.74 美元，因此總成本為96.31美元，相當于每個響應0.19美元。

而人類標注這邊，每個響應的成本為4美元，——AI比人類便宜了整整20多倍！

對此，有網友評價，LLM在事實核驗上有「超人」級別的表現(xiàn)。

3. 評分結果

據(jù)此，研究人員在LongFact上對四個模型系列（Gemini、GPT、Claude和PaLM-2）的13個語言模型進行了基準測試，結果如下圖所示：

研究人員發(fā)現(xiàn)，一般情況下，較大的模型可以實現(xiàn)更好的長格式事實性。

例如，GPT-4-Turbo比GPT-4好，GPT-4比GPT-3.5-Turbo好，Gemini-Ultra比Gemini-Pro更真實，而PaLM-2-L-IT-RLHF比PaLM-2-L-IT要好。

在兩個選定的K值下，三個表現(xiàn)最好的模型（GPT-4-Turbo、GeminiUltra和PaLM-2-L-IT-RLHF），都是各自家族中超大杯。

另外，Gemini、Claude-3-Opus和Claude-3-Sonnet等新模型系列正在趕超GPT-4，——畢竟GPT-4（gpt-4-0613）已經有點舊了。

4. 是誤導嗎？

對于人類在這項測試中顏面盡失的結果，我們不免有些懷疑，成本應該是比不過AI，但是準確性也會輸？

Gary Marcus表示，你這里面關于人類的信息太少了？人類標注員到底是什么水平？

為了真正展示超人的表現(xiàn)，SAFE需要與專業(yè)的人類事實核查員進行基準測試，而不僅僅是眾包工人。人工評分者的具體細節(jié)，例如他們的資格、薪酬和事實核查過程，對于比較的結果至關重要。

「這使得定性具有誤導性。」

當然了，SAFE的明顯優(yōu)勢就是成本，隨著語言模型生成的信息量不斷爆炸式增長，擁有一種經濟且可擴展的方式，來進行事實核驗將變得越來越重要。

參考資料：

https://venturebeat.com/ai/google-deepmind-unveils-superhuman-ai-system-that-excels-in-fact-checking-saving-costs-and-improving-accuracy/