這兩天參加了 OpenAI 的一些活動。有一部分是討論 Agent/智能體系統(tǒng)在落地時，遇到的各種問題，以及一些可行的實踐。這里我?guī)砹艘恍┕P記。
基于下面的這篇論文，地址是：
https://openai.com/research/practices-for-governing-agentic-ai-systems

01 關于 Agent

Agent 是一種 AI 的應用方式，但隨著語境的遷移，它慢慢從「AI 應用」里剝離了出來。不準確來說，這里的感覺，就像是 H5 從 html5 中剝離了出來。

按當前的語境，我們會把 ChatGPT 就是看成一種 AI 應用，它能理解你的問題并給出回答。而會把 GPTs 這種訂制后的、能調用外部功能的、能夠自己處理復雜任務的產品，叫做 Agent。

Agent 和 AI應用（如ChatGPT）之間的區(qū)別和聯(lián)系主要體現(xiàn)在“代理性”（agenticness）這的程度上。如果一個AI系統(tǒng)，能夠在沒有直接人類監(jiān)督的情況下運作，其自主性越高，我們稱之為代理性越強。這是一個連續(xù)體，不是非黑即白的判斷，而是根據(jù)它在特定環(huán)境中的表現(xiàn)來評估其代理性的程度。

在這種定義下，正統(tǒng) Agent 不僅能回答問題，還能自己決定做什么，它能夠通過生成文本來“思考”，然后做出一些操作，甚至能創(chuàng)造出更多的 AI 幫手來幫幫忙，就比如下面這個圖。

但我們發(fā)現(xiàn)，盡管 Agent 看起來很美好，但在實際落地的場景中，也是困難重重，風險多多，出現(xiàn)了問題，責任劃分也很麻煩。比如這里：如果我希望讓某個 Agent 幫我微信收款，但它給別人展示的是付款碼，那么這里誰背鍋？

也是因為這些問題，就有了本次的話題：「從實踐的角度出發(fā)，落地 Agent 有哪些注意點」。共包含 7 個主要點：執(zhí)行效果評估、危險行為界定、默認行為確定、推理透明展示、Agent 行為監(jiān)控、Agent 作惡追責、危險事故叫停。

02 Agent 落地難點

由于會上的 PPT 不便分享，我便在自己吸收后，重新制作了一份 PPT，安心食用

1. 執(zhí)行效果評估

在商業(yè)環(huán)境中，確保任何工具的可靠性是基本要求。

然而，AI Agent 的復雜性在于其工作場景和任務的不確定性。例如，一個在模擬環(huán)境中表現(xiàn)優(yōu)異的自動駕駛車輛，可能因現(xiàn)實世界中不可預測的變量（如天氣變化和道路條件）而表現(xiàn)不穩(wěn)定。

我們尚缺乏有效的方法，來準確評估 AI Agent 在實際環(huán)境中的性能。

2. 危險行為界定

AI Agent 在執(zhí)行高風險操作之前需要獲得用戶的明確批準。例如，在金融領域，AI 執(zhí)行大額轉賬前必須得到用戶同意。

但需要注意，頻繁的審批請求可能導致用戶出現(xiàn)審批疲勞，從而可能無視風險盲目批準操作，這既削弱了批準機制的效果，也可能增加操作風險。

3. 默認行為確定

當 AI Agent 遇到執(zhí)行錯誤或不確定的情形時，是要有一個默認行為的。例如，如果一個客服機器人在不確定用戶需求時，其默認行為是請求更多信息以避免錯誤操作。

然而，頻繁的請求可能會影響用戶體驗，因此在保障系統(tǒng)安全性與保持用戶體驗之間需要找到平衡。

4. 推理透明展示

為了保證 AI Agent 決策的透明性，系統(tǒng)需要向用戶清晰展示其推理過程。舉例來說，一個健康咨詢機器人應詳細解釋其提出特定醫(yī)療建議的邏輯。

但如果推理過程太復雜，普通用戶可能難以理解，這就需要在確保透明性和易理解性之間找到平衡。

5. Agent 行為監(jiān)控

假設一個 AI 系統(tǒng)用于監(jiān)控倉庫庫存，如果監(jiān)控系統(tǒng)誤報，誤認為某項商品缺貨，進而不斷的進貨，那么可能導致庫存的嚴重積壓，并造成極大損失。

于是，我們思考：是否需要另一個 Agent 來監(jiān)控這個 Agent？成本賬怎么算？

6. Agent 作惡追責

考慮一個匿名發(fā)布內容的 AI Agent，如果其發(fā)布了違規(guī)內容，要追蹤到具體負責的人或機構可能極其困難。這種情況下，建立一個能夠確保責任可追溯的系統(tǒng)尤為關鍵，同時還需要平衡隱私保護和責任追究的需求。

7. 嚴重事故叫停

想象一個用于自動化工廠管理的 AI Agent，在系統(tǒng)檢測到嚴重故障需要立即停機時，不僅需要停止主控系統(tǒng)，還要同步關閉所有從屬設備和流程。如何設計一個能夠迅速且全面響應的緊急停止機制，以防止故障擴散或造成更大損失，是一項技術和策略上的復雜挑戰(zhàn)。

最后，本次就這些。