在大模型產品化的過程中，AI產品經理需要探索大模型的邊界。其中包含大模型本身無法被解決的能力邊界、工程化過程中的限制、以及將來隨著模型迭代逐漸可能被解決的問題。

這次探討第三部分，關于大模型目前存在，未來可能被解決的問題。

人工智能模型轉化為實際可用產品的過程中，涉及到多個方面的挑戰(zhàn)和限制。這些限制是否能夠解決，需要產品經理、工程師、設計師、各個廠商間的合作，共同克服這些限制。

一、意圖理解

意圖理解側重于理解和解釋用戶的指令。

什么是意圖理解？

意圖理解是指系統(tǒng)從用戶的輸入中識別出其目的或意圖的能力。在人工智能應用中，如聊天機器人和語音助手，這是至關重要的功能。

例如用戶對智能助手說：“明天提醒我開會?！?意圖理解使得智能助手能夠識別這是一個設置提醒的請求，并據此創(chuàng)建一個日程提醒。

再例如用戶對智能在線客服輸入：“我的訂單什么時候發(fā)貨？” 客服系統(tǒng)通過意圖理解識別出用戶想要查詢訂單狀態(tài)，然后提供相關的物流信息。

意圖理解的步驟：

• 輸入解析：系統(tǒng)接收并分析用戶的語音或文本輸入。
• 語言處理：對輸入的文本進行語法和語義分析，以確定其含義。
• 意圖識別：確定用戶輸入的主要目的，如詢問信息、尋求幫助或執(zhí)行特定任務。
• 實體提取：從用戶的輸入中提取關鍵信息，如時間、地點、人名等，這些信息對于滿足用戶意圖至關重要。
• 上下文理解：考慮對話的上下文，以提高意圖識別的準確性。

意圖理解的局限性：

• 人類語言極其復雜且多樣，包括方言、俚語、習慣用語等，這可能導致系統(tǒng)難以準確理解用戶的意圖。
• 某些語句可能具有多重含義，意圖理解系統(tǒng)可能難以判斷用戶的真實意圖，尤其是在沒有足夠上下文的情況下。
• 用戶的意圖往往依賴于對話的上下文，系統(tǒng)可能在處理跨越多個交互回合的復雜對話時遇到困難。
• 盡管技術不斷進步，但目前的算法和模型仍然無法完全模擬人類的語言理解能力，特別是在處理復雜推理和情感理解方面。
• 訓練數據的偏差可能導致意圖理解系統(tǒng)在處理某些特定群體或場景時表現(xiàn)不佳。
• 人類交流往往是多模態(tài)的，包括語音、文本、肢體語言等，而目前的意圖理解系統(tǒng)大多只能處理單一模態(tài)的輸入。

二、創(chuàng)作能力

創(chuàng)作能力側重于生成新穎的內容。

什么是創(chuàng)造能力？

創(chuàng)作是指生成新穎和原創(chuàng)內容的能力。在AI領域，創(chuàng)作可能涉及文本、音樂、藝術作品等。

AI創(chuàng)作系統(tǒng)包含什么：

• 創(chuàng)意生成：AI系統(tǒng)基于給定的提示或種子想法生成新的內容。
• 模式識別：識別和模仿不同風格和結構的模式，以創(chuàng)造協(xié)調且有意義的作品。
• 學習與適應：通過機器學習算法，AI系統(tǒng)學習大量的數據樣本，以提高其創(chuàng)作能力。
• 用戶交互：與用戶交互，根據用戶的反饋和指導進行創(chuàng)作調整。

創(chuàng)造能力的局限性：

基于Transformer架構的模型，雖然在自然語言處理（NLP）領域取得了顯著進展，但其創(chuàng)造能力仍存在一些局限性：

數據依賴：大模型的創(chuàng)造能力很大程度上依賴訓練數據，訓練的數據有限或者不具有代表性，這會導致模型的輸出缺乏多樣性和創(chuàng)新型

理解深度：大模型在生成文本時可能只是模仿了語言的表面結構，而沒有真正理解或推理生成內容的深層含義。因此，盡管大模型在許多任務中表現(xiàn)出色，但在需要深度理解和創(chuàng)新思維的場合，它們的表現(xiàn)仍有待提高。比如用戶詢問大模型：“什么是量子糾纏？”大模型可能會生成一個看似合理且連貫的解釋，例如：

“量子糾纏是量子力學中的一個現(xiàn)象，當兩個或多個粒子以這樣的方式相互作用時，它們的狀態(tài)變得不可分割，即使它們相隔很遠。這意味著對其中一個粒子的測量會立即影響另一個粒子的狀態(tài)?！?/p>

盡管這個解釋在技術上是正確的，但大模型可能并不真正理解量子糾纏的物理意義和背后的復雜性。如果用戶進一步詢問更深入的問題，比如量子糾纏如何應用于量子計算或者它與量子隱形傳態(tài)的關系，大模型可能就無法提供準確或深入的答案。

創(chuàng)造性限制：大模型通常在模仿和擴展已知模式方面表現(xiàn)出色，但在生成完全新穎和原創(chuàng)的想法方面可能存在局限。假設大模型“創(chuàng)作一個全新的科幻故事概念，包含一個尚未探索的宇宙和獨特的生命形式。”大模型可能會生成一個故事，其中包含一些已知科幻元素的混合，例如：

“在遙遠的未來，人類發(fā)現(xiàn)了一個新的星系，名為‘Noviensis’。這個星系由一個巨大的黑洞統(tǒng)治，周圍環(huán)繞著幾個行星，這些行星上居住著能夠進行光合作用的生物，它們通過吸收宇宙射線來生長?！?/p>

盡管這個故事聽起來很有創(chuàng)意，但大模型生成的概念可能仍然基于已知的科幻主題，如黑洞、外星生命和宇宙探索。這些元素在科幻文學和電影中已經被廣泛探索。大模型可能難以創(chuàng)造出完全新穎的、從未在人類文化中出現(xiàn)過的概念，如一種基于完全不同物理法則的生命形式或一個全新的宇宙維度。

解釋性：大模型的決策過程往往是黑箱，難以解釋和理解，這在需要可解釋性的創(chuàng)造性任務中可能是一個缺點。

法律和版權：大模型生成的內容可能會涉及版權和知識產權問題，尤其是在模仿特定風格或作品時。

三、推理能力

推理則側重于邏輯分析和決策過程。

推理能力指的是什么？

推理是指系統(tǒng)使用邏輯和已有知識來得出結論的能力。在AI中，推理可以用于解決問題、規(guī)劃行動或做出決策。

推理過程包括：

• 邏輯推理：應用邏輯規(guī)則和原則來分析問題和得出結論。
• 因果關系：理解事件之間的因果聯(lián)系，并據此進行預測或解釋。
• 規(guī)劃與決策：使用推理來制定行動計劃或做出最優(yōu)決策。
• 知識表示：將知識以適合推理的形式表示出來，如語義網絡、規(guī)則集或本體。
• 推理算法：運用各種算法，如基于規(guī)則的推理、基于模型的推理或基于約束的推理。

推理過程的局限性：

大模型在推理能力方面雖然取得了顯著的進步，但仍然存在一些局限性。以下是大模型推理能力的一些限制：

• 邏輯一致性：大模型可能在處理長邏輯鏈或復雜推理時出現(xiàn)錯誤，尤其是在需要多步驟推理的情況下
• 因果推理：盡管大模型可以識別語句中的因果關系，但它們可能難以理解現(xiàn)實生活中復雜的因果網絡。
• 常識推理：大模型可能缺乏對人類常識的理解，導致在需要常識推理的任務中表現(xiàn)不佳。用戶問：“我可以穿著溜冰鞋去超市嗎？”大模型可能回答：“可以，只要你覺得舒服。”然而，這忽略了常識推理，即穿著溜冰鞋在超市可能不安全，也可能違反超市的規(guī)定。
• 情感和語境理解：情感和語境對于人類推理至關重要，但大模型可能難以準確捕捉和應用這些細微差別。用戶說：“我今天在會議上被老板表揚了，但我還是不高興?！贝竽Ｐ涂赡芑卮穑骸肮材惚槐頁P?！钡?，它可能沒有捕捉到用戶的情感狀態(tài)和語境，沒有詢問用戶為何不高興。
• 專業(yè)領域的知識，例如用戶問：“我的車需要新的火花塞，我應該買哪種？”大模型可能回答：“買一個適合你車型的火花塞?！钡?，它可能無法提供具體的火花塞型號或品牌建議，這需要汽車領域的專業(yè)知識。

四、多模態(tài)的數據讀取/生成能力

在跨模態(tài)數據處理中，確實存在信息損失的風險，而且隨著模型的迭代，端到端的解決方案可能會逐漸取代復雜的工程手段。因此，專注于解決那些模型可能解決的問題，而不是在跨模態(tài)數據處理上過度優(yōu)化，是一個更有效的策略。

五、模型的提示詞進行優(yōu)化是否必要

提示詞優(yōu)化是一個需要根據具體情況權衡的問題。在某些情況下，它可能是提高性能和用戶體驗的關鍵；而在其他情況下，隨著模型的自然進步，這種優(yōu)化可能變得不那么重要。此外，對于復雜的任務，采用多個AI Agent的分布式處理方法可能更為有效。

格式和輸出結果的穩(wěn)定性、一致性

如果產品業(yè)務需要特定的輸出格式（如JSON），以確保下游系統(tǒng)的兼容性和穩(wěn)定性，那么對提示詞進行優(yōu)化是非常有必要的。這可以確保大模型的輸出符合預期的格式和標準。吳恩達的《ChatGPT Prompt Engineering for Developers》值得推薦

提升模型輸出質量

隨著模型的迭代和升級，模型本身的提升將比精心設計的提示詞帶來的提升更為顯著。這在一定程度上是正確的，因為模型架構和算法的改進通常會帶來更廣泛的性能提升。

長鏈路SOP、工作流和推理過程

對于復雜的任務，可以通過多個AI Agent來實現(xiàn)，而不是試圖在單輪對話中解決。這種方法可以更有效地分解任務，利用每個Agent的專長，從而提高整體的處理效率和準確性。