后半年工作，比較多的時間花在了Copilot模式與PC終端融合的探索和實踐上，踩著Microsoft的Copilot+PC肩膀，想要走出一條符合數(shù)據(jù)終端實情的NUI新路子。

截止24年12月，國內(nèi)在PC側(cè)還沒看到成熟的Copilot解決方案，與office365高度相似場景的WPS早在一年多前就推出了WPS AI，以chat形式支持文檔總結(jié)和內(nèi)容問答，以指令形式支持模板內(nèi)容撰寫、改擴寫等，這種Copilot形式更像是嵌入式的AI設(shè)計，且局限于LLM擅長的文本生成領(lǐng)域，借鑒意義一般；

而隨著Apple Intelligence的發(fā)布，國內(nèi)一眾廠商將小藝、小愛等化身AI助手，實現(xiàn)系統(tǒng)級別的Copilot，倒是看到不少跨應(yīng)用串聯(lián)用戶場景的新方案，值得深入思考；

而以數(shù)據(jù)查詢、數(shù)據(jù)分析為核心用戶需求的數(shù)據(jù)終端產(chǎn)品，與上述場景有較大差別；

一、實踐過程

1. 探索階段

在Copilot模式之前，我們有過大約1年的時間，嘗試chat模式在各類功能場景下的融合，識圖借助LLM實現(xiàn)產(chǎn)品體驗質(zhì)的飛躍；這些實踐并非無效，它給我們Copilot模式的實踐，提供了大量的參考場景和案例；

例如，23年 GPT3.5席卷而來時，我們對LLM的運用還停留在內(nèi)容總結(jié)和對話上。在資訊、研報等內(nèi)容型的GUI界面上，我們加入了“總結(jié)助手”這樣的AI功能，幫助用戶自動生成AI總結(jié)，輔助閱讀。在Copilot模式下，我們需要提煉的是“總結(jié)”這樣的用戶訴求，那作為一個無處不在的AI助手，Copilot模式下需要給予用戶自由選擇待總結(jié)內(nèi)容的權(quán)利，自然而然實現(xiàn)了從嵌入式向Copilot模式的轉(zhuǎn)變

2. 落地階段

1、我們首先選定了LLM擅長的自然語言理解，從數(shù)據(jù)檢索上進行實踐，利用Copilot輔助用戶查找指標。

從批量指標提?。ㄈ渴》荨⑷靠h市等）、到復(fù)雜指標拆解（剪刀差>>M1、M2及指標運算）、到前后場景串聯(lián)（指標檢索后給予基礎(chǔ)的數(shù)據(jù)分析），實現(xiàn)一句自然語言的高效、專業(yè)內(nèi)容返回。

表單操作也是重要的場景，我們?nèi)谌肓伺坎僮鳌⒍嗖襟E操作，覆蓋少量但高頻的表單指令，豐富Copilot的能力；

2、其次，模塊和內(nèi)容查找，對于中低階用戶也是最頭疼的使用問題。將功能庫編組、描述給予LLM一定的學(xué)習(xí)，能夠更好地滿足用戶一句話查找相關(guān)界面的需求；

3、除此以外，頁面模塊內(nèi)的功能檢索和執(zhí)行，也是重要的發(fā)揮場景。類似PPT內(nèi)，一句話插入視頻文件。Excel內(nèi)，一句話轉(zhuǎn)置表格等；

實踐過程遠比上面的描述艱辛，每一次GUI頁面的響應(yīng)，都少不了function call的執(zhí)行。工具/函數(shù)庫的建設(shè)、工具調(diào)用和步驟編排，這些是實踐中耗時最多的部分。

二、實踐感悟

1. 用戶反饋

在若干場景Copilot上線后，我們走訪了目標客戶群，向客戶演示并征求迭代意見。

1. 大家對這種新模式表示驚嘆，感慨AI洪潮的迅猛；
2. 對于熟練掌握數(shù)據(jù)目錄的高級用戶來說，這種Copilot稍顯弱智，他們更習(xí)慣和信任自己的手指；
3. 作為日常涉及功能模塊、數(shù)據(jù)領(lǐng)域繁雜的用戶來說，認為Copilot是天降福星，能彌補他們在某些專業(yè)上的不足；
4. 對于純純手動型的批量操作，大家一致認為Copilot大有可為；

2.總結(jié)感悟

在Microsoft AI CEO的一段視頻中，他表達了在當下（2024年），基于Agent的Copilot模式短時間內(nèi)難以滿足用戶的訴求，大約是GPT6能夠?qū)崿F(xiàn)的。同時，他給出了2個關(guān)鍵建議：

1. 明確function call，提供更可靠的agent，實現(xiàn)工具的正確調(diào)用和步驟的準確規(guī)劃；
2. 尋找用戶容忍度高的場景，即便是80%的準確率，也能讓用戶愿意嘗試；

結(jié)合以上兩點，我們做了擴展和深入：

1. 單一場景下，少量且區(qū)分明確的tools更有利于agent的理解和調(diào)用，能確保用戶意圖執(zhí)行到位；
2. 不同的tools可以再結(jié)合更合適的LLM，進行tools智能化改造，實現(xiàn)更驚艷的能力；
3. 用戶容忍度高的場景，可以進一步細化為“能否一眼識別可用”、“能否接受多次嘗試”、”是否支持二次微調(diào)“、”后果能否承擔“等；

Copilot模式會在接下來的一段時間更加深入的實踐和探索，我們也將不斷學(xué)習(xí)，后續(xù)分享更多更有價值的內(nèi)容。