大模型應(yīng)用設(shè)計(jì)思考:大模型+bi,TFlowAI如何讓大模型來(lái)檢索數(shù)據(jù)
TFlowAI提出了一種基于大模型的解決方案,通過(guò)理解業(yè)務(wù)、查找數(shù)據(jù)、分析處理的過(guò)程編排,實(shí)現(xiàn)模型自主的基于數(shù)據(jù)庫(kù)的數(shù)據(jù)查詢與分析。這種方法不僅降低了開(kāi)發(fā)成本,還提升了使用體驗(yàn)。
在B端的助手agent中,有一個(gè)重要的場(chǎng)景既數(shù)據(jù)的分析!那如何讓模型能夠理解產(chǎn)品的數(shù)據(jù),理解數(shù)據(jù)結(jié)構(gòu)、理解業(yè)務(wù),準(zhǔn)確的去數(shù)據(jù)庫(kù)中查找數(shù)據(jù),并給他客戶展示呢?我們來(lái)看TFlowAI給出的解決方案
一、用戶現(xiàn)狀場(chǎng)景
如客服主管的Agent助手,只需一句話,Ai幫助用戶快速找到想要的數(shù)據(jù): 如:
- 今天客服接待的滿意度咋樣?
- 用戶投訴最多的問(wèn)題是那些?
- 從官網(wǎng)來(lái)的咨詢量有多少?滿意度怎樣?
這些數(shù)據(jù)的查找、獲取在原有產(chǎn)品設(shè)計(jì)中,有2個(gè)體驗(yàn)不好的點(diǎn):
- 開(kāi)發(fā)成本:新統(tǒng)計(jì)維度、數(shù)據(jù)項(xiàng)的增加,需要開(kāi)發(fā)進(jìn)行計(jì)算&編排
- 使用體驗(yàn):數(shù)據(jù)分析維度,查看維度等等都受制于產(chǎn)品界面的限制;
那是否借助大模型的理解能力,來(lái)實(shí)現(xiàn)模型自主的基于數(shù)據(jù)庫(kù)的數(shù)據(jù)查詢與分析,生成報(bào)表,從而擺脫通過(guò)系統(tǒng)開(kāi)發(fā)的方式實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)計(jì)與分析。
二、解決方法
解決方法的設(shè)想:參考rag的面向過(guò)程編排的方法,將模型處理理解業(yè)務(wù),查找數(shù)據(jù),分析處理的過(guò)程通過(guò)workflow得形式編排,用大模型進(jìn)行串聯(lián)處理。
1. rag的流程
1)流程
2)流程說(shuō)明
- 用戶提問(wèn)向量化,index檢索相似片段
- 通過(guò)提示詞+用戶提問(wèn)+check片段 打包發(fā)給大模型
- 模型進(jìn)行解答
2. 大模型+BI的過(guò)程編排流程
1)流程設(shè)計(jì)
整個(gè)過(guò)程會(huì)經(jīng)歷問(wèn)題的反寫,表結(jié)構(gòu)的理解,SQL的生成,SQL的執(zhí)行,數(shù)據(jù)的可視化五個(gè)階段。依次講解下每個(gè)環(huán)節(jié)做什么。
(1)問(wèn)題反寫:讓大模型理解query,通過(guò)提示詞,讓模型理解意圖,當(dāng)前產(chǎn)品有關(guān)的數(shù)據(jù)維度解釋說(shuō)明,計(jì)算規(guī)則等。從而將用戶的需求完整的描述處理。
- 用戶提問(wèn):官網(wǎng)線索轉(zhuǎn)換了是多少?
- 模型反寫:想要了解從官網(wǎng)注冊(cè)的用戶,最終購(gòu)買產(chǎn)品的比例。計(jì)算規(guī)則:官網(wǎng)線索客戶成交數(shù)/官網(wǎng)線索數(shù)
(2)理解表結(jié)構(gòu):讓模型知道從那張表中獲取相關(guān)的數(shù)據(jù)。通過(guò)補(bǔ)充表+字段的方法,讓模型知道數(shù)據(jù)庫(kù)中有哪些表,從而推測(cè)要用到哪些表
- 比如表結(jié)構(gòu)理解輸出:模型反寫:想要了解從官網(wǎng)注冊(cè)的用戶,最終購(gòu)買產(chǎn)品的比例。計(jì)算規(guī)則:官網(wǎng)線索客戶成交數(shù)/官網(wǎng)線索數(shù),要統(tǒng)計(jì)從線索表中篩選來(lái)源為“官網(wǎng)”的線索數(shù),統(tǒng)計(jì)從成交訂單中篩選來(lái)源為“官網(wǎng)”的訂單數(shù)
(3)SQL生成:接住大模型或者txt2SQL等模型,將文本轉(zhuǎn)為可執(zhí)行的SQL
(4)執(zhí)行SQL:執(zhí)行上一步生成的SQL,獲取其結(jié)果
(5)數(shù)據(jù)可視化:借助繪圖工具,繪制趨勢(shì)圖等圖表。同時(shí)模型對(duì)于數(shù)據(jù)進(jìn)行簡(jiǎn)單的分析說(shuō)明
(6)輸出:對(duì)用戶輸出可視化的內(nèi)容
整個(gè)過(guò)程的關(guān)鍵環(huán)節(jié)在于問(wèn)題的反寫與表結(jié)構(gòu)的理解,需要在這個(gè)環(huán)節(jié)中用提示詞給模型正確的引導(dǎo),讓模型能夠理解清楚業(yè)務(wù),以及用戶的意圖、計(jì)算邏輯。同時(shí)對(duì)于喂給大模型的內(nèi)容,進(jìn)行選擇性的拼接。
同時(shí)也可以考慮增加?jì)善G環(huán)節(jié),降低理解的出錯(cuò)率。
3. 進(jìn)階:融入Agent
更深度的應(yīng)用,可以將大模型+bi的環(huán)節(jié),變成Action事件,嵌入到已有的Agent當(dāng)中
三、優(yōu)勢(shì)與問(wèn)題
1. 優(yōu)勢(shì)
- 開(kāi)發(fā)成本低:只需要數(shù)據(jù)庫(kù)增加字段,提示詞增加說(shuō)明,即可滿足用戶對(duì)于數(shù)據(jù)分析的數(shù)據(jù),開(kāi)發(fā)成本大幅降低;
- 使用體驗(yàn):基于模型的理解去分析,查找數(shù)據(jù)、分析數(shù)據(jù),實(shí)時(shí)繪圖,擺脫原有數(shù)據(jù)報(bào)表的限制,可以自定義進(jìn)行深度的分析。
2. 問(wèn)題
- 復(fù)雜數(shù)據(jù)的處理不確定,可能需要借助增加過(guò)程、借助agent等提高模型對(duì)復(fù)雜數(shù)據(jù)的處理;
- 存在幻覺(jué)、異常數(shù)據(jù)排查難度較大,過(guò)程黑盒無(wú)法排查!
本文由 @易俊源 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自 Unsplash,基于 CC0 協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
- 目前還沒(méi)評(píng)論,等你發(fā)揮!