Agent開(kāi)發(fā)平臺(tái)數(shù)據(jù)運(yùn)營(yíng)體系:企業(yè)如何衡量大模型投入產(chǎn)出比ROI?
大模型到底為公司帶來(lái)了多大的好處?為應(yīng)用大模型,采購(gòu)了第三方的AgentBuilder平臺(tái),或者自研搭建了大模型應(yīng)用平臺(tái),效果咋樣?企業(yè)內(nèi)部的員工會(huì)用了嗎?還是依賴(lài)外部的第三方提供解決方案呢?用大模型時(shí),需要考慮信息安全相關(guān)的事兒,權(quán)限粒度能滿(mǎn)足要求嗎?違規(guī)碰觸攔得住嗎?……一連串的問(wèn)題,讓數(shù)據(jù)來(lái)回答……
1.大模型落地stakeholders&成本
企業(yè)都想在這波技術(shù)生產(chǎn)力變革中,不被落下,無(wú)論是自動(dòng)駕駛、具身智能、機(jī)器人還是內(nèi)部的IT系統(tǒng),迎來(lái)了“換腦子”的機(jī)會(huì)。都想干,怎么入手呢?一般大模型落地需要五個(gè)角色的人彼此協(xié)作。如果是外采第三方MaaS平臺(tái),那么3、4、5就由第三方公司出人。
2.Agent開(kāi)發(fā)平臺(tái)產(chǎn)品功能MAP
要評(píng)估自建、還是外采,那么先來(lái)看下,Agent開(kāi)發(fā)平臺(tái),應(yīng)該有哪些必備的“能力”。搭建這樣一個(gè)平臺(tái),貴公司需要多久?投入多少成本/資源?
3.Agent平臺(tái)數(shù)據(jù)運(yùn)營(yíng)
3.1 ROI
ROI=W/(XorY+Z+M+N+O)
3.2 平臺(tái)運(yùn)營(yíng):有數(shù)據(jù)可用
節(jié)約成本:每個(gè)月做數(shù)據(jù)清洗、數(shù)據(jù)查詢(xún)、口徑對(duì)齊、取數(shù)等工作,2*15=30人天/月
3.3 平臺(tái)運(yùn)營(yíng):需要的數(shù)據(jù)
有了這些數(shù)據(jù),可以回答下面一系列問(wèn)題:
- 高層可以了解,各層級(jí)部門(mén)應(yīng)用大模型的進(jìn)展C
- 高層可以了解,當(dāng)前員工用大模型的情況F
還可以了解:
- 昨天,員工跟大模型交流對(duì)話(huà)了多少輪?消耗多少token(需要花多少錢(qián))?大模型回復(fù)了多少token(代替人回答問(wèn)題)?大模型累計(jì)服務(wù)時(shí)長(zhǎng)是多少?X/8小時(shí),相當(dāng)于一天里,有多少名虛擬數(shù)字員工在代替人干活~~
- 上周,營(yíng)銷(xiāo)Agent,一共生產(chǎn)多少篇營(yíng)銷(xiāo)圖文/視頻等,投放到各個(gè)渠道的效果怎么樣,熱度、用戶(hù)回復(fù)、傳播效果與大上周、或者與人工產(chǎn)出文案同環(huán)比,為小程序、APP拉新、促活引流效果如何……
- 7月,銷(xiāo)售助手Agent,累計(jì)應(yīng)答多少次銷(xiāo)售問(wèn)詢(xún),以更好的給用戶(hù)做售前解答。售后服務(wù)Agent,累計(jì)應(yīng)答多少次售后服務(wù)同學(xué),以更快捷的協(xié)助用戶(hù)解決問(wèn)題……
- 7月,零件Agent,累計(jì)應(yīng)答多少次零件在庫(kù)問(wèn)詢(xún)/同類(lèi)零件可替代問(wèn)詢(xún),發(fā)出多少個(gè)零件的庫(kù)存紅線(xiàn)采購(gòu)預(yù)警,以確保供應(yīng)鏈最優(yōu),成本最優(yōu)……
- Q2,輿情監(jiān)控Agent,一共搜集到多少個(gè)外部渠道的用戶(hù)呼聲,其中有多少是正面輿情,多少是負(fù)面輿情。有多少做了即時(shí)回復(fù),有多少通過(guò)人工處理~~
所有的環(huán)節(jié),數(shù)字化+智能化的協(xié)作是大模型讓企業(yè)動(dòng)起來(lái)的表征……
4.舉例:大模型安全識(shí)別、攔截、放行數(shù)據(jù)分析漏斗圖
計(jì)算公式:
1.輸入攔截率=輸入攔截次數(shù)/用戶(hù)輸入總量=5+(4+X2)/1
2.輸出攔截率=輸出攔截次數(shù)/大模型輸出總量=11+(X2+10)/1
3.漏攔截率=漏攔截次數(shù)/(攔截次數(shù)-誤攔截次數(shù)+漏攔截次數(shù))=4+X2+10/(5+11-6-X1-12+4+X2+10)
4.誤攔截率=誤攔截次數(shù)/攔截次數(shù)=(6+X1+12)/5+11
受作者領(lǐng)域認(rèn)知深度所限及技術(shù)無(wú)時(shí)無(wú)刻不在更新迭代,業(yè)界對(duì)LLM、AGI、Agent、GPT……的衍生應(yīng)用必定是珠零錦粲。無(wú)法在一篇中盡現(xiàn)全貌,未來(lái)可能會(huì)徹底推翻當(dāng)下的種種嘗試而不得知。能為大家?guī)ヒ稽c(diǎn)點(diǎn)新的啟發(fā),以深感欣慰。文中難免有紕漏或不準(zhǔn)確的地方,歡迎大家批評(píng)指正。撰寫(xiě)中參考網(wǎng)絡(luò)上各位同仁的最新觀(guān)點(diǎn),拿來(lái)主義未打招呼,還望見(jiàn)諒。若有任何建議或意見(jiàn),歡迎聯(lián)系作者探討。
作者:shucay、佳琪、小正
本文由@shucay 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
該文觀(guān)點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
- 目前還沒(méi)評(píng)論,等你發(fā)揮!