編輯導(dǎo)讀：智能客服機(jī)器人已經(jīng)成為了很多企業(yè)售后的標(biāo)配產(chǎn)品，它能在一定程度上減輕客服人員的壓力。如何衡量一個(gè)智能客服機(jī)器人是否好用，這就需要制定系統(tǒng)化的指標(biāo)和優(yōu)化方案。本文將從數(shù)據(jù)指標(biāo)和如何細(xì)化兩個(gè)方面，對(duì)智能客服機(jī)器人的衡量指標(biāo)體系展開(kāi)分析，與你分享。

智能客服機(jī)器人慢慢成為了很多企業(yè)售后環(huán)節(jié)的標(biāo)配產(chǎn)品，同時(shí)市面上智能客服供應(yīng)商也如雨后春筍般涌現(xiàn)，大家都宣稱(chēng)自己的機(jī)器人多么智能。但很多時(shí)候，上線(xiàn)后要讓機(jī)器人發(fā)揮作用，不是“多么智能”幾個(gè)字就能達(dá)到目標(biāo)。里面需要團(tuán)隊(duì)中的產(chǎn)品、運(yùn)營(yíng)、算法等人一起努力。當(dāng)然，很多團(tuán)隊(duì)由于沒(méi)有經(jīng)驗(yàn)，這個(gè)過(guò)程會(huì)像丈二的和尚摸不著頭腦，需要進(jìn)行多次摸索才能知道該如何優(yōu)化。

所以，今天要討論的，就是如何系統(tǒng)化去衡量機(jī)器人的效果，從而幫助團(tuán)隊(duì)針對(duì)性高效優(yōu)化機(jī)器人。

說(shuō)明：本次討論的范圍限于售后服務(wù)的文本機(jī)器人。

一、數(shù)據(jù)指標(biāo)

1. 北極星指標(biāo)

說(shuō)到衡量效果，就需要提到數(shù)據(jù)指標(biāo)。

每款產(chǎn)品都有很多數(shù)據(jù)指標(biāo)，而我們要找的應(yīng)該是最核心的指標(biāo)，即業(yè)界說(shuō)的【北極星指標(biāo)】。這個(gè)指標(biāo)一定是最能體現(xiàn)業(yè)務(wù)目標(biāo)的。

比如閑聊機(jī)器人是為了陪伴用戶(hù)度過(guò)每個(gè)無(wú)聊的日子，北極星指標(biāo)應(yīng)該是活躍度和留存率；營(yíng)銷(xiāo)機(jī)器人是為了讓用戶(hù)下單，北極星指標(biāo)應(yīng)該是營(yíng)銷(xiāo)轉(zhuǎn)化率。同樣的客服機(jī)器人是為了解決用戶(hù)疑惑，不用轉(zhuǎn)人工從而降低成本，所以北極星指標(biāo)應(yīng)該是【獨(dú)立接待率】，與其相反的就是【轉(zhuǎn)人工率】。維護(hù)客服機(jī)器人，其實(shí)就是不斷提高獨(dú)立接待率，降低轉(zhuǎn)人工率。

找到這個(gè)核心指標(biāo)不是完事，畢竟這個(gè)指標(biāo)可能連我不怎么用網(wǎng)絡(luò)的舅舅都知道。這只是一個(gè)開(kāi)始，接下來(lái)還得知道哪些因素會(huì)影響該指標(biāo)，才能從這些方向針對(duì)性地優(yōu)化機(jī)器人。

2. 客服業(yè)務(wù)流

要想降低轉(zhuǎn)人工率，也就是機(jī)器人能幫客戶(hù)解決更多問(wèn)題，那就要求機(jī)器人能像人工客服一樣，甚至做得比人工客服更好，才能讓客戶(hù)認(rèn)可。我們回想下，客服在解答用戶(hù)問(wèn)題時(shí)，都做了哪些事？

小七總結(jié)了一下，客服的核心業(yè)務(wù)流分為三部分：

1. 了解用戶(hù)的問(wèn)題：知道用戶(hù)問(wèn)的是什么問(wèn)題，如果用戶(hù)表達(dá)不清楚，還需要跟用戶(hù)確認(rèn)
2. 了解問(wèn)題的解法：知道該問(wèn)題如何解決，考驗(yàn)客服對(duì)業(yè)務(wù)的熟悉程度
3. 解答用戶(hù)的問(wèn)題：利用用戶(hù)聽(tīng)得懂的表達(dá)來(lái)解答用戶(hù)問(wèn)題，且需要適時(shí)安撫

3. 機(jī)器人業(yè)務(wù)目標(biāo)

了解了客服的核心業(yè)務(wù)流之后，我們需要讓機(jī)器人也能完成這個(gè)流程，從而讓客戶(hù)愿意接受機(jī)器人的答案，降低轉(zhuǎn)人工率。對(duì)于機(jī)器人來(lái)說(shuō)，要滿(mǎn)足核心業(yè)務(wù)要求，需要其達(dá)到對(duì)應(yīng)的能力。那具體對(duì)應(yīng)是哪些能力，這里我根據(jù)以往的經(jīng)驗(yàn)，做了一層映射。

1. 了解用戶(hù)的問(wèn)題：準(zhǔn)確知道用戶(hù)問(wèn)題的意圖，若意圖缺失，還需要與用戶(hù)確認(rèn)
2. 了解問(wèn)題的解法：知道大部分業(yè)務(wù)問(wèn)題的答案，能夠在識(shí)別到用戶(hù)意圖之后給出解法
3. 解答用戶(hù)的問(wèn)題：回復(fù)話(huà)術(shù)需要讓用戶(hù)聽(tīng)得懂，聽(tīng)得舒服，保持人性化

根據(jù)以上內(nèi)容，我總結(jié)了降低機(jī)器人轉(zhuǎn)人工率的三個(gè)方向以及對(duì)應(yīng)指標(biāo)，接下來(lái)我們就一個(gè)個(gè)方向進(jìn)行細(xì)化。

二、細(xì)化

1. 識(shí)別得多不多

識(shí)別得多不多，也就是機(jī)器人能不能理解用戶(hù)更多意圖，并給出相應(yīng)回復(fù)。這里就要求機(jī)器人知識(shí)庫(kù)能夠覆蓋更多業(yè)務(wù)問(wèn)題，當(dāng)業(yè)務(wù)覆蓋率越高，機(jī)器人就能識(shí)別更多意圖，解答更多業(yè)務(wù)問(wèn)題。

業(yè)務(wù)問(wèn)題可以通過(guò)聚類(lèi)歷史數(shù)據(jù)篩選出來(lái)，那如何從更細(xì)化的指標(biāo)體現(xiàn)業(yè)務(wù)覆蓋率呢？

一般來(lái)說(shuō)，知識(shí)庫(kù)覆蓋的業(yè)務(wù)問(wèn)題越多，機(jī)器人不知道的問(wèn)題就越少，也就是無(wú)法識(shí)別的比例越低；對(duì)應(yīng)能夠識(shí)別且回復(fù)的問(wèn)題越多，也就是直接回復(fù)比例越高。在這兩者之間，還有一類(lèi)間接回答的場(chǎng)景，也就是機(jī)器人大概知道但又不大確定的問(wèn)題，就會(huì)推薦幾個(gè)類(lèi)似問(wèn)題讓用戶(hù)確認(rèn)。

總的來(lái)說(shuō)，要衡量機(jī)器人識(shí)別得多不多，可以通過(guò)機(jī)器人回復(fù)類(lèi)型來(lái)判斷，目標(biāo)就是：機(jī)器人回復(fù)的所有消息中，直接回答比例不斷提升，間接回復(fù)和無(wú)法識(shí)別的比例不斷降低。

2. 識(shí)別得準(zhǔn)不準(zhǔn)

我們想觀(guān)察機(jī)器人識(shí)別得準(zhǔn)不準(zhǔn)，實(shí)際上就是在分析機(jī)器人自信認(rèn)為理解了用戶(hù)的意圖，而事實(shí)上到底對(duì)不對(duì)。

機(jī)器人自信認(rèn)為對(duì)的問(wèn)題，也就是我們前面說(shuō)的直接回答場(chǎng)景，也就是機(jī)器人直推且正確的消息數(shù)與機(jī)器人直推的消息數(shù)比例，可以歸納為【直推準(zhǔn)確率】。當(dāng)然，判斷機(jī)器人直接回復(fù)準(zhǔn)不準(zhǔn)確，需要機(jī)器人訓(xùn)練師做人工質(zhì)檢，才能得到確切的數(shù)據(jù)。

另一方面，我們也可以考核機(jī)器人給出所有反饋的準(zhǔn)確率，包括了直接回答和間接回答。雖然間接回答是機(jī)器人不大自信，沒(méi)有給出直接答案，從而給出了推薦問(wèn)題；但如果推薦問(wèn)題都是錯(cuò)的，那就沒(méi)有任何意義，甚至大大降低了用戶(hù)體驗(yàn)，所以還是需要保證其準(zhǔn)確性。

因此我們可以歸納為【綜合準(zhǔn)確率】，公式可以總結(jié)為：（機(jī)器人直推且正確的消息數(shù)+機(jī)器人間接回答且正確的消息數(shù)）/機(jī)器人直接+間接回答的總消息數(shù)。

當(dāng)然，或許有人會(huì)有疑惑，機(jī)器人間接回答到底正不正確很難衡量，甚至人為質(zhì)檢都存在很大不確定性。確實(shí)，這個(gè)指標(biāo)比較模糊，但我們可以從用戶(hù)反饋動(dòng)作來(lái)觀(guān)察，也就是看機(jī)器人間接推薦了問(wèn)題且用戶(hù)采納問(wèn)題去查詢(xún)答案的場(chǎng)景，我們就理解為機(jī)器人間接回答是正確的。從這個(gè)定義出發(fā)的話(huà)，我們也不需要進(jìn)行人工質(zhì)檢，由系統(tǒng)根據(jù)用戶(hù)反饋來(lái)進(jìn)行統(tǒng)計(jì)。

3. 回答得好不好

業(yè)務(wù)覆蓋也做了，準(zhǔn)確性也保障了，最后就是要給出答案。衡量機(jī)器人回答得好不好，很大程度上跟AI能力無(wú)關(guān)，而是運(yùn)營(yíng)效果的衡量。運(yùn)營(yíng)人員給每條知識(shí)庫(kù)問(wèn)題配了答案之后，這個(gè)答案需要能夠解決用戶(hù)問(wèn)題，安撫用戶(hù)情緒，從而讓用戶(hù)不轉(zhuǎn)人工。所以要看回答得好不好，一方面我們需要細(xì)化到每個(gè)FAQ的效果來(lái)看，另一方面這是一個(gè)非常主觀(guān)的問(wèn)題，所以我們需要將主觀(guān)變?yōu)榭陀^(guān)，也就是看針對(duì)每個(gè)答案，用戶(hù)的反饋。

用戶(hù)對(duì)機(jī)器人的反饋一般有兩種，一種是轉(zhuǎn)不轉(zhuǎn)人工，另一種就是評(píng)價(jià)，對(duì)應(yīng)的指標(biāo)就是【答案解決率】和【答案的滿(mǎn)意度】

答案解決率就是機(jī)器人給出了答案后，用戶(hù)是否轉(zhuǎn)人工，若是轉(zhuǎn)人工了，說(shuō)明答案無(wú)法解決用戶(hù)問(wèn)題，如果沒(méi)有轉(zhuǎn)人工，一定程度上可以理解為解答了用戶(hù)問(wèn)題。所以運(yùn)營(yíng)可以通過(guò)這個(gè)指標(biāo)，篩選出答案轉(zhuǎn)人工率最高的問(wèn)題，進(jìn)行針對(duì)性?xún)?yōu)化，提升答案解決率。

答案滿(mǎn)意度是通過(guò)用戶(hù)對(duì)機(jī)器人答案的點(diǎn)贊或者點(diǎn)踩來(lái)進(jìn)行分析，我們可以分為整體點(diǎn)贊/點(diǎn)踩率和單個(gè)答案的點(diǎn)贊/點(diǎn)踩率，從整體和局部去分析機(jī)器人回答的好壞。例如某個(gè)答案的點(diǎn)踩率特別高，我們就需要進(jìn)行策略調(diào)整，是不是換個(gè)回復(fù)內(nèi)容，甚至犧牲轉(zhuǎn)人工率，讓其進(jìn)入人工，從而保證用戶(hù)體驗(yàn)。

三、總結(jié)

好了，有了以上細(xì)化的衡量方向，我們就可以清晰地看出影響智能客服北極星指標(biāo)的因素有哪些，總結(jié)如下圖；同時(shí)我們通過(guò)具體數(shù)據(jù)，也能鞏固知道應(yīng)該往哪些方向去優(yōu)化。

比如直接推薦比例很低，那就需要訓(xùn)練師覆蓋更多的業(yè)務(wù)業(yè)務(wù)場(chǎng)景；直推準(zhǔn)確率很低，就需要訓(xùn)練師增加相似問(wèn)法，算法工程師調(diào)優(yōu)模型；答案點(diǎn)踩率很高，就需要運(yùn)營(yíng)優(yōu)化答案及回復(fù)策略。

作者：七俠? ?微信號(hào)：steseven? 公眾號(hào)：小七俠? ? 歡迎交流！

本文由 @steseven 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash，基于CC0協(xié)議。