推薦系統(tǒng)并非完美無(wú)缺，它也常常會(huì)遇到各種“壞案例”（badcase）。這些問(wèn)題不僅影響用戶(hù)的滿(mǎn)意度，也對(duì)推薦策略的優(yōu)化提出了挑戰(zhàn)。本文將深入剖析推薦系統(tǒng)中badcase的排查全流程，供大家參考。

在我從事推薦策略的歷史長(zhǎng)河中，總有兩個(gè)靈魂問(wèn)題常伴著我：

1.這篇為什么給我推？

這條內(nèi)容質(zhì)量太差/我明明點(diǎn)了負(fù)反饋/數(shù)據(jù)不好沒(méi)人看，為什么還給我推？

2.這篇為什么沒(méi)給我推？

我明明點(diǎn)擊并評(píng)論了某個(gè)電視劇的內(nèi)容，為什么后續(xù)沒(méi)有繼續(xù)給我推？

我在其他平臺(tái)都能刷到珠寶首飾內(nèi)容，為什么在你這就刷不到？

推薦是黑盒，排查起來(lái)并不容易。

早期當(dāng)我接到badcase的時(shí)候，會(huì)有一種別扭、無(wú)力的感覺(jué)。一方面，推薦黑盒到抓任何一個(gè)開(kāi)發(fā)來(lái)都無(wú)法描述其全貌。另一方面，推薦系統(tǒng)應(yīng)以數(shù)據(jù)導(dǎo)向，而不是badcase導(dǎo)向，不去計(jì)較一城一池的得失，方能實(shí)現(xiàn)整體數(shù)據(jù)的庫(kù)庫(kù)提升。話(huà)都沒(méi)錯(cuò)，以至于我經(jīng)常用這些冠冕堂皇的理由搪塞過(guò)去。

做交互设计10年，我为何转岗到产品经理？

真正转岗之后，我发现很多工作还是超出了自己的想象。产品经理的工作确实比较杂。理论上，产品经理的工作包括了产品的方方面面，从市场研究、用户调研、数据分析...

查看详情 >

但問(wèn)題并沒(méi)有解決。

時(shí)隔三年，這次用badcase開(kāi)篇，就是想警示自己：

1.不要先入為主地認(rèn)為用戶(hù)在無(wú)理取鬧。弱小和無(wú)知不是排查的障礙，傲慢才是。

2.別被推薦系統(tǒng)唬住，懷著敬畏和耐心查到底，真相即便不在當(dāng)下浮現(xiàn)，也會(huì)在下次、下下次本地調(diào)試的時(shí)候向你走來(lái)。

排查，并非是拒不掉的臟活兒，而是了解用戶(hù)、了解推薦的機(jī)會(huì)。

一、Badcase：為什么給我推？

用戶(hù)在抱怨的時(shí)候，通常認(rèn)為這篇內(nèi)容：質(zhì)量不佳/不感興趣/低互動(dòng)。

這條內(nèi)容質(zhì)量太差/我明明點(diǎn)了負(fù)反饋/數(shù)據(jù)不好沒(méi)人看，為什么還給我推？

質(zhì)量不佳的case，往往需要審核、運(yùn)營(yíng)、模型通力合作、上下一心，將低質(zhì)內(nèi)容標(biāo)記出來(lái)，不管是粗暴過(guò)濾也好、做精細(xì)的用戶(hù)容忍度策略也罷，是個(gè)結(jié)構(gòu)性問(wèn)題，這里不做展開(kāi)。

不感興趣/低互動(dòng) 這兩類(lèi)排查方法一致。查已推薦出來(lái)的內(nèi)容，一般倒著看：用戶(hù)-接口-重排強(qiáng)插規(guī)則-精排-重排過(guò)濾規(guī)則、提權(quán)降權(quán)規(guī)則-過(guò)濾器-召回

這個(gè)問(wèn)題相對(duì)來(lái)說(shuō)比較好查，我直接羅列原因：

1. 是否是新用戶(hù)？新用戶(hù)階段，用戶(hù)行為很少很少甚至沒(méi)有，推薦把握不準(zhǔn)興趣是正常的
2. 進(jìn)入兜底或關(guān)閉推薦模式？推薦策略和模型失效
3. 重排規(guī)則性強(qiáng)插出來(lái)。通常見(jiàn)于運(yùn)營(yíng)策略、保量和試投策略，低互動(dòng)內(nèi)容有可能在這里被拽上來(lái)
4. 精排模型打分排序高，被自然排序出來(lái)。如果是多目標(biāo)的預(yù)估模型，還需要更詳細(xì)的分目標(biāo)的預(yù)估分?jǐn)?shù)日志，再進(jìn)一步排查和這個(gè)目標(biāo)相關(guān)的特征以及訓(xùn)練、歸一化的方式。比如互動(dòng)預(yù)估分?jǐn)?shù)很高，可以排查互動(dòng)特征的可信度，是否容易被攻擊？
5. 為滿(mǎn)足重排對(duì)其他內(nèi)容的打散、提權(quán)、降權(quán)策略，把精排模型打分不怎么高的給排上來(lái)了
6. 過(guò)濾器或者降權(quán)沒(méi)有干掉這些內(nèi)容。badcase有重復(fù)推薦、相似推薦、低互動(dòng)的內(nèi)容推薦、用戶(hù)點(diǎn)了負(fù)反饋仍繼續(xù)推薦、用戶(hù)持續(xù)不點(diǎn)擊還是推薦，這時(shí)候得分情況設(shè)計(jì)策略如強(qiáng)負(fù)反饋過(guò)濾、隱性負(fù)反饋降權(quán)
7. 召回這一步容錯(cuò)率很高，故不會(huì)苛責(zé)召回，但如果大量用戶(hù)都出現(xiàn)了不該出現(xiàn)的內(nèi)容，召回可以抽象出來(lái)共性，作為改善方案之一

二、Badcase：為什么不給我推？

這幾乎是推薦系統(tǒng)中的無(wú)頭冤案了，需要從前往后查，甚至要追溯到盤(pán)古開(kāi)天辟地之時(shí)。

用戶(hù)的抱怨通常分兩種：我點(diǎn)過(guò)的內(nèi)容沒(méi)給我推/其他平臺(tái)推的內(nèi)容沒(méi)給我推

我點(diǎn)過(guò)的內(nèi)容沒(méi)給我推

我明明點(diǎn)擊并評(píng)論了某個(gè)電視劇的內(nèi)容，為什么后續(xù)沒(méi)有繼續(xù)給我推這個(gè)電視?。?/p>

這時(shí)候的排查鏈路是：點(diǎn)擊歷史-召回-找排查標(biāo)的-過(guò)濾器-粗排-精排-重排

1.排查用戶(hù)點(diǎn)擊、評(píng)論數(shù)據(jù)通路是否生效，端上埋點(diǎn)再到后臺(tái)的點(diǎn)擊歷史記錄是否正常。

2.排查應(yīng)用點(diǎn)擊計(jì)算用戶(hù)偏好的召回里是否有這類(lèi)內(nèi)容。但我們手頭上沒(méi)有這類(lèi)內(nèi)容的集合怎么辦？

3.先找內(nèi)容標(biāo)的。用戶(hù)提供內(nèi)容id固然好，若是泛指，則需要我們自己搜羅。從內(nèi)容庫(kù)篩出具體特征，如標(biāo)題、標(biāo)簽或者類(lèi)別包含某個(gè)關(guān)鍵詞，或者和他瀏覽內(nèi)容向量相近的內(nèi)容。你會(huì)得到內(nèi)容id的列表。將用戶(hù)的曝光歷史、瀏覽歷史和內(nèi)容id列表做比對(duì)，濾出用戶(hù)沒(méi)有曝光和瀏覽的內(nèi)容列表，作為排查標(biāo)的。

要是發(fā)現(xiàn)篩不出來(lái)多少甚至沒(méi)有了，需要向上游提需求補(bǔ)充內(nèi)容，此刻推薦這邊排查基本結(jié)束。

有且有一大堆標(biāo)的內(nèi)容，就繼續(xù)向下排查。

4.召回列表里沒(méi)有標(biāo)的內(nèi)容

可以去排查某幾個(gè)重點(diǎn)召回的索引。索引里有內(nèi)容卻沒(méi)被召回，需要找召回開(kāi)發(fā)一起排查，比如召回有做虛假點(diǎn)擊處理，或者召回排序沒(méi)有偏向這類(lèi)內(nèi)容，上限滿(mǎn)了把這些內(nèi)容截?cái)嗔?。若召回索引里也沒(méi)有，但我們標(biāo)的內(nèi)容很充足。需檢查召回索引用的內(nèi)容池是否有這些內(nèi)容？這時(shí)候會(huì)發(fā)現(xiàn)內(nèi)容池的漏洞，補(bǔ)充上就完事了。

5.召回列表里有標(biāo)的內(nèi)容，繼續(xù)排查是否被過(guò)濾器過(guò)濾，優(yōu)化過(guò)濾器。

6.過(guò)濾器清白，就排查粗排和精排，他倆對(duì)這類(lèi)內(nèi)容打分可能不高。

涉及到黑盒的排序環(huán)節(jié)，需要開(kāi)發(fā)協(xié)助排查。理論上，無(wú)論用戶(hù)興趣豐富與否，近幾次的點(diǎn)擊都是很好用的特征。

7.若是打分高呢？可能在重排環(huán)節(jié)被調(diào)了位置。這時(shí)候排查重排規(guī)則，通常是提權(quán)降權(quán)打散，可以適當(dāng)做一些瘦身。

其他平臺(tái)推的內(nèi)容沒(méi)給我推

我在其他平臺(tái)都能刷到珠寶首飾內(nèi)容，為什么在你這就刷不到？

這時(shí)候原因還是比較明確的：這類(lèi)內(nèi)容數(shù)據(jù)效果一般，自然也就很難協(xié)同出。

至于為什么效果一般，有可能是特征不夠準(zhǔn)確，致使這些內(nèi)容都在試投階段飛蛾撲火；也有可能是生產(chǎn)質(zhì)量需要改進(jìn)。改善這類(lèi)內(nèi)容的數(shù)據(jù)效果需要和推薦策略同時(shí)進(jìn)行。

策略層面如何托舉這類(lèi)內(nèi)容，讓它更容易出來(lái)呢？增加探索強(qiáng)插固然見(jiàn)效快，但推薦是平衡沉浸感和新鮮感的藝術(shù)，更為推薦的方法是：補(bǔ)充特征讓它更容易被自然協(xié)同出來(lái)。珠寶是女性愛(ài)看的，看看珠寶內(nèi)容的消費(fèi)數(shù)據(jù)有沒(méi)有很強(qiáng)的性別傾向性？可以考慮在精排模型增加用戶(hù)性別特征和內(nèi)容性別點(diǎn)擊率特征、增加用戶(hù)性別協(xié)同召回等等。如果還是出不來(lái)，說(shuō)明這類(lèi)內(nèi)容的數(shù)據(jù)效果還是無(wú)法脫穎而出，強(qiáng)扭的瓜不甜。在資源有限、產(chǎn)品有自己基因的前提下，上下游很難顧及所有品類(lèi)。

三、寫(xiě)在最后

用badcase創(chuàng)造goodcase，才是策略產(chǎn)品經(jīng)理的使命。記得用數(shù)據(jù)分析開(kāi)場(chǎng)、用A/B測(cè)試數(shù)據(jù)優(yōu)雅收尾。

當(dāng)然了，道理都懂，實(shí)際情況總有很多不得已。只愿你享受追尋真相的過(guò)程。