你是不是也有過(guò)這樣的經(jīng)歷或感受：只要刷起短視頻軟件，不花上一定時(shí)間消磨在其中，你滑動(dòng)的手指好像就停不下來(lái)？而在這現(xiàn)象背后，可能是“推薦系統(tǒng)”和“算法”在讓你“上癮”。具體如何解讀推薦系統(tǒng)的存在和作用？一起來(lái)看看作者的分析。

不知道你是不是跟我一樣，特別喜歡刷抖音，經(jīng)常一天要刷個(gè)把小時(shí)，無(wú)論是通勤路上，還是工作間隙，一有時(shí)間就會(huì)刷起來(lái)，在自己不間斷發(fā)出的「哈哈」和「臥槽」聲中逐漸沉迷，無(wú)法自拔。

不過(guò)可能不只你我，截至2022年第四季度，抖音日活用戶超7億，人均日使用時(shí)長(zhǎng)高達(dá)140分鐘，換句話說(shuō)，每天有7億人，平均刷2個(gè)多小時(shí)短視頻，這還不算快手、微信視頻號(hào)等其它平臺(tái)。短視頻到底有什么魔力，能夠讓我們?nèi)绱恕干习a沉迷」？

本文將從推薦系統(tǒng)實(shí)現(xiàn)原理的角度剖析短視頻「上癮」原因和不良影響，以及對(duì)我們?cè)撊绾螒?yīng)對(duì)。

一、為什么會(huì)對(duì)短視頻「上癮」？

短視頻讓我們上癮的魔力歸根結(jié)底就是：太好看了！非常符合我們每個(gè)人的觀看內(nèi)容偏好，就像預(yù)言家一樣，總能精準(zhǔn)的知道，我們會(huì)喜歡什么樣的內(nèi)容。

能達(dá)到這樣的精準(zhǔn)效果，短視頻平臺(tái)靠的主要是：海量的UGC視頻內(nèi)容供給，巨量的用戶及行為數(shù)據(jù)，智能推薦算法。這三者組成一套內(nèi)容推薦系統(tǒng)，做到對(duì)內(nèi)容和人的充分理解，為我們提供精準(zhǔn)的內(nèi)容消費(fèi)預(yù)測(cè)和候選推薦。

這就像你的朋友們給你推薦電影，朋友A自身看過(guò)很多電影，同時(shí)也大概知道你喜歡或者討厭什么類型的電影；另一個(gè)朋友B沒(méi)怎么看過(guò)電影，跟你也不太熟悉。那么朋友A更大概率能給你推薦符合你口味的電影。

這套推薦系統(tǒng)也像是你的一個(gè)「朋友」，只不過(guò)他看過(guò)數(shù)百億乃至千億數(shù)量的短視頻，同時(shí)也了解你幾乎所有的畫像信息（年齡/性別/收入/位置/興趣等）和此前你對(duì)視頻做過(guò)的所有行為數(shù)據(jù)（完播/點(diǎn)贊/評(píng)論/關(guān)注/轉(zhuǎn)發(fā)等），到今天為止，這個(gè)「朋友」找到符合你口味短視頻的概率非常嚇人，接近100%，并且?guī)缀跏窃谌魏文愦蜷_短視頻app的時(shí)候。這個(gè)「朋友」具體是怎么工作的呢，能有如此恐怖的效果？

內(nèi)容推薦系統(tǒng)的工作流程大概如下圖所示：

推薦算法的流程，簡(jiǎn)單理解可以分為召回，粗排（序）和精排（序）三個(gè)步驟。召回就是從我們的海量?jī)?nèi)容庫(kù)中，按照各種理由找到部分作品進(jìn)入用戶的候選作品池，這些召回理由有很多，比如當(dāng)前最熱的作品，比如你的朋友點(diǎn)贊過(guò)的作品，等等。

粗排主要是做一些簡(jiǎn)單粗略的排序，用于在召回后減少候選池的內(nèi)容量級(jí)，比如各個(gè)召回源的TOPK排序，粗排會(huì)將候選池截?cái)嗟揭粋€(gè)可控的量級(jí)（一般到千的量級(jí)），不然精排階段會(huì)非常耗時(shí)，精排一般都采用模型進(jìn)行排序，比如LR（線性回歸），LR+GBDT（線性回歸+樹模型），F(xiàn)M（因子分解模型），DNN（深度學(xué)習(xí)模型）等，排序后候選內(nèi)容池會(huì)到百量級(jí)。

這些排序策略和模型的輸入都是用戶的各種靜態(tài)和行為特征（也就是圖中的用戶特征和用戶行為日志，比如你的地理位置信息、你對(duì)內(nèi)容的點(diǎn)贊、評(píng)論等行為）以及內(nèi)容的特征（比如，內(nèi)容的標(biāo)題、分類、基于畫面理解提取的特征向量等），輸出就是你對(duì)某一個(gè)候選視頻的各種行為目標(biāo)的預(yù)測(cè)，比如，多大概率會(huì)看完、多大概率會(huì)點(diǎn)贊等等。

基于這些目標(biāo)預(yù)測(cè)，最終會(huì)綜合成一個(gè)唯一排序分值，決定最終推薦你的候選視頻的順序。然后會(huì)下發(fā)到你的手機(jī)App上，讓你能刷到，你刷到之后的所有后續(xù)對(duì)于視頻的行為，也會(huì)通過(guò)日志實(shí)時(shí)上報(bào)和進(jìn)行計(jì)算，再更新相關(guān)的所有數(shù)據(jù)，用于迭代下一刷視頻的推薦。

想必到這里你會(huì)發(fā)現(xiàn)，推薦系統(tǒng)是一個(gè)動(dòng)態(tài)循環(huán)，不停的基于內(nèi)容的更新，用戶的行為反饋進(jìn)行迭代和更新，保證最終預(yù)測(cè)準(zhǔn)確的概率逼近100%。（更詳細(xì)的推薦系統(tǒng)介紹，感興趣的可以看我之前寫的一篇文章運(yùn)營(yíng)必知「推薦」二三事）這套系統(tǒng)，可以很好地提升你消費(fèi)內(nèi)容的體驗(yàn)，讓你對(duì)每個(gè)候選視頻都很滿意的看完，甚至產(chǎn)生互動(dòng)行為（點(diǎn)贊評(píng)論），不停的刷下去，因?yàn)檫@套系統(tǒng)優(yōu)化的目標(biāo)就是讓你做這些。

有沒(méi)有突然感覺(jué)后背發(fā)涼，表面上看，推薦系統(tǒng)似乎為我們消費(fèi)內(nèi)容提供便捷的服務(wù)，但從推薦系統(tǒng)的角度看，我們的行為似乎是被「他」掌控的。

推薦系統(tǒng)比我們自己都更了解自己，當(dāng)我們對(duì)短視頻「上癮」后，我們的那些自由的意志，我們對(duì)世界的認(rèn)知和各種決策是不是也會(huì)被這套機(jī)器系統(tǒng)所左右？如果有人惡意的使用這套系統(tǒng)，我們會(huì)不會(huì)被潛移默化的植入某些想法（洗腦），進(jìn)而影響我們?cè)诂F(xiàn)實(shí)世界的行為？

答案是肯定的！而這一切的原因都是來(lái)自算法的系統(tǒng)性偏差。

二、算法的系統(tǒng)性偏差（Bias）

通過(guò)前面的介紹，我們知道推薦系統(tǒng)的工作流程，是「用戶」通過(guò)與內(nèi)容的交互，產(chǎn)生了「數(shù)據(jù)」，這些數(shù)據(jù)再被推薦「模型」用于訓(xùn)練和預(yù)測(cè)用戶后續(xù)的內(nèi)容偏好，「模型」預(yù)測(cè)的結(jié)果再推薦給「用戶」，進(jìn)一步影響用戶未來(lái)的行為和決策。由此可見(jiàn)，推薦系統(tǒng)是由用戶（User）、數(shù)據(jù)（Data）、模型（Model），三者相互作用產(chǎn)生的一個(gè)動(dòng)態(tài)的反饋閉環(huán)。如下圖所示：

在這個(gè)循環(huán)中，每一步推薦系統(tǒng)都會(huì)產(chǎn)生一定的偏差（Bias）。在用戶（User）和內(nèi)容交互產(chǎn)生數(shù)據(jù)（Data）的過(guò)程中會(huì)產(chǎn)生如下Bias：

• 位置偏差（Position Bias）：位置偏差在搜索系統(tǒng)中是一個(gè)經(jīng)典并持續(xù)存在的偏差，同樣在推薦系統(tǒng)中也會(huì)存在，用戶更傾向于和位置靠前的內(nèi)容進(jìn)行互動(dòng)。尤其會(huì)對(duì)“用戶點(diǎn)擊行為”作為正例信號(hào)進(jìn)行學(xué)習(xí)的模型，位置偏差會(huì)在訓(xùn)練、評(píng)估階段產(chǎn)生錯(cuò)誤影響。
• 觀測(cè)/曝光偏差（Observation Bias/Exposure Bias）：因?yàn)閮H有一部分特定內(nèi)容曝光給了用戶，沒(méi)有曝光的內(nèi)容卻也不能直接認(rèn)為是用戶不感興趣，用戶用戶自身的喜好（比如主動(dòng)搜索，點(diǎn)擊等）或者所處的地理位置，興趣圈層，都會(huì)導(dǎo)致部分內(nèi)容更容易曝光。
• 選擇偏差（Selection Bias）：用戶傾向于給自己喜歡或者不喜歡的內(nèi)容進(jìn)行反饋，那些喜惡程度不高的一般就不會(huì)有反饋，這就會(huì)導(dǎo)致，可觀測(cè)到的互動(dòng)反饋數(shù)據(jù)并不是所有內(nèi)容的代表性樣本。換而言之，這部分?jǐn)?shù)據(jù)是“非隨機(jī)缺失”，這就會(huì)導(dǎo)致后續(xù)的內(nèi)容更偏向兩個(gè)極端，完全不給討厭的內(nèi)容，只給超級(jí)喜歡的。
• 從眾偏差（Conformity Bias）：用戶對(duì)于內(nèi)容的評(píng)價(jià)和反饋會(huì)和大眾趨同，比如一個(gè)幾萬(wàn)贊的視頻，比一個(gè)沒(méi)有贊的視頻更容易讓用戶點(diǎn)贊。

在數(shù)據(jù)進(jìn)入模型的階段，因?yàn)槟Ｐ陀懈鞣N假設(shè)，用于提升模型的泛化能力，例如我們常用的奧卡姆剃刀原理、CNN的局部性假設(shè)、RNN的時(shí)間依賴假設(shè)、注意力機(jī)制假設(shè)等等，通常這些是有利的，但是也會(huì)造成也會(huì)造成歸納偏差（Inductive Bias）。

模型輸出結(jié)果給到用戶的過(guò)程中，推薦結(jié)果常見(jiàn)的偏差有：

• 熱門偏差（Popularity Bias）：熱門的內(nèi)容獲得了比預(yù)期更高的熱度，長(zhǎng)尾物品得不到足夠曝光、馬太效應(yīng)嚴(yán)重。
• 不公平性（Unfairness）：這個(gè)偏差的本質(zhì)原因是數(shù)據(jù)的有偏，會(huì)帶來(lái)社會(huì)性問(wèn)題（年齡、性別、種族、社交關(guān)系多少等歧視）。不公平性更多是由于系統(tǒng)數(shù)據(jù)分布不平衡造成的，例如某個(gè)基本由年輕用戶組成的內(nèi)容平臺(tái)較難對(duì)于老年用戶的行為進(jìn)行建模，系統(tǒng)推薦出的視頻會(huì)更傾向于有年輕化。
• 內(nèi)容偏差（Content Bias）：內(nèi)容本身也存在巨大的偏差，雖然當(dāng)前短視頻平臺(tái)有著海量的內(nèi)容，但這些內(nèi)容中，品類和主題分布上一定是不均勻的，而且會(huì)存在各種導(dǎo)向的內(nèi)容，有的甚至是欺騙性的內(nèi)容，比如我們經(jīng)?？吹降臉?biāo)題黨，夸大性內(nèi)容和謠言，這些內(nèi)容上的偏差對(duì)于推薦系統(tǒng)來(lái)說(shuō)是很難甄別的。

上述的這些偏差，在推薦系統(tǒng)的反饋循環(huán)中會(huì)不斷被加?。˙ias Amplification in Loop），模型在存在偏差的歷史數(shù)據(jù)中，通過(guò)不斷的迭代學(xué)習(xí)，讓偏差進(jìn)一步加深，導(dǎo)致推薦生態(tài)逐步惡化。有些偏差目前是有辦法解決的，比如位置偏差，但有些偏差，比如內(nèi)容偏差，不公平性，這些都是固有數(shù)據(jù)導(dǎo)致的，難以完全解決。

值得注意的是，雖然偏差在不斷加深，但用戶的使用時(shí)長(zhǎng)卻隨著明顯增長(zhǎng)，當(dāng)我們嘗試去解決一些偏差的時(shí)候（Debias），大概率都是會(huì)帶來(lái)用戶使用時(shí)長(zhǎng)的下降，特別是在比較短的周期內(nèi)，這像極了毒品上癮后的戒斷反應(yīng)。造成這種「戒斷反應(yīng)」的本質(zhì)原因是因?yàn)槠畹漠a(chǎn)生，基本是來(lái)自用戶自身的偏見(jiàn)，而推薦系統(tǒng)在不斷的強(qiáng)化這個(gè)偏見(jiàn)。

這種偏見(jiàn)的強(qiáng)化，會(huì)給我們的認(rèn)知帶來(lái)很多不良的影響：

• 推薦系統(tǒng)對(duì)于偏見(jiàn)的強(qiáng)化，會(huì)打破我們?cè)趶?qiáng)化現(xiàn)有想法和獲取新想法之間的認(rèn)知平衡，它使得我們周圍充滿著我們熟悉且認(rèn)可得想法和觀點(diǎn)，讓我們對(duì)自己的想法過(guò)于自信，大家應(yīng)該都有類似的例子，我們很容易在短視頻上扎堆看到跟你想法一致的視頻，很多內(nèi)容創(chuàng)造者也在刻意的生產(chǎn)迎合大家的內(nèi)容，會(huì)讓你覺(jué)得自己十分的正確，使我們沉浸在同質(zhì)化的信息和觀點(diǎn)之中，導(dǎo)致人對(duì)不同的觀點(diǎn)、文化和思想缺乏了解。
• 推薦系統(tǒng)會(huì)把我們的注意力限制在一個(gè)非常狹窄的領(lǐng)域內(nèi)，也就是人們常說(shuō)的「信息繭房」，限制我們探索到新內(nèi)容的可能，甚至?xí)?lái)意識(shí)形態(tài)的偏見(jiàn)，導(dǎo)致人的思想收到限制，有可能使人深陷分裂和對(duì)立的泥淖之中。大家看看相同的內(nèi)容，在抖音下的評(píng)論和在twitter下的評(píng)論，就大概能理解這種對(duì)立。
• 在有偏的內(nèi)容中，我們接觸到的信息量有限，缺乏全面的信息支持，容易誤導(dǎo)判斷力，做出不準(zhǔn)確的判斷和決策。特別是很多虛假和錯(cuò)誤的引導(dǎo)內(nèi)容，更大概率的造成我們的判斷錯(cuò)誤。大家自己回想一下，那些廣為流傳的謠言。

推薦系統(tǒng)，仿佛在悄悄地編織一個(gè)「囚籠」，讓我們?cè)谑謾C(jī)屏幕的方寸之地沉迷且享受，消磨著時(shí)間。幸運(yùn)的是，我們還有自醒的可能，想必你也曾在刷了幾個(gè)小時(shí)短視頻后，陷入深深的不安和煩躁。那么我們?nèi)绾尾拍軖昝撏扑]系統(tǒng)對(duì)我們的「囚禁」呢？

三、如何掙脫推薦系統(tǒng)的「囚禁」？

其實(shí)掙脫推薦系統(tǒng)最簡(jiǎn)單的方法就是，卸載掉這些個(gè)性化推薦的內(nèi)容app。網(wǎng)信辦在2021年8月份提出，并于2022年3月1日正式施行的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》中直指算法推薦功能，提出算法推薦服務(wù)提供者應(yīng)當(dāng)向用戶提供不針對(duì)個(gè)人特征的選項(xiàng)，或者向用戶提供便捷的關(guān)閉算法推薦服務(wù)的選項(xiàng)。我們可以看出來(lái)，國(guó)家也意識(shí)到了算法的不良影響，并在嘗試幫我們解決這個(gè)問(wèn)題。

但我覺(jué)得卸載或者關(guān)掉所謂的推薦系統(tǒng)，不是對(duì)抗算法「囚禁」的好方法。我們身處信息爆炸的時(shí)代，推薦系統(tǒng)本身是一個(gè)為我們篩選和過(guò)濾的工具，而讓算法能「囚禁」我們的原因是我們喪失了自主思考的習(xí)慣，選擇部分甚至無(wú)條件的相信他們提供的內(nèi)容。

想要對(duì)抗推薦系統(tǒng)的「囚禁」，只能是我們自我覺(jué)醒，拿回信息選擇的主動(dòng)權(quán)。

• 多元化的信息源，不要只局限于特定的平臺(tái)或者特定的社交圈子，可以通過(guò)關(guān)注不同的社交媒體賬號(hào)、閱讀不同領(lǐng)域的文章、參加不同類型的線下活動(dòng)等方式獲取多元化的信息。多主動(dòng)尋找不同觀點(diǎn)，善用搜索工具和一些信息聚合工具，不是一味的僅僅接受信息，這可以有效的幫助我們打破「信息繭房」，發(fā)現(xiàn)更大的世界。
• 培養(yǎng)批判性思維：對(duì)獲取信息進(jìn)行分析和評(píng)估，不要輕易相信和傳播未經(jīng)證實(shí)的消息。對(duì)于重要的信息，一定要查證信息的來(lái)源，并且比較不同來(lái)源的信息，要能夠區(qū)分什么是事實(shí)，什么是觀點(diǎn)，分析信息中的邏輯，從多個(gè)角度思考問(wèn)題，避免受到單一思維模式的影響。有很多介紹批判性思維的書和文章，大家有興趣可以看看。

最后，借用Neil Postman（尼爾·波茲曼）在《技術(shù)壟斷：文化向技術(shù)投降》書中說(shuō)的一句話作為結(jié)尾：「每一種新技術(shù)都既是包袱又是恩賜，不是非此即彼的結(jié)果，而是利弊同在的產(chǎn)物。」

我想推薦系統(tǒng)亦是如此。

主要參考資料：

• Bias and Debias in Recommender System: A Survey and Future Directions（https://dl.acm.org/doi/abs/10.1145/3564284）
• 《推薦系統(tǒng)實(shí)戰(zhàn)》項(xiàng)亮
• 推薦生態(tài)中的bias和debias （https://zhuanlan.zhihu.com/p/342905546）
• 算法社會(huì)的“囚徒風(fēng)險(xiǎn)”（https://tisi.org/19332）
• Support byChatGPT