對(duì)于UGC社區(qū)而言，在內(nèi)容生產(chǎn)端，把控其質(zhì)量非常重要，需制定維持或提升平臺(tái)內(nèi)容質(zhì)量的相關(guān)策略。本文結(jié)合作者相關(guān)項(xiàng)目經(jīng)歷詳細(xì)展開(kāi)，如何進(jìn)行UGC內(nèi)容質(zhì)量提升策略設(shè)計(jì)，一起來(lái)看看吧。

如上一篇文章【實(shí)戰(zhàn)思考：從0到1搭建UGC社區(qū)系統(tǒng)】所說(shuō)，在內(nèi)容生產(chǎn)端，需制定維持或提升平臺(tái)內(nèi)容質(zhì)量的相關(guān)策略，本文將圍繞筆者的項(xiàng)目經(jīng)歷對(duì)其進(jìn)行更詳細(xì)得介紹。

先說(shuō)下筆者在這塊走過(guò)的彎路。最開(kāi)始搭建社區(qū)時(shí)，一個(gè)關(guān)鍵指標(biāo)是內(nèi)容量，當(dāng)時(shí)整個(gè)產(chǎn)品和運(yùn)營(yíng)團(tuán)隊(duì)側(cè)重在創(chuàng)作者的拉新和激勵(lì)上，忽視了內(nèi)容質(zhì)量，導(dǎo)致平臺(tái)出現(xiàn)以下幾個(gè)典型問(wèn)題：

1、當(dāng)時(shí)的創(chuàng)作者激勵(lì)活動(dòng)，側(cè)重于求量而非求質(zhì)，導(dǎo)致出現(xiàn)大量低質(zhì)灌水內(nèi)容；

2、某類(lèi)似于精選的功能僅與點(diǎn)贊量掛鉤，導(dǎo)致平臺(tái)發(fā)出錯(cuò)誤的優(yōu)質(zhì)內(nèi)容信號(hào)；

3、真正的優(yōu)質(zhì)內(nèi)容流量受限。部分高優(yōu)內(nèi)容，由于無(wú)法獲得流量?jī)A斜，曝光不夠，導(dǎo)致創(chuàng)作者失去優(yōu)質(zhì)創(chuàng)作的動(dòng)力；

4、對(duì)于平臺(tái)整體內(nèi)容質(zhì)量的走向，無(wú)直接的數(shù)據(jù)指標(biāo)評(píng)價(jià)，只能靠人工感知。

基于此，團(tuán)隊(duì)需迫切調(diào)整方向，筆者便是在此背景下提出了內(nèi)容質(zhì)量提升的相關(guān)策略，供各位參考。

一、增加關(guān)鍵指標(biāo)

所有策略的制定都需要有一個(gè)指標(biāo)來(lái)衡量。針對(duì)于內(nèi)容質(zhì)量的提升，提出了“內(nèi)容詳情頁(yè)的日人均停留時(shí)長(zhǎng)”指標(biāo)，選擇該指標(biāo)的原因是：

1、該指標(biāo)是用戶(hù)行為指標(biāo)，客觀且可量化；

2、與內(nèi)容質(zhì)量提升有很強(qiáng)的因果關(guān)系，內(nèi)容質(zhì)量的提升會(huì)直接帶來(lái)用戶(hù)更久的停留時(shí)長(zhǎng)；

3、相比點(diǎn)擊率、消費(fèi)內(nèi)容數(shù)這類(lèi)指標(biāo)，時(shí)長(zhǎng)指標(biāo)的提升背后是更長(zhǎng)期更穩(wěn)定的用戶(hù)行為，比如標(biāo)題黨、臨時(shí)運(yùn)營(yíng)活動(dòng)對(duì)指標(biāo)的影響較小，即該指標(biāo)更加“健康”；

指標(biāo)拆解如下：

內(nèi)容詳情頁(yè)的日人均停留時(shí)長(zhǎng)=?人均消費(fèi)內(nèi)容數(shù)量?*?單個(gè)內(nèi)容停留時(shí)長(zhǎng)=人均消費(fèi)內(nèi)容數(shù)量??*（完成單個(gè)內(nèi)容所需時(shí)長(zhǎng)?*?完讀率）

注：此處的=并不是完全相等

以上共拆解到了三個(gè)子指標(biāo)上，這三個(gè)子指標(biāo)有各自不同的價(jià)值：

1、“人均消費(fèi)內(nèi)容數(shù)量”的提升側(cè)重于更高的點(diǎn)擊率，即平臺(tái)更強(qiáng)的內(nèi)容分發(fā)能力；

2、“完成單個(gè)內(nèi)容所需時(shí)長(zhǎng)”的提升側(cè)重于更長(zhǎng)的內(nèi)容。從團(tuán)隊(duì)的運(yùn)營(yíng)經(jīng)驗(yàn)來(lái)說(shuō)，平臺(tái)優(yōu)質(zhì)內(nèi)容往往有較多字?jǐn)?shù)（大于500字），因此該指標(biāo)能在一定程度上反映平臺(tái)的內(nèi)容質(zhì)量。但該指標(biāo)有明顯的缺點(diǎn)，如果只單一考慮，容易導(dǎo)致內(nèi)容湊字?jǐn)?shù)或內(nèi)容過(guò)長(zhǎng)現(xiàn)象，因此需要下面的“完讀率”指標(biāo)進(jìn)行牽制；

3、“完讀率”的提升側(cè)重于內(nèi)容對(duì)當(dāng)前用戶(hù)的吸引力，一是受到內(nèi)容質(zhì)量本身的影響，二來(lái)也受到內(nèi)容分發(fā)能力的影響（是否是用戶(hù)真正感興趣的內(nèi)容）；

二、提出解決方案

1、給標(biāo)準(zhǔn)——完善內(nèi)容質(zhì)量評(píng)級(jí)

平臺(tái)需要清晰界定什么是優(yōu)質(zhì)、什么是低質(zhì)內(nèi)容，即給出質(zhì)量評(píng)判的標(biāo)準(zhǔn)。需要產(chǎn)品和運(yùn)營(yíng)團(tuán)隊(duì)配合輸出，主要工作包括：

（1）確定內(nèi)容范圍。比如回答、文章；

（2）提出質(zhì)量等級(jí)和評(píng)定方式

當(dāng)時(shí)提出共6層，如下圖供參考（其中等級(jí)0-4互斥，等級(jí)5的內(nèi)容同時(shí)也屬于等級(jí)4）。不同平臺(tái)由于所處階段、定位、資源配置、內(nèi)容量級(jí)、內(nèi)容風(fēng)險(xiǎn)程度等原因，在質(zhì)量等級(jí)劃分和評(píng)定方式/流程上各有不同，但核心思路均是通過(guò)質(zhì)量劃分，將好內(nèi)容和差內(nèi)容進(jìn)行足夠精準(zhǔn)得圈定以配合后續(xù)的獎(jiǎng)懲策略。

（3）質(zhì)量標(biāo)準(zhǔn)制定

由內(nèi)容運(yùn)營(yíng)團(tuán)隊(duì)輸出質(zhì)量標(biāo)準(zhǔn)文檔給到審核團(tuán)隊(duì)，然后由審核團(tuán)隊(duì)按照標(biāo)準(zhǔn)進(jìn)行打標(biāo)。質(zhì)量標(biāo)準(zhǔn)文檔并不是一個(gè)固定的文檔，需逐步調(diào)優(yōu)適配平臺(tái)內(nèi)容。而調(diào)優(yōu)的方向是否正確，可以通過(guò)引入關(guān)聯(lián)的數(shù)據(jù)指標(biāo)進(jìn)行糾偏，流程如下。

此外還需注意的是，不論質(zhì)量標(biāo)準(zhǔn)文檔多么完善，對(duì)于審核團(tuán)隊(duì)來(lái)說(shuō)，3和4的質(zhì)量評(píng)定難度往往會(huì)高于0和1，因?yàn)椤昂脙?nèi)容”的邊界更加模糊，審核團(tuán)隊(duì)在這里所使用的主觀判斷會(huì)更多。也由于評(píng)定具有主觀性，存在兩個(gè)風(fēng)險(xiǎn)：

a.在既定標(biāo)準(zhǔn)下，審核團(tuán)隊(duì)的人員不同所帶來(lái)的標(biāo)注結(jié)果不一致；

b.在既定標(biāo)準(zhǔn)下，審核團(tuán)隊(duì)核心人員更換所帶來(lái)的標(biāo)注結(jié)果前后不一致。

如果審核團(tuán)隊(duì)不在部門(mén)內(nèi)部構(gòu)架范圍，以上風(fēng)險(xiǎn)則需特別關(guān)注，除了通過(guò)運(yùn)營(yíng)抽檢識(shí)別和控制外，也可以通過(guò)引入關(guān)聯(lián)的數(shù)據(jù)指標(biāo)進(jìn)行觀測(cè)。

（4）提出關(guān)聯(lián)的數(shù)據(jù)指標(biāo)

a.針對(duì)質(zhì)量標(biāo)準(zhǔn)調(diào)優(yōu)?？梢酝ㄟ^(guò)“1～4各個(gè)質(zhì)量等級(jí)下的內(nèi)容占比”和“1～4各個(gè)質(zhì)量等級(jí)下的內(nèi)容曝光收藏率”兩個(gè)指標(biāo)進(jìn)行糾偏。

第一個(gè)關(guān)聯(lián)指標(biāo)是平臺(tái)先預(yù)設(shè)好數(shù)值范圍，確保最終的數(shù)據(jù)結(jié)果在該范圍內(nèi)。這是因?yàn)椴徽撈脚_(tái)當(dāng)前的整體內(nèi)容質(zhì)量有多好或者多差，都需要從中按照一定比例挑選出“更好”和“更差”的內(nèi)容，用以配合內(nèi)容分發(fā)。假設(shè)等級(jí)為4的優(yōu)質(zhì)內(nèi)容在平臺(tái)看來(lái)應(yīng)該是稀有的，最高比例預(yù)設(shè)為5%，那如果最終的結(jié)果超過(guò)這個(gè)范圍，就需要進(jìn)一步提高等級(jí)4的評(píng)判標(biāo)準(zhǔn)；

第二個(gè)關(guān)聯(lián)指標(biāo)提出的原因是平臺(tái)的內(nèi)容主打知識(shí)內(nèi)容，質(zhì)量越高往往被收藏的概率越大。在數(shù)據(jù)表現(xiàn)上，從1到4各個(gè)等級(jí)的數(shù)據(jù)是遞增并且是斷層的，如果某兩個(gè)等級(jí)的數(shù)據(jù)差異不大甚至遞減，那則需要調(diào)整相關(guān)標(biāo)準(zhǔn)。

b.針對(duì)審核團(tuán)隊(duì)主觀性判斷風(fēng)險(xiǎn)。也可以通過(guò)“1～4各個(gè)質(zhì)量等級(jí)下的內(nèi)容占比”指標(biāo)進(jìn)行觀測(cè)，與上面不同的是，在這里該指標(biāo)主要是用于觀測(cè)趨勢(shì)變化。因?yàn)樵撝笜?biāo)數(shù)據(jù)短期內(nèi)是足夠穩(wěn)定的，長(zhǎng)期來(lái)看即使由于整體質(zhì)量提升，各個(gè)等級(jí)內(nèi)容占比有所遷移，但也是平滑遷移。所以如果短期內(nèi)某等級(jí)線出現(xiàn)了變化，那就應(yīng)該立即確認(rèn)是否有質(zhì)量標(biāo)準(zhǔn)調(diào)整或者審核團(tuán)隊(duì)人員變動(dòng)的情況。

注：以上指標(biāo)均未考慮0等級(jí)的情況，原因是不合規(guī)、不安全的內(nèi)容標(biāo)準(zhǔn)并不會(huì)受平臺(tái)質(zhì)量的變化而變化，同時(shí)不具有主觀性。

2、給態(tài)度——釋放可見(jiàn)的平臺(tái)優(yōu)質(zhì)內(nèi)容信號(hào)

質(zhì)量等級(jí)為4和5的內(nèi)容均為平臺(tái)優(yōu)質(zhì)內(nèi)容。在功能設(shè)計(jì)上，特別是平臺(tái)前期內(nèi)容分發(fā)還不夠完善時(shí)，需突出其在用戶(hù)端的可見(jiàn)和可知性，比如打上“精選”“每日最佳”這類(lèi)標(biāo)識(shí)，即告訴平臺(tái)的消費(fèi)者和創(chuàng)作者：“你看，這是我們平臺(tái)認(rèn)為的好內(nèi)容。”

同時(shí)可以將這類(lèi)標(biāo)識(shí)內(nèi)容進(jìn)行聚合，形成精選、每日最佳合集，以便用戶(hù)進(jìn)一步消費(fèi)。

3、給獎(jiǎng)懲——流量扶持與打壓

在圈定完“好內(nèi)容”和“差內(nèi)容”后，平臺(tái)能夠最直接最快速給出的獎(jiǎng)懲方式就是流量分配。

（1）不合規(guī)和不安全內(nèi)容。審核不通過(guò)，僅主人態(tài)（創(chuàng)作者自己）可見(jiàn)；

（2）低質(zhì)量?jī)?nèi)容。從平臺(tái)來(lái)說(shuō)，這類(lèi)內(nèi)容價(jià)值很低，如果不控制其露出對(duì)平臺(tái)的整體的內(nèi)容氛圍/感官有較大影響，但同時(shí)這類(lèi)內(nèi)容又是平臺(tái)允許的（擴(kuò)充內(nèi)容量、不設(shè)過(guò)高的創(chuàng)作門(mén)檻）。因此這類(lèi)內(nèi)容會(huì)被審核通過(guò)，但在核心個(gè)性化推薦場(chǎng)景將被直接過(guò)濾掉，另外在內(nèi)容列表頁(yè)也會(huì)被折疊；

（3）一般內(nèi)容。也就是“不好不壞”，平臺(tái)往往不對(duì)其做單獨(dú)的干預(yù)策略；

（4）較好內(nèi)容。在部分場(chǎng)景做適當(dāng)加權(quán)，比如內(nèi)容列表頁(yè)排序加權(quán)；

（5）優(yōu)質(zhì)內(nèi)容。平臺(tái)最高質(zhì)的一批內(nèi)容，在個(gè)性化推薦場(chǎng)景、搜索、內(nèi)容列表頁(yè)均可以對(duì)該特征進(jìn)行加權(quán)；

（6）每日最佳。由運(yùn)營(yíng)從優(yōu)質(zhì)內(nèi)容中選出的具有代表性的內(nèi)容，數(shù)量極少，主要是用于運(yùn)營(yíng)投放。比如站內(nèi)消息推送、banner位投放等

以上流量分配的實(shí)現(xiàn)是否如預(yù)期可以通過(guò)引入“各內(nèi)容質(zhì)量等級(jí)下的內(nèi)容條均瀏覽量“指標(biāo)進(jìn)行觀測(cè)。

4、給成長(zhǎng)——精細(xì)化觸達(dá)低、中質(zhì)創(chuàng)作者

低中質(zhì)創(chuàng)作者可以定義為過(guò)去某個(gè)時(shí)間段內(nèi)生產(chǎn)內(nèi)容1-2等級(jí)在1-4等級(jí)中的占比超過(guò)某一閾值的創(chuàng)作者，這類(lèi)用戶(hù)本身具備創(chuàng)作意愿和能力，平臺(tái)可以通過(guò)精細(xì)化消息觸達(dá)，推送相關(guān)內(nèi)容教程和說(shuō)明，引導(dǎo)提升其后續(xù)內(nèi)容質(zhì)量。

三、定期回顧進(jìn)展并更新方案

到具體執(zhí)行后，隨著進(jìn)展需進(jìn)一步補(bǔ)充相關(guān)策略，另外在回顧策略和數(shù)據(jù)觀測(cè)過(guò)程中往往會(huì)發(fā)現(xiàn)新的問(wèn)題，也需及時(shí)調(diào)整。

1、算法與人工審核的配合

在項(xiàng)目前期，除了命中敏感詞庫(kù)的內(nèi)容直接被系統(tǒng)駁回，其他的內(nèi)容均需要經(jīng)過(guò)人工逐個(gè)審核，審核除了判定內(nèi)容是否通過(guò)以外，還需勾選相關(guān)內(nèi)容標(biāo)簽、評(píng)估內(nèi)容等級(jí)，人力成本較高，且響應(yīng)速度有限。

隨著內(nèi)容量的增多，在積累了足夠訓(xùn)練樣本后，項(xiàng)目引入了算法模型。涉及：

（1）低質(zhì)量?jī)?nèi)容直接判定，人工抽檢反饋badcase調(diào)優(yōu)；

（2）一般內(nèi)容到優(yōu)質(zhì)內(nèi)容的初步判定，人工復(fù)審，算法再根據(jù)復(fù)審結(jié)果訓(xùn)練模型；

（3）自動(dòng)生成內(nèi)容標(biāo)簽，人工抽檢反饋badcase調(diào)優(yōu)。

低質(zhì)量?jī)?nèi)容之所以直接由算法判定，一是因?yàn)榈唾|(zhì)量的識(shí)別難度最小，測(cè)試集準(zhǔn)確率最高；二是從平臺(tái)的角度，誤判低質(zhì)量所帶來(lái)的損失低于誤判高質(zhì)量的損失。

2、更豐富的激勵(lì)方式

除了流量扶持以外，針對(duì)高質(zhì)量?jī)?nèi)容的創(chuàng)作者，平臺(tái)還進(jìn)行了：

（1）成就激勵(lì)。包括創(chuàng)作者排行榜、創(chuàng)作者等級(jí)標(biāo)識(shí)、創(chuàng)作者周報(bào)、創(chuàng)作者證書(shū)、頒獎(jiǎng)典禮等；

（2）物質(zhì)激勵(lì)。在常規(guī)創(chuàng)作者激勵(lì)活動(dòng)中，滿(mǎn)足相關(guān)條件的創(chuàng)作者可以獲得平臺(tái)補(bǔ)貼。

3、抄襲駁回

由于創(chuàng)作者激勵(lì)活動(dòng)對(duì)存在金錢(qián)補(bǔ)貼，部分創(chuàng)作者為了最大化得獲得補(bǔ)貼，出現(xiàn)了抄襲現(xiàn)象。抄襲對(duì)象為平臺(tái)內(nèi)的其他優(yōu)質(zhì)原創(chuàng)內(nèi)容，并且往往通過(guò)“縫合拼接”多個(gè)其他創(chuàng)作者的優(yōu)質(zhì)內(nèi)容實(shí)現(xiàn)。

在此背景下，平臺(tái)上線了內(nèi)容管理端的抄襲識(shí)別功能。其中抄襲識(shí)別功能是通過(guò)高亮存在抄襲的內(nèi)容，并且由算法計(jì)算出整體抄襲率，超過(guò)某一閾值，系統(tǒng)直接駁回。

4、黑名單用戶(hù)

針對(duì)生產(chǎn)不安全內(nèi)容、抄襲內(nèi)容的用戶(hù)，在首次平臺(tái)均會(huì)發(fā)出警告。如果二次觸發(fā)，平臺(tái)運(yùn)營(yíng)會(huì)根據(jù)其惡劣程度選擇短期、中期、永久性?xún)鼋Y(jié)該用戶(hù)賬號(hào)。

以上便是筆者在UGC內(nèi)容質(zhì)量提升策略上的實(shí)戰(zhàn)分享，由于經(jīng)驗(yàn)有限，不嚴(yán)謹(jǐn)?shù)牡胤綒g迎指正和探討。下一篇筆者會(huì)對(duì)個(gè)性化推薦進(jìn)行介紹，歡迎關(guān)注。