對于資訊類產(chǎn)品和內(nèi)容產(chǎn)品來說，內(nèi)容審核是必不可少的環(huán)節(jié)之一。平臺如何搭建審核體系？本文給大家分享了內(nèi)容審核體系搭建的5個步驟，并對與審核相關(guān)的問題展開了分析說明，希望對你有用。

不用懷疑，我們在網(wǎng)上創(chuàng)建和發(fā)布的任何信息都會被審核，包括實(shí)名信息、昵稱頭像、個人自拍、甚至自己設(shè)置私密的動態(tài)。

大多數(shù)情況下，只要我們遵紀(jì)守法，不會感知到自己被審核，但是審核不止決定發(fā)言會不會被封，還決定能不能發(fā)出去，獲得多少曝光，后兩種很多時候是不會察覺到的。

內(nèi)容審核在互聯(lián)網(wǎng)行業(yè)發(fā)展已經(jīng)趨向成熟，建立內(nèi)容審核體系無外乎這5個步驟：

1. 盤點(diǎn)平臺里可能會產(chǎn)生用戶發(fā)布內(nèi)容的渠道和量級
2. 定義可能會產(chǎn)生的內(nèi)容類別，并根據(jù)風(fēng)險程度排序
3. 根據(jù)風(fēng)險情況及平臺需要選擇合適的審核方式和處理方式
4. 搭建線上審核平臺，選擇自建或采購的機(jī)器審核工具
5. 自建或外包人工審核團(tuán)隊(duì)，包括規(guī)則、培訓(xùn)、SOP

一、為什么需要審核？

用戶發(fā)布的內(nèi)容不受平臺控制，而部分內(nèi)容會給平臺造成風(fēng)險，審核是阻斷內(nèi)容風(fēng)險的主要方式。有風(fēng)險的內(nèi)容粗略劃分主要有兩種：

不能接受的內(nèi)容：誰也碰不得的紅線內(nèi)容，審核是為了避免用戶發(fā)布違法不良內(nèi)容，讓平臺承受整改關(guān)停風(fēng)險。

主要是黃反等違法違規(guī)類，只有守住這條紅線，才能讓平臺在國內(nèi)正常運(yùn)轉(zhuǎn)。有關(guān)部門會時不時對平臺內(nèi)容進(jìn)行抽查，一旦被查到輕則點(diǎn)名批評、重則關(guān)停封殺。這些內(nèi)容出現(xiàn)的概率很低，但任何平臺都不惜任何成本去來規(guī)避這類內(nèi)容的出現(xiàn)，代價包括建立龐大的人工審核團(tuán)隊(duì)，犧牲一定用戶體驗(yàn)，禁止發(fā)布任何沾邊的內(nèi)容，哪怕你不是這個意思，這是不得已而為之。

不合適、不鼓勵的內(nèi)容：審核是為了讓平臺內(nèi)容有自己的調(diào)性。

比如在人人都是產(chǎn)品經(jīng)理，投稿一篇娛樂八卦文章，肯定不會被通過，因?yàn)槠脚_只鼓勵展示跟互聯(lián)網(wǎng)產(chǎn)品相關(guān)的內(nèi)容，其他內(nèi)容即使會帶來流量但會影響自身品牌形象，久而久之失去專業(yè)性。

很多平臺因?yàn)閷ψ约旱膬?nèi)容定位把控不清晰或者力度不夠大，從神壇跌落，百度貼吧就是一個。值得注意的是，有關(guān)部門越來越重視內(nèi)容平臺的整體調(diào)性，尤其是直播，對直播的要求越來越接近電視媒體，甚至更嚴(yán)格。

• 不能接受的內(nèi)容：：風(fēng)險高、投入高、需要快速處理，杜絕出現(xiàn)。
• 不合適、不鼓勵的內(nèi)容：風(fēng)險低、可以結(jié)合平臺需要來選擇處理方式和力度。

百度、抖音等app都因?yàn)閮?nèi)容問題被約談過：

二、審核方式

按時間維度可分為先審后發(fā)、先發(fā)后審。選擇什么樣的審核方式，是對內(nèi)容風(fēng)險和用戶體驗(yàn)的一種取舍，先審后發(fā)沒有風(fēng)險必傷體驗(yàn)，先發(fā)后審體驗(yàn)好但必定有大風(fēng)險。

先審后發(fā)：所有內(nèi)容審核通過后才可以提交，適用于對自身定位很強(qiáng)，對內(nèi)容質(zhì)量要求很高，信息量不是很大的平臺，比如人人都是產(chǎn)品經(jīng)理，以新聞為主的資訊平臺，比如一點(diǎn)資訊等。優(yōu)點(diǎn)是可以避免所有的違規(guī)，缺點(diǎn)是用戶創(chuàng)作的環(huán)節(jié)和成本提高了，可能會勸退很多想試試的用戶。

先發(fā)后審：發(fā)布后再審核，適用于信息量非常大的內(nèi)容，沒有那么多資源可以支撐先審后發(fā)，比如評論等。

這兩種是比較粗暴的分類，現(xiàn)在大部分平臺不會單一地采取一種方式進(jìn)行審核，更多是組合審核。前邊也說到過，即便是一條短短幾個字的評論，如果出現(xiàn)紅線問題，也是致命的。所以先審后發(fā)還是先發(fā)后審，不進(jìn)是時間維度的劃分，也是風(fēng)險維度的劃分，只有違規(guī)風(fēng)險低的內(nèi)容才適用先發(fā)后審。

所有的內(nèi)容，必定先過一道機(jī)器，如果識別出現(xiàn)違規(guī)，直接處理，比如一些評論根本不出去，或者發(fā)出去了也被打上*。

有些不確定是否違規(guī)，需要綜合判斷，綜合上下文理解，這就需要先審后發(fā)，補(bǔ)充一點(diǎn)，如果平臺資源足夠強(qiáng)大，這一道審核的效率是可以瞬間審核完成的。

如果沒有出現(xiàn)不能接受的內(nèi)容的風(fēng)險，不會出現(xiàn)才會進(jìn)入到先發(fā)后審的環(huán)節(jié)。

需要注意的是，在內(nèi)容場景中，直播不可能先審后發(fā)，先審后發(fā)那就不是直播了，直播的審核體系比其他內(nèi)容更復(fù)雜要求更高。

此外，先發(fā)后審必須配合授權(quán)審核、舉報(bào)反饋等方式來節(jié)約審核資源，縮短我們發(fā)現(xiàn)和審核的時間。

• 授權(quán)審核：平臺設(shè)置某些用戶幫助維護(hù)社區(qū)氛圍，比如直播間管理員，貼吧吧主等。
• 舉報(bào)反饋：所有內(nèi)容都需要有一個舉報(bào)的渠道，有些內(nèi)容審核沒發(fā)現(xiàn)違規(guī)，并不代表沒問題，用戶會提供更多有效的信息，比如詐騙。

三、處理方式

內(nèi)容維度：清除內(nèi)容，比如自見、刪除；限制曝光，也就是常見的限流，大部分時候用戶不會知道限流是因?yàn)閷徍瞬僮鬟€是算法推薦的結(jié)果。

限流是最好用的一種，不進(jìn)能達(dá)到控制曝光的效果，而且對于用戶來說沒有感知。限流不是簡單地給多少流量這么簡單，限流的手段有：限制這個內(nèi)容展現(xiàn)的渠道，比如某條微博關(guān)注的人可見，非關(guān)注不可見；限制這個內(nèi)容的曝光上限，避免成為熱點(diǎn)；

帳號維度：限制功能，某類功能不能使用，比如微信限制轉(zhuǎn)賬提現(xiàn)功能，直播平臺限制開播。封禁賬號也就是限制賬號登錄。

對于一些鉆平臺漏洞的黑產(chǎn)大佬們，弄幾百上千個賬號也是分分鐘的事，所以還有針對設(shè)備號、ip號、甚至身份證號的審核處理，限制某個手機(jī)某個人使用app。

四、人工審核

審核方式包括機(jī)器審核、人工審核。機(jī)器審核解決大批量問題，人工審核解決其他問題。所有平臺設(shè)立了人工審核團(tuán)隊(duì)，因機(jī)器審核只適用于特征極為明顯的，大眾有所共識的違規(guī)，也可作為人工審核的輔助判斷工具。

比如當(dāng)審核員審核我這篇文章時，可能不會逐字看完文章，而是通過機(jī)器標(biāo)記了敏感詞來輔助判斷。（編輯回復(fù)：并不是……）

機(jī)器審核的弊端：不靈活，只依據(jù)客觀特征來判斷內(nèi)容，機(jī)器眼里一張色情圖片就是肉色很多的人體圖片，一句話里出現(xiàn)草就會被屏蔽，容易帶來體驗(yàn)不佳的問題。

某個第三方機(jī)器審核工具：

人工審核不是平臺隨心所欲，也不是管理員主觀判斷，審核規(guī)則的設(shè)定就是為了避免同樣的內(nèi)容被不平等對待，因此人工審核必須嚴(yán)格遵循一套非常嚴(yán)格的審核規(guī)則進(jìn)行操作。

審核規(guī)則如何制定？形式類似于法條，但需要結(jié)合平臺的內(nèi)容特征來因地制宜。無外乎這個套路：內(nèi)容定義+內(nèi)容特征+內(nèi)容以外的條件限制+處理結(jié)果。

比如某視頻的精品視頻審核標(biāo)準(zhǔn)：

• 內(nèi)容定義：優(yōu)質(zhì)內(nèi)容
• 內(nèi)容特征：畫質(zhì)清晰，豎屏，無水印……
• 條件：使用微視拍攝
• 處理結(jié)果：這里不清楚，既然是精品視頻結(jié)果可能是獲得額外流量

一條規(guī)則寫得清晰明了，準(zhǔn)確可執(zhí)行，可以省下很多為了讓審核同學(xué)理解，解釋和培訓(xùn)的成本，更重要的是，準(zhǔn)確定義需要干預(yù)的內(nèi)容類型也影響著這類內(nèi)容生產(chǎn)者的存亡。因此越來越多的UGC平臺也開始重視這方面的人才，并設(shè)立了規(guī)則運(yùn)營等相關(guān)崗位。

但，人并非機(jī)器，人對事物有自己的理解，大家所受的教育和生長環(huán)境不同，怎么讓一條規(guī)則每個人執(zhí)行都一樣呢？這就需要針對人工審核團(tuán)隊(duì)設(shè)立培訓(xùn)體系和sop體系，操作準(zhǔn)確-符合要求，操作不準(zhǔn)確-克扣績效，并加強(qiáng)培訓(xùn)，通過無數(shù)次循環(huán)考核，可達(dá)到非常一致的效果，人工審核操做越來越機(jī)械化……

內(nèi)容量級越大，對應(yīng)的審核團(tuán)隊(duì)也越龐大，很多公司會選擇通過外包的方式節(jié)省辦公成本。谷歌、臉書等就在東南亞地區(qū)設(shè)立了龐大的審核團(tuán)隊(duì)。隨著外界對內(nèi)容審查的要求越來越高，審核從業(yè)者也越來越多。

審核人員不僅需要承受大量的夜班工作，還會瀏覽到很多血腥暴力等有損身心健康的內(nèi)容，有的干1，2個月就會出現(xiàn)心理問題，所以人員流動性極大。

五、內(nèi)容審核平臺

前面已經(jīng)定義好了我們的審核方式和處理方式，那審核人員怎么進(jìn)行審核呢？這就需要建立一個線上內(nèi)容審核平臺，審核后臺一般分為信息區(qū)、操作區(qū)，審核員根據(jù)提供的信息判斷并操作。

審核平臺展示的信息是從規(guī)則和效率出發(fā)的。比如色情信息，我們規(guī)定用戶名、頭像、簡介出現(xiàn)色情信息，用戶需要標(biāo)記處罰，那么審核后臺需要展示用戶名、頭像、簡介。

信息越充分，越有助于準(zhǔn)確判斷，但信息越多也會增加判斷的時長。為了提高審核效率，會按內(nèi)容元素拆分為圖片審核、文本審核、音頻審核，審核員幾秒鐘就能看完并標(biāo)記一條內(nèi)容，視頻和直播同樣也能拆解成這3個元素。

針對不同類型的內(nèi)容也可以配備不同的輔助信息幫助審核，比如敏感詞高亮顯示、命中風(fēng)險的圖片截出風(fēng)險部分。

圖:電影《網(wǎng)絡(luò)審查員》截取

本文由 @暉暉 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議。