直播作為近來新興的互動形態(tài)和今年阿里巴巴雙十一的一大亮點，其內(nèi)容風險監(jiān)控是一個全新的課題，技術的挑戰(zhàn)非常大，管控難點主要包括業(yè)界缺乏成熟方案和標準、主播行為、直播內(nèi)容不可控、峰值期間數(shù)千路高并發(fā)處理、對算法的高實時響應要求等等。

阿里巴巴集團安全部今年在直播管控中的特色在于大量采用人工智能和深度學習等技術，配合優(yōu)化后的高性能多媒體計算集群，大幅度降低人工審核成本的同時，提升了對內(nèi)容風險的防控能力。系統(tǒng)在峰值期間成功處理5400路直播視頻，以及共計25萬場粉絲連連看游戲，對違規(guī)內(nèi)容進行警告或阻斷。主要技術體現(xiàn)在直播內(nèi)容實時過濾以及多媒體處理集群的優(yōu)化上。

1、直播內(nèi)容實時過濾

在直播過程中一些主播為了達到吸引眼球，或者推銷商品的目的而做出違規(guī)的事情。另外，本次雙十一引入了買家之間的互動游戲：連連看，玩法是系統(tǒng)隨機抽取兩個游戲參與者，調(diào)起手機前置攝像頭拍攝視頻傳遞到對方手機展示。游戲雙方比賽干瞪眼、不許笑等動作。游戲的參與者并不會進行實人認證，需要對內(nèi)容做實時的管控。雙十一期間預估高峰期會有5400路直播同時在線，而一個審核人員的極限承受能力大約是60路，需要大約90個審核人員同時在線審核，很浪費人力，并會因為人工因精力不集中而漏過風險內(nèi)容，這就得靠人工智能技術來全面防控風險。

那么，直播中有哪些風險呢？

我們分析了淘寶直播開播以來的所有處罰記錄，以及在互聯(lián)網(wǎng)抓取的外部直播數(shù)據(jù)，發(fā)現(xiàn)惡性違規(guī)集中在色情低俗，以及敏感人物肖像兩個方面。因此，我們在對畫面內(nèi)容做風險判斷時調(diào)用了兩個算法服務：視頻鑒黃和敏感人臉檢測。由此，實現(xiàn)99%的自動審核，只有約1%的視頻會流入到人工審核。

1.1 智能鑒黃技術

智能鑒黃，就是輸入一張圖片或視頻，算法模型返回一個0-100之間的分值。這個分值非線性地標示圖片含色情內(nèi)容的概率：得分99及以上的圖片幾乎可以肯定是色情圖，可以機器自動處理；得分50-99的需要人工審核；得分50以下的認為是正常圖，因為50分及以上可以覆蓋>99%的色情圖片。智能鑒黃還有兩個特性：1）將60%以上的色情圖片集中在99及以上的分數(shù)段，也即機器可以自動處理掉大多數(shù)色情風險；2）需要人工審核的圖片占比非常低，在淘寶直播場景大約為0.1%。

智能鑒黃的原理是什么呢？

智能鑒黃是一個色情圖像智能識別引擎，為不同的場景和用戶提供了個性化的多尺度識別能力，識別準確率高達99.6%， 極大地降低了圖片內(nèi)容管控的成本。我們基于深度學習算法構建了多層視覺感知機，采用改進的Inception神經(jīng)網(wǎng)絡層以及多模型級聯(lián)，實現(xiàn)了快速地識別多尺度色情內(nèi)容。智能鑒黃的生成具體步驟如下圖所示。

智能鑒黃模型生成步驟

1.1.1 明確分類標準

上面這張圖的步驟里，制定標準與標注數(shù)據(jù)的難度比訓練模型更大一些。因為現(xiàn)實世界是復雜的，不同的人對同一張圖片的認識往往不一樣。為了制定標準，運營與算法同學一起討論修訂了數(shù)次才有了初版，并且在后續(xù)打標過程中根據(jù)遇到的問題進行了幾次增補，標準才穩(wěn)定下來。

1.1.2 收集樣本

樣本的獲取環(huán)節(jié)在此略過。數(shù)據(jù)的規(guī)模：考察了近2000網(wǎng)站，以及阿里生態(tài)體系積累的色情違規(guī)case，共計6000+萬疑似色情圖片，已經(jīng)完成了1300+萬的高質(zhì)量標注。這一塊是智能鑒黃最重要的基石。

1.1.3 樣本打標

互聯(lián)網(wǎng)上的內(nèi)容重復度高，這6000+萬圖片中必然有相當比例的相同／相似圖片，為了節(jié)省標注資源，我們使用了圖像搜索技術進行去重，大約剩余2300萬圖片。圖搜是我們自己開發(fā)的基于局部特征視覺詞的針對圖像內(nèi)容的搜索技術，可以檢出經(jīng)過尺寸放縮、剪切、旋轉(zhuǎn)、部分遮擋、顏色變換、模糊等諸多處理后的目標圖像，效果如下圖所示。

圖像搜索引擎找相似圖的例子

阿里巴巴開發(fā)了高效率的打標平臺（mbox），提供了練習與考試功能作為標前的質(zhì)量控制；提供校驗題的方式作為標中的質(zhì)量控制，能夠自動化計算打標者的準確率，并能夠按照設置的條件終止低質(zhì)量標注者的參與資格。我們觀察到，即便是熟練而負責的標注者，其錯誤率仍然在1%左右波動，因此我們使用訓練好的模型對打標樣本進行判斷，如果機器結果與人肉結果不一致則進行復標。這個過程反復進行，確保標注樣本的高質(zhì)量。

樣本標注流程示意圖

1.1.4 模型訓練

標注的結果在次日凌晨自動回流到ODPS表中，可隨時讀取數(shù)據(jù)進行訓練。訓練使用了開源的基于Caffe框架的代碼，并根據(jù)實際情況做了一些修改。第一次訓練時使用了大約100萬樣本，GPU機器單機單卡的情況下訓練時間長達近一個月。后來更換了網(wǎng)絡結構，并使用了Pluto團隊提供的訓練平臺，實現(xiàn)了多機多卡訓練，可以將千萬級別樣本的訓練時間控制在一周以下。

鑒黃模型生成系統(tǒng)示意圖

針對直播場景的管控尺度和時效性要求，我們設計了多階段分類模型，在召回率略有增加的同時，將響應時間降低了約30%。

多階段的分類模型

連連看游戲上線后，智能鑒黃迅速命中了數(shù)個暴露狂，圖片不宜展示。還抓取到商家的一些違規(guī)行為（醫(yī)療廣告露點、展示成人用品、展示大尺度圖片、著裝不正等），圖片略去。從違規(guī)case看，直播中的色情風險表現(xiàn)形式多樣，可能是翻拍屏幕、畫報、真人、成人用品、模型等等，姿態(tài)與動作也多種多樣。

在整個雙十一期間，因為色情低俗、著裝不整被處罰的直播一共82場，其中算法命中68場，抓取到了100%的色情低俗風險，以及80%以上著裝不正的違規(guī)（淘寶直播對著裝尺度很嚴格，某些大街上可見的著裝也屬于違規(guī)），而且僅需要審核約0.1%的截圖。在風險覆蓋和節(jié)省審核人力兩個方面都取得了成功。

1.2 敏感人臉檢測

直播中的敏感人物管控屬于人臉識別中（1：N）的問題，涉及人物載體形式多樣，如動漫、印刷品、PS處理、翻拍屏幕等。人像的表情、姿態(tài)、光照、距離、遮擋、模糊等均不可控。

檢測系統(tǒng)包括敏感人物入庫及用戶圖片查詢兩大模塊。其中敏感人物入庫包括特征提取以及索引的建立。用戶圖片進行查詢的時候，系統(tǒng)會返回與被查詢?nèi)四樧钕嗨频娜宋飯D片、名字及相似度，然后根據(jù)業(yè)務規(guī)則判斷是否命中敏感人物。數(shù)據(jù)庫由國內(nèi)外各領域近2W知名人物人像圖片組成，并按敏感程度劃分不同等級，提供多層次的管控人名列表。

敏感人物識別主要包括兩部分技術，一是人臉的特征提取，二是檢索系統(tǒng)的構建。我們選用深度學習算法構建模型，采取五層卷積+兩層全鏈接的基礎網(wǎng)絡結構，并融合年齡+性別等屬性，融合回歸及分類多種損失函數(shù)進行訓練。這種multi-data， multi-task的訓練方式充分挖掘訓練數(shù)據(jù)的多維度信息，從而構建泛化性能更好的模型。

敏感人物識別技術架構圖

簡要描述一下索引算法的流程：

1. 選一組哈希函數(shù)，將數(shù)據(jù)投影到離散的值上。所有的數(shù)據(jù)按哈希值分桶保存；
2. 檢索時，被查詢數(shù)據(jù)使用相同的哈希函數(shù)計算桶編號，取出桶里所有的數(shù)據(jù)，計算距離，排序，輸出。

搜索性能：在百萬數(shù)據(jù)集上，單次查詢RT小于10ms，top10近鄰正確率90%（以遍歷檢索為基準）。

算法系統(tǒng)主要用來管控政治敏感人物肖像，以及明星形象冒用，整個雙十一期間算法系統(tǒng)命中產(chǎn)生的審核比為約0.01%。算法累計命中1613場直播，其中38場是正確命中。38場中，有17場背景包含管控人物形象，8場主播使用管控人物形象作為面具，7場與人民幣相關，2場利用管控人物做廣告，3場丑化管控人物，1場新聞類直播。 38場直播以業(yè)務管控標準判斷有14場違規(guī)。

在整個雙11期間，一共有15場涉及涉及99名核心管控人物的違規(guī)直播，只有1場未能被算法命中，算法整體召回率93.3%。。由于眾所周知的原因，政治敏感人物肖像的違規(guī)case不能展示。下面是一些用戶使用明星照片參與連連看游戲的case：

用戶冒用明星形象參與連連看游戲的示意圖

可能有人會覺得算法命中的準確率不高，這有兩方面的原因：

1. 整體審核比很低，為了保障召回，所以將閾值設置得比較低；
2. 由于管控人物中包含一些女明星，容易出現(xiàn)主播與明星撞臉的尷尬，比如下面兩位女主播很容易被識別為楊冪。

和明星撞臉的女主播

2、多媒體處理集群的優(yōu)化

為了平衡管控的時效性和計算資源之間的矛盾沖突，在實際操作中，我們對直播流每5秒截幀一次，圖片保存在OSS上，同時推送消息給安全部接口。接口層將消息傳遞到規(guī)則層，在這里配置規(guī)則，決定截圖需要調(diào)用的算法，以及對算法返回的結果進行判斷，向?qū)徍讼到y(tǒng)發(fā)送消息。

直播管控整體系統(tǒng)框圖

我們面臨的問題是5400路并發(fā)視頻需要在5秒之內(nèi)給出反饋，延時過長會錯造成風險外露。圖片算法服務本身相消耗計算資源多，是系統(tǒng)中的瓶頸，為此我們采取了以下應對手段。

2.1 通過消息接入解耦應用

同步接入算法服務是最簡單的也最容易維護的，但會面臨三個主要問題：

1. 同步接入給接入方帶來了更多資源消耗；
2. 一旦算法服務不正常，會影響主流程；
3. 圖片量已遠遠超過審核人力的極限，運營只能覆蓋一些潛在重點風險視頻，非重點風險視頻流不需要流入審核。因此，雖然異步接入也會帶來維護成本，但最終決定還是采用異步接入。

2.2 通過異步回調(diào)減少接入的成本

收到異步消息后，節(jié)點會調(diào)用算法服務，如果采用同步調(diào)用，會導致很多線程IO阻塞，需要大量的task,從而需要很多節(jié)點；采用異步回調(diào)服務，task線程可以立即回收，能減少很多task線程，從而節(jié)省節(jié)點。本項目中節(jié)省了約70%的節(jié)點。

2.3 通過批處理增加吞吐

在直播防控中單張截圖會調(diào)用2個算法，之前的模式是每張圖發(fā)2個消息。由于內(nèi)部是可以并行且非阻塞過多個算法的，單張圖一個算法和多個算法成本一樣，所以我們將單張圖調(diào)用多個算法的多條消息合并成一條。吞吐翻倍，按qps評估的機器成本也減半。

2.4 削峰和異常保護

雖然直播的峰值是5400路并發(fā)，考慮到截幀是每5秒進行一次，所以不必要按峰值準備容量。我們按照4s來平滑峰值，機器數(shù)也可以減少75%。除了常規(guī)的限流措施之外，考慮到審核頁面每5秒刷新，如果超過4s沒處理的消息選擇丟棄，可以避免突發(fā)的消息堆積造成雪崩。所有的出錯消息都會回寫入SLS并同步到ODPS,以便之后的排查、分析和恢復。同時，我們將應用部署在兩個機房來實現(xiàn)容災。

算法服務系統(tǒng)架構圖

上線之前按照電商圖片場景的經(jīng)驗是95%的算法請求在3s之內(nèi)返回，上線后實測98%的請求在600ms內(nèi)返回，平均耗時200ms，并且資源消耗更低。雖然兩個場景不完全具有可比性，但至少說明我們的算法服務完全勝任直播防控的實時場景。

作者：威視@阿里安全部

來源：https://zhuanlan.zhihu.com/p/24690287?from=timeline&isappinstalled=1

本文由 @威視@阿里安全部 授權發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。