最近廣受期待的漫威劇《捍衛(wèi)者聯(lián)盟》在Netflix放出之后，Netflix官方展示了他們基于這部劇做的內(nèi)容推薦嘗試與數(shù)據(jù)實驗。以此為契機，我們或許可以一窺“別人家的推薦引擎”。

Netflix在互聯(lián)網(wǎng)時代的成功，是一件非常值得回味的事。

作為一家以租賃起家，以流媒體平臺這種不算很新銳的企業(yè)特征，獲得了世界科技領(lǐng)域的普遍認同，甚至能夠與巨頭一較高下。Netflix顯然不止是在內(nèi)容和品牌宣傳上作對了一些事情。

比如說，有長期使用Netflix經(jīng)驗的朋友（雖然目前在國內(nèi)有點難），肯定會對Netflix的個性推薦系統(tǒng)留有深刻印象。事實上，Netflix在內(nèi)容推薦上的技術(shù)實力與效率一直廣泛受到業(yè)界認同

根據(jù)Netflix提供的官方數(shù)據(jù)，使用個性推薦系統(tǒng)之后，其平臺用戶的觀看率提升了3到4倍，而基于個性推薦系統(tǒng)打開的視頻數(shù)量，是從最受歡迎列表打開數(shù)量的4倍。

在國內(nèi)，“千人千面”“內(nèi)容找人”近兩年也是很熱門的話題。但很少有人分析內(nèi)容推薦系統(tǒng)的內(nèi)部邏輯，以及更好的內(nèi)容推薦系統(tǒng)需要哪些因素。

最近廣受期待的漫威劇《捍衛(wèi)者聯(lián)盟》在Netflix放出之后，Netflix官方展示了他們基于這部劇做的內(nèi)容推薦嘗試與數(shù)據(jù)實驗。以此為契機，我們或許可以一窺“別人家的推薦引擎”。

懂算法的同時要懂內(nèi)容

《捍衛(wèi)者聯(lián)盟》之所以特別，原因在于它就像《復(fù)仇者聯(lián)盟》一樣（好多聯(lián)盟?。?，是幾個各自有獨立劇集的超級英雄組合到一起的“混合劇”。

對于Netflix來說，這部劇的價值在于這四位英雄有各自的受眾群體（鐵拳應(yīng)該沒有中國受眾吧），而組合起來的人設(shè)與故事是否能覆蓋各自人群之和，還是應(yīng)該推向新的人群呢？

（四個獨立英雄受眾有不同的觀影喜好和關(guān)鍵詞標記 ）

針對這個問題，Netflix將《捍衛(wèi)者聯(lián)盟》當(dāng)做了一塊試驗田，他們將密切關(guān)注這部劇的數(shù)據(jù)走向，并且對不同身份標識的用戶實行不同的推薦策略。測試結(jié)果將形成新的機制，用來確定如何向不同的興趣組提供“混搭劇”推薦，同時也可以根據(jù)反饋來確定以后是否要制作更多不同劇集人物的組合劇。

相比于國內(nèi)的主流內(nèi)容推薦引擎（無論是信息、短視頻還是視頻）通常采取以用戶為中心，根據(jù)用戶瀏覽、收藏、付費等行為來建構(gòu)個性化推薦體系，Netflix讓我們看到了另一種可能：以內(nèi)容特征為中心，去分析不同內(nèi)容可以推薦給誰，如何推薦，甚至是否要調(diào)整內(nèi)容?！案畠?nèi)容的個性推薦”不僅建立在對內(nèi)容文本特征的把握上，更重要的是技術(shù)能力足夠支撐這種創(chuàng)造力。

否則從用戶、內(nèi)容雙向互動來匹配推薦機制，將是一個工作量巨大且錯誤率高企的任務(wù)。那么問題來了，站在Netflix推薦系統(tǒng)背后的，究竟是一個什么樣的技術(shù)體系呢？

好戲的基礎(chǔ)，是一個足夠大的舞臺

簡單來描繪的話，Netflix個性內(nèi)容推薦機制的特色，就是要在保證用戶使用流暢的前提下，不遺余力的裝備更多、更復(fù)雜的算法組合。

具體的算法我們一會再聊。首先要弄清楚的問題是Netflix內(nèi)容推薦系統(tǒng)的底層基礎(chǔ)是什么。

假設(shè)我們認為，更多的算法和技術(shù)，可以帶來更巧妙的運算和結(jié)果，并且相互制約出趨向合理的結(jié)論。那么平臺的第一要務(wù)就是要保證運算能力可以負擔(dān)復(fù)雜的算法與數(shù)據(jù)挖掘技術(shù)運行，并且保證平臺可以敏捷輕松的加入后續(xù)越來越多的算法。

那么第一個問題就是運算能力的保證。我們知道，人工智能的多元算法要求的運算力特別高，傳統(tǒng)的CPU+服務(wù)器模式在成本上很難滿足復(fù)雜的AI系統(tǒng)運行。

而Netflix是最先嘗試在AWS上使用GPU實現(xiàn)分布式神經(jīng)網(wǎng)絡(luò)的企業(yè)之一。雖然今天這種組合正在逐漸成為標配，但在幾年前使用GPU代替大型集群的CPU作為平臺支撐是一個創(chuàng)舉。

這樣不僅保證了計算力的穩(wěn)定，還為更多的人工智能投入平臺運用提供了契機。另外Netflix還率先把大量運算任務(wù)交給了云端，在AWS上進行分配式計算，確保了運算的高效率。

另外，我們可以注意到，Netflix在進行內(nèi)容推薦運算的時候使用的是三種計算方式相結(jié)合：在線計算、離線計算和接近在線計算。

之所以要進行分工，是要保證運算復(fù)雜度和運算效率穩(wěn)定統(tǒng)一。其中在線計算用來響應(yīng)必須即刻完成的交互行為，確保用戶指令得到實時響應(yīng)。而離線計算因為沒有時間限制，可以在運算平臺上完成更復(fù)雜的算法運行和更大的數(shù)據(jù)量處理。這種運算的工作模式是系統(tǒng)從用戶處收集數(shù)據(jù)，然后回到后端進行運算分析，再通過后期的交互表現(xiàn)在內(nèi)容推薦上。

處于二者之間的是接近在線計算，這種運算承擔(dān)的任務(wù)可以有延遲，但是也需要快速分析。把數(shù)據(jù)和任務(wù)進行區(qū)分，進行歸類式學(xué)習(xí)與運算，是Netflix保證運算能力和使用體驗達成平衡的關(guān)鍵。但是這種模式并不容易，關(guān)鍵在于要有精準的個性化架構(gòu)，對三種計算模式進行無縫結(jié)合，統(tǒng)一規(guī)劃在線和離線計算的過程。

（Netflix內(nèi)容推薦系統(tǒng)框架圖，可以看到整個運算分為三種計算方式，而且其中主要組件包括多種機器學(xué)習(xí)算法）

在滿足運算區(qū)分的同時，系統(tǒng)的架構(gòu)還需要保證靈活的接入能力。因為新的算法可能隨時加入進來，架構(gòu)必須保證即插即用和可在原基礎(chǔ)上進行開發(fā)。

從Netflix平臺的運營經(jīng)驗來看，使用人工智能達成精準個性化服務(wù)的前提是保證平臺的運算能力可以滿足復(fù)雜的算法執(zhí)行、處理大量數(shù)據(jù)，并且架構(gòu)有很高的兼容性。

尤其重要的一點，是必須控制算法的部署成本與效率指數(shù)。

Netflix絕不是一個為了技術(shù)不顧成本的公司，比如在他們的架構(gòu)中深度學(xué)習(xí)只占據(jù)很小一部分，核心原因并非深度學(xué)習(xí)類算法效果不好，而是因為深度學(xué)習(xí)會占據(jù)大量的運算力并且成本高昂。

有了足夠大的舞臺，人工智能才能閃轉(zhuǎn)騰挪，巧妙的表演自己的本領(lǐng)。從幾次公布的Netflix內(nèi)容推薦系統(tǒng)中看，他們非常樂于用AI算法構(gòu)建一個迷宮。

算法迷宮

高階的內(nèi)容平臺的推薦引擎并不容易達成，因為在保證精準度的同時，必須實時外界內(nèi)容和用戶的數(shù)據(jù)變化，這樣才能保證推薦結(jié)果最大化。

Netflix認為，相比于重于數(shù)據(jù)的搜索引擎，推薦引擎注重的是對知識的理解和運用，這讓推薦引擎對算法的需求大大提升。因為既要滿足用戶畫像模型的精準，又要對多種內(nèi)容排列機制給出決策運算結(jié)果。

這就要求需求分析、技術(shù)選擇、推薦算法質(zhì)量三者達成有效平衡。而Netflix的解決方案是把多種算法和多端運算進行組合。

僅僅Netflix個性推薦系統(tǒng)中運用到的機器學(xué)習(xí)算法，就有線性回歸（Linear Regression）、邏輯斯特回歸（Logistic Regression）、彈性網(wǎng)絡(luò)（Elastic Nets）、奇異值分解（SVD : Singular Value Decomposition）、（Restricted Boltzmann Machines）、馬爾科夫鏈（Markov Chains）、LDA（Latent Dirichlet Allocation）、關(guān)聯(lián)規(guī)則（Association Rules）、GBDT（Gradient Boosted Decision Trees）、隨機森林（Random Forests）、矩陣分解（Matrix Factoriza），并且名單還在不斷增加。

這里不討論每一種算法具體給內(nèi)容推薦帶來的價值，但是想表明兩點：沒有能解決所有問題的算法，組合才是硬道理；算法模型間的結(jié)果互制，是確保Netflix推薦質(zhì)量高的秘訣。

總結(jié)一下Netflix對機器學(xué)習(xí)等AI算法的態(tài)度，可以歸為三點：

1.對新算法保持敏感和饑渴，對已有算法創(chuàng)新保持樂觀。

2.愿意在多個產(chǎn)品功能樹上以使用算法矩陣。

3.嚴格的算法測試。

（Netflix測試內(nèi)容推薦類算法的結(jié)構(gòu)邏輯）

當(dāng)然Netflix的推薦引擎絕非完美，還是經(jīng)常有各種bug出現(xiàn)，但其構(gòu)造推薦引擎的整個故事還是值得我們多想一些。

在具體技術(shù)之外的產(chǎn)品戰(zhàn)略層面，Netflix帶給AI產(chǎn)品應(yīng)用的啟示在于，“有AI”和“有很好用的AI”真的是兩碼事。

大量的硬件部署、運算支撐、框架開發(fā)、算法創(chuàng)新、應(yīng)用測試以及對整個體系嚴苛的檢驗，都是巨大的投入成本。AI雖然能解決問題，但目前情況下還不能“很便宜”的解決問題。真的要投身AI，必須要對成本和投入有足夠正確的認知。

具體到內(nèi)容推薦引擎上，“根據(jù)你剛剛點擊的關(guān)鍵詞推薦”和“根據(jù)你推薦”，也是兩碼事。

好了，現(xiàn)在筆者要去回顧一遍《復(fù)聯(lián)》，等等《蜘蛛俠》，刷刷《懲罰者》的消息了——希望這些可以減緩《捍衛(wèi)者》帶給我的打擊與傷害…..

作者：風(fēng)辭遠

來源：微信公眾號：腦極體（ID：unity007）

本文由 @腦極體 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來自PEXELS，基于CC0協(xié)議