近兩年來AI產(chǎn)業(yè)已然成為新的焦點(diǎn)和風(fēng)口，各互聯(lián)網(wǎng)巨頭都在布局人工智能，不少互聯(lián)網(wǎng)產(chǎn)品經(jīng)理也開始考慮轉(zhuǎn)型AI產(chǎn)品經(jīng)理，本文作者也同樣在轉(zhuǎn)型中。本篇文章是通過一段時(shí)間的學(xué)習(xí)歸納總結(jié)整理而成，力圖通過這篇文章給各位考慮轉(zhuǎn)型的產(chǎn)品經(jīng)理們一個(gè)對(duì)AI的全局概括了解。本文分為上下兩篇，此為下篇。

三、AI技術(shù)

業(yè)內(nèi)通常將人工智能分類為機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、語音交互和自然語言處理四大領(lǐng)域，機(jī)器學(xué)習(xí)可以理解為是其他三大領(lǐng)域的底層基礎(chǔ)，大致可以分為監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)。

本文在此基本不涉及公式，盡量以平直易懂的語言講述這幾種機(jī)器學(xué)習(xí)方法及相關(guān)算法。個(gè)人認(rèn)為在實(shí)戰(zhàn)過程中根據(jù)工作需要再深入學(xué)習(xí)這些算法，會(huì)更有針對(duì)性而且效率會(huì)更高，事半功倍。

3.1 機(jī)器學(xué)習(xí)

概念：投喂給機(jī)器訓(xùn)練數(shù)據(jù)，機(jī)器從這些數(shù)據(jù)中找出一個(gè)能夠良好擬合已有數(shù)據(jù)的函數(shù)，新數(shù)據(jù)來了后，就可以通過這個(gè)函數(shù)預(yù)測(cè)對(duì)應(yīng)結(jié)果。

適合解決的問題：有規(guī)律可以學(xué)習(xí)、編程很難做到、有能夠?qū)W習(xí)到規(guī)律的數(shù)據(jù)。

工作方式：

1. 根據(jù)任務(wù)目標(biāo)確定算法；
2. 在預(yù)處理階段把數(shù)據(jù)分成三組：訓(xùn)練數(shù)據(jù)（用來訓(xùn)練模型）、驗(yàn)證數(shù)據(jù)（開發(fā)過程中用于調(diào)參）、 測(cè)試數(shù)據(jù)（測(cè)試用）；
3. 用訓(xùn)練數(shù)據(jù)來構(gòu)建使用相關(guān)特征的模型；
4. 把驗(yàn)證數(shù)據(jù)接入模型調(diào)參；
5. 用測(cè)試數(shù)據(jù)檢查被驗(yàn)證的模型的表現(xiàn)；
6. 用完全訓(xùn)練好的模型在新數(shù)據(jù)上做預(yù)測(cè)；
7. 用更多數(shù)據(jù)或選取不同特征以及利用調(diào)整過的參數(shù)來提升優(yōu)化算法的性能表現(xiàn)。

分類：按學(xué)習(xí)方式可以分為監(jiān)督學(xué)習(xí)（包括半監(jiān)督學(xué)習(xí)）、無監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)。

3.2 監(jiān)督學(xué)習(xí)

概念：機(jī)器學(xué)習(xí)的一種，通過學(xué)習(xí)許多有標(biāo)簽的樣本，得到特征值和標(biāo)記值之間的對(duì)應(yīng)規(guī)律，然后對(duì)新的數(shù)據(jù)做出預(yù)測(cè)。

分類：根據(jù)輸入數(shù)據(jù)x預(yù)測(cè)出輸出數(shù)據(jù)y，如果y是整數(shù)的類別編號(hào)，則稱為分類問題，算法包括：決策樹、隨機(jī)森林、貝葉斯、KNN、SVM、邏輯回歸。如果y是實(shí)數(shù)值，則為回歸問題，算法包括決策樹、隨機(jī)森林、KNN、SVM、線性回歸。

主流算法：

1）決策樹算法

基本原理：決策樹是一個(gè)樹結(jié)構(gòu)，每個(gè)非葉節(jié)點(diǎn)表示一個(gè)特征屬性，每個(gè)分支代表這個(gè)特征屬性在某值域上的輸出，每個(gè)葉節(jié)點(diǎn)存放一個(gè)類別。使用決策樹進(jìn)行決策的過程就是從根節(jié)點(diǎn)開始，測(cè)試待分類項(xiàng)中相應(yīng)的特征屬性，并按照其值選擇輸出分支，直到到達(dá)某個(gè)葉節(jié)點(diǎn)，該葉節(jié)點(diǎn)存放的類別即為決策結(jié)果。

決策樹是一種判別模型，既支持分類問題，也支持回歸問題，是一種非線性模型（分段線性函數(shù)不是線性的），它天然的支持多分類問題。決策樹的構(gòu)建由機(jī)器訓(xùn)練得到，而不是人工制定。

決策樹的關(guān)鍵步驟是分裂屬性，即在某個(gè)節(jié)點(diǎn)處按照某一特征屬性的不同劃分構(gòu)造不同的分支，盡量讓一個(gè)分裂子集中待分類項(xiàng)屬于同一類別。而根據(jù)判斷方法的不同所以產(chǎn)生了ID3算法，C4.5算法以及CART算法。

下圖以銀行判斷是否給客戶貸款為例大致說明決策樹的原理：

主要用途：基于規(guī)則的信用評(píng)估、賽馬結(jié)果預(yù)測(cè)。

優(yōu)劣勢(shì)：擅長(zhǎng)對(duì)人、地點(diǎn)、事物的一系列不同特征、品質(zhì)、特性進(jìn)行評(píng)估，非常容易解釋，但容易趨于過擬合。

2）隨機(jī)森林

基本原理：由決策樹與集成學(xué)習(xí)算法相結(jié)合生成，由多棵決策樹組成。用多棵決策樹聯(lián)合預(yù)測(cè)可以提高模型的精度，這些決策樹用對(duì)訓(xùn)練樣本集隨機(jī)抽樣構(gòu)造出的樣本集訓(xùn)練得到。由于訓(xùn)練樣本集由隨機(jī)抽樣構(gòu)造，因此稱為隨機(jī)森林。

隨機(jī)森林不僅對(duì)訓(xùn)練樣本進(jìn)行抽樣，還對(duì)特征向量的分量隨機(jī)抽樣，在訓(xùn)練決策樹時(shí)，每次分裂時(shí)只使用一部分抽樣的特征分量作為候選特征進(jìn)行分裂。隨機(jī)森林是一種判別模型，既支持分類問題，也支持回歸問題，并且支持多分類問題，這是一種非線性模型。

主要用途：用戶流失分析、風(fēng)險(xiǎn)評(píng)估。

優(yōu)劣勢(shì)：隨機(jī)森林對(duì)大規(guī)模數(shù)據(jù)集和存在大量且有時(shí)不相關(guān)特征的項(xiàng)來說很有用，且有很好的解釋性。它比使用單個(gè)模型預(yù)測(cè)出來的結(jié)果要精確的多，但同時(shí)也需要大量的維護(hù)工作。

3）樸素貝葉斯

基本原理：是在已知樣本的特征向量為x的條件下反推樣本所屬的類別y，即對(duì)于給出的待分類項(xiàng)，求解在此待分類項(xiàng)出現(xiàn)的條件下各個(gè)類別出現(xiàn)的概率，哪個(gè)概率最大，就認(rèn)為此待分類項(xiàng)屬于哪個(gè)類別。

簡(jiǎn)單的舉個(gè)例子：我們看到一個(gè)人高鼻深目金發(fā)碧眼，便可以推斷他屬于白種人，因?yàn)樵谶@種外貌特征下他是白種人的概率最高。貝葉斯可以處理多分類問題，是一種非線性模型。

主要用途：文本處理里的垃圾郵件過濾、情感分析、消費(fèi)者分類、拼寫糾正、文字廣告過濾、識(shí)別惡性評(píng)論等領(lǐng)域。

優(yōu)劣勢(shì)：對(duì)于在小數(shù)據(jù)集上有顯著特征的相關(guān)對(duì)象，樸素貝葉斯方法可對(duì)其進(jìn)行快速分類，且很統(tǒng)一被解釋。所需估計(jì)的參數(shù)不大，對(duì)缺失數(shù)據(jù)不太敏感，而且無需復(fù)雜的迭代求解框架，適用于規(guī)模巨大的數(shù)據(jù)集。但是對(duì)輸入數(shù)據(jù)的形式比較敏感、計(jì)算先驗(yàn)概率時(shí)分類決策可能存在錯(cuò)誤。如果輸入變量是相關(guān)的，則會(huì)出現(xiàn)問題。

4）k近鄰（KNN）

基本原理：把標(biāo)注好類別的訓(xùn)練樣本映射到選取的特征數(shù)維度的坐標(biāo)系里，然后再把測(cè)試樣本映射到這個(gè)坐標(biāo)系里，選取距離該測(cè)試樣本最近的k個(gè)訓(xùn)練樣本，其中哪個(gè)訓(xùn)練樣本類別占比最大，就可以認(rèn)為該類別就是這個(gè)測(cè)試樣本的類別。

kNN算法是一種判別模型，即支持分類問題，也支持回歸問題，是一種非線性模型。它天然的支持多分類問題。kNN算法沒有訓(xùn)練過程，是一種基于實(shí)例的算法。

主要用途：適用 kNN可以處理數(shù)值型（從無限的數(shù)值集合中取值，如：0.100，42.001等）和標(biāo)稱型（只在有限目標(biāo)集中取值，如：真與假）數(shù)據(jù)。一種特征對(duì)應(yīng)一個(gè)維度，一種特征下的數(shù)據(jù)可以數(shù)值型的也可以是標(biāo)稱型的。

優(yōu)劣勢(shì)：這種算法思想簡(jiǎn)單，理論成熟，準(zhǔn)確度高。但是會(huì)占用大量?jī)?nèi)存，因?yàn)樾枰鎯?chǔ)所有的訓(xùn)練樣本點(diǎn)，而且每個(gè)新測(cè)試樣本需要通過kNN算法分類，都要計(jì)算這個(gè)測(cè)試樣本與所有訓(xùn)練樣本點(diǎn)的距離。

5）線性回歸

基本原理：主要用于擬合數(shù)據(jù)趨勢(shì)。簡(jiǎn)而言之，就是盡量用一條線或平面或超平面來擬合已有的一組數(shù)據(jù)。確定自變量和因變量間的相互依賴的定量關(guān)系。簡(jiǎn)單的線性回歸一般使用“最小二乘法”來求解，最小二乘的思想就是使得求解的這條線或平面或超平面使所有誤差的平方和最小。

主要用途：適用于數(shù)值型和標(biāo)稱型數(shù)據(jù)。

優(yōu)劣勢(shì)：結(jié)果易于理解，計(jì)算不復(fù)雜，但是只能用于擬合線性數(shù)據(jù)，非線性數(shù)據(jù)擬合效果很差。

6）邏輯回歸

基本原理：邏輯回歸只是對(duì)線性回歸的計(jì)算結(jié)果加了Sigmoid函數(shù)進(jìn)行處理，將數(shù)值結(jié)果轉(zhuǎn)化為了0到1之間的概率，根據(jù)這個(gè)概率可以做預(yù)測(cè)。logistic回歸是一種判別模型，它是一種線性模型，用于二分類問題。

主要用途：路面交通流量分析、郵件過濾，

優(yōu)劣勢(shì)：實(shí)現(xiàn)簡(jiǎn)單，分類時(shí)計(jì)算量非常小，速度很快，存儲(chǔ)資源低，但是容易欠擬合。

7）支持向量機(jī)（SVM）

基本原理：支持向量機(jī)的目標(biāo)是尋找一個(gè)分類超平面，它不僅能正確的分類每一個(gè)樣本，并且要使得每一類樣本中距離超平面最近的樣本到超平面的距離盡可能遠(yuǎn)。SVM是一種判別模型，它既可以用于分類問題，也可以用于回歸問題。標(biāo)準(zhǔn)的SVM只能支持二分類問題，使用多個(gè)分類器的組合，可以解決多分類問題。

主要用途：新聞分類、手寫識(shí)別。

優(yōu)劣勢(shì)：擅長(zhǎng)在變量x和其他變量之間進(jìn)行二元分類操作，無論其關(guān)系是否為線性的?？梢圆东@數(shù)據(jù)之間更復(fù)雜的關(guān)系，而無需人為地進(jìn)行困難的數(shù)據(jù)轉(zhuǎn)換。但同時(shí)它的訓(xùn)練時(shí)間長(zhǎng)得多，因?yàn)橛?jì)算量更大，而且可解釋性也比較差。

3.3 非監(jiān)督學(xué)習(xí)

概念：機(jī)器學(xué)習(xí)的一種，訓(xùn)練樣本中所有樣本數(shù)據(jù)都不含標(biāo)記值的學(xué)習(xí)方式，目的是將樣本集劃分成多個(gè)類，保證同一類的樣本之間盡量相似，不同類的樣本之間盡量不同。沒有訓(xùn)練過程，直接對(duì)樣本進(jìn)行劃分。

分類：聚類和降維。

主流算法：

1）k均值（k-means）

基本原理：將觀測(cè)值分為 k 個(gè)聚類，隨機(jī)初始化每個(gè)類的類中心，然后計(jì)算樣本與每個(gè)類的中心的距離，將其分配到最近的那個(gè)類，然后根據(jù)這種分配方案重新計(jì)算每個(gè)類的中心。這也是一種分階段優(yōu)化的策略。

2）主成分分析（PCA）

基本原理：PCA是一種數(shù)據(jù)降維和去除相關(guān)性的方法，它通過線性變換將向量投影到低維空間，對(duì)向量進(jìn)行投影就是讓向量左乘一個(gè)矩陣得到結(jié)果向量。降維要確保的是在低維空間中的投影能很好的近似表達(dá)原始向量，即重構(gòu)誤差最小化。PCA是一種無監(jiān)督的學(xué)習(xí)算法，它是線性模型，不能直接用于分類和回歸問題。

2.4 半監(jiān)督學(xué)習(xí)

訓(xùn)練樣本中只有部分樣本數(shù)據(jù)包含標(biāo)記值的學(xué)習(xí)方式，當(dāng)沒有足夠人力標(biāo)記所有的樣本數(shù)據(jù)，并且稍稍降低對(duì)模型預(yù)測(cè)精度的要求時(shí)，便可以使用半監(jiān)督學(xué)習(xí)。相比無監(jiān)督學(xué)習(xí)會(huì)有較高的精度，相比有監(jiān)督學(xué)習(xí)可以大幅降低人工標(biāo)記成本。

例如：在擁有上百萬篇文章資訊類的網(wǎng)站中進(jìn)行文章分類標(biāo)記，便可以采用半監(jiān)督學(xué)習(xí)，只需要對(duì)訓(xùn)練樣本進(jìn)行少量的人工標(biāo)注處理，便可以得到較高精度的分類結(jié)果。

2.5 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是一種特殊的機(jī)器學(xué)習(xí)，根據(jù)輸入環(huán)境參數(shù)確定要執(zhí)行的動(dòng)作，通過與環(huán)境交互來優(yōu)化目標(biāo)函數(shù)。在訓(xùn)練時(shí)，對(duì)于正確的動(dòng)作做出獎(jiǎng)勵(lì)，對(duì)錯(cuò)誤的動(dòng)作做出懲罰，訓(xùn)練完成之后就用得到的模型進(jìn)行預(yù)測(cè)。簡(jiǎn)要來說，強(qiáng)化學(xué)習(xí)算法是一種根據(jù)當(dāng)前的狀態(tài)確定要執(zhí)行的動(dòng)作的學(xué)習(xí)方式。

2.6 遷移學(xué)習(xí)

遷移學(xué)習(xí)簡(jiǎn)要來說，就是把已經(jīng)學(xué)到訓(xùn)練好的模型參數(shù)遷移到新的模型來幫助并加快新模型訓(xùn)練數(shù)據(jù)集，這種學(xué)習(xí)方式可以大幅縮短新模型的學(xué)習(xí)時(shí)間。

2.7 深度學(xué)習(xí)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的子集，這個(gè)概念來源于對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

深度機(jī)器學(xué)習(xí)方法也有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之分，不同的學(xué)習(xí)框架下建立的學(xué)習(xí)模型很是不同。例如：卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，簡(jiǎn)稱CNNs）就是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型，而深度置信網(wǎng)（Deep Belief Nets，簡(jiǎn)稱DBNs）就是一種無監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型。

深度學(xué)習(xí)相較其他機(jī)器學(xué)習(xí)最厲害的一點(diǎn)：可以對(duì)數(shù)據(jù)特征進(jìn)行預(yù)處理（省去數(shù)據(jù)人工標(biāo)注的麻煩，同時(shí)可以對(duì)更多維和復(fù)雜的特征進(jìn)行向量提取和空間向量的轉(zhuǎn)換，方便后續(xù)處理），這也是它為什么很多層的原因，因?yàn)槠渲卸喑鰜淼膶訑?shù)都是要用來進(jìn)行數(shù)據(jù)特征提取預(yù)處理的。端到端的訓(xùn)練，是深度學(xué)習(xí)的核心技術(shù)。目前深度學(xué)習(xí)框架有tensorflow、keras、caffe、theano、torch等。

1）卷積神經(jīng)網(wǎng)絡(luò)（CNN）

基本原理：CNN是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對(duì)于大型圖像處理有出色表現(xiàn)。

卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、激活函數(shù)、池化層、全連接層組成。卷積層的作用是指對(duì)圖片的矩陣進(jìn)行卷積運(yùn)算，得到一些數(shù)值，作為圖片的某些特征。因?yàn)椴捎昧司矸e來處理圖像，所以需要使用激活函數(shù)來加入非線性因素，來增加表達(dá)力。

池化層的作用是對(duì)上層的數(shù)據(jù)進(jìn)行采樣和壓縮，一方面使特征圖變小，簡(jiǎn)化網(wǎng)絡(luò)計(jì)算復(fù)雜度；一方面進(jìn)行特征壓縮，提取主要特征。全連接層連接所有的特征，將輸出值分類。

前面卷積層和池化層進(jìn)行處理后，得到了很多的特征，全連接層使用這些特征進(jìn)行分類。比如：識(shí)別數(shù)字，那就是對(duì)0~9的十個(gè)類別進(jìn)行分類。卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)判別模型，它既可以用于分類問題，也可以用于回歸問題，并且支持多分類問題。

主要用途：圖像處理，計(jì)算機(jī)視覺和圖像分類的主要算法。

2）遞歸神經(jīng)網(wǎng)絡(luò)（RNN）

基本原理：又叫循環(huán)神經(jīng)網(wǎng)絡(luò)，在任意神經(jīng)網(wǎng)絡(luò)中，每個(gè)神經(jīng)元都通過 1 個(gè)或多個(gè)隱藏層來將很多輸入轉(zhuǎn)換成單個(gè)輸出。遞歸神經(jīng)網(wǎng)絡(luò)會(huì)將值進(jìn)一步逐層傳遞，讓逐層學(xué)習(xí)成為可能。換句話說，RNN 存在某種形式的記憶，允許先前的輸出去影響后面的輸入。當(dāng)輸入數(shù)據(jù)具有依賴性且是序列模式時(shí)，RNN 對(duì)之前發(fā)生在數(shù)據(jù)序列中的事是有一定記憶的，這有助于系統(tǒng)獲取上下文。

基于RNN還衍生出了LSTM（Long-Short-Term-Memerory）和GRU（Gated Recurrent Unit）等一系列算法，這些算法擁有記住過去的能力，所以可以用來處理一些有時(shí)間序列屬性的數(shù)據(jù)，在處理語言、文字等方面有獨(dú)到的優(yōu)勢(shì)。

LSTM和GRU的優(yōu)點(diǎn)是具備與其它遞歸神經(jīng)網(wǎng)絡(luò)一樣的優(yōu)點(diǎn)，但因?yàn)樗鼈冇懈玫挠洃浤芰?，所以更常被使用?/p>

遞歸神經(jīng)網(wǎng)絡(luò)是一個(gè)判別模型，既支持分類問題，也支持回歸問題，并且支持多分類問題。

主要用途：語言建模、文本生成、機(jī)器翻譯、語音識(shí)別、生成圖像描述。

四、小結(jié)

AI產(chǎn)品經(jīng)理雖然與傳統(tǒng)互聯(lián)網(wǎng)產(chǎn)品經(jīng)理有些不同，但對(duì)產(chǎn)品思維的要求還是一如既往甚至提出了更高的標(biāo)準(zhǔn)，所以除了了解本文所述內(nèi)容，形成自己的一套方法論還是非常重要的。

此外，在人工智能這個(gè)領(lǐng)域，產(chǎn)品經(jīng)理需要有更高的人文素養(yǎng)，目光和眼界一定要長(zhǎng)遠(yuǎn)，才可能做出有足夠影響力的人工智能產(chǎn)品。

參考資料

• 福利 | 《從互聯(lián)網(wǎng)產(chǎn)品經(jīng)理到AI產(chǎn)品經(jīng)理》PPT下載及講解（58P）：http://theventurebank.com/pmd/683548.html
• 產(chǎn)品經(jīng)理，如何轉(zhuǎn)行到人工智能/機(jī)器人領(lǐng)域：http://theventurebank.com/pmd/345730.html
• AI產(chǎn)品經(jīng)理的定義和分類 ：http://t.cn/Rr7JCxp
• “人工智能與法律”對(duì)AI產(chǎn)品經(jīng)理有何實(shí)際借鑒意義：http://theventurebank.com/ai/879654.html
• 《人工智能產(chǎn)品經(jīng)理AI時(shí)代PM修煉手冊(cè)》 張競(jìng)宇著
• AI技術(shù)通識(shí)系列（2）——語音交互中的技術(shù)概念厘清：https://note.youdao.com/share/?id=161c5f83b4a8716357bcf332c6352319&type=note#/
• 語音合成 TTS | AI 產(chǎn)品經(jīng)理需要了解的 AI 技術(shù)概念：http://theventurebank.com/pmd/1381081.html
• 淺談機(jī)器學(xué)習(xí)基礎(chǔ)（上）：t.cn/RN4D2lq
• 淺談機(jī)器學(xué)習(xí)基礎(chǔ)（下）：t.cn/RN4Dio6

相關(guān)閱讀

AI產(chǎn)品經(jīng)理入門手冊(cè)（上）
 

本文由 @樊帆fan 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議