從0開始搭建產(chǎn)品經(jīng)理AI知識(shí)框架:機(jī)器學(xué)習(xí)
關(guān)于機(jī)器學(xué)習(xí)你了解多少,文章分享了相關(guān)知識(shí),希望對(duì)你有所啟發(fā)。
?什么是機(jī)器學(xué)習(xí)(Machine Learning)
- 定義:計(jì)算機(jī)程序可以在給定某種類別的任務(wù) T 和性能度量 P 下學(xué)習(xí)經(jīng)驗(yàn) E ,如果其在任務(wù) T 中的性能恰好可以用 P 度量,則隨著經(jīng)驗(yàn) E 而提高。
- 簡(jiǎn)單來說:機(jī)器學(xué)習(xí)是能通過經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)方法研究
- 通俗的理解:機(jī)器學(xué)習(xí),是計(jì)算的反問題(逆運(yùn)算) (@張江)
機(jī)器學(xué)習(xí)和人工智能以及深度學(xué)習(xí)的關(guān)系
用一張圖來表示:
- 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的子集
- 而機(jī)器學(xué)習(xí)是人工智能的核心
舉個(gè)簡(jiǎn)單的例子來說明機(jī)器學(xué)習(xí):
先說說什么是計(jì)算:
計(jì)算房屋售價(jià),給定輸入,得到輸出,如:
- 已知房屋售價(jià)的平米數(shù)(如下圖)
- 已知計(jì)算公式:房屋價(jià)格 = 面積 * 每平米售價(jià)(5000)
- 求房屋的售價(jià)
再來說計(jì)算的反問題(逆運(yùn)算):
機(jī)器學(xué)習(xí):有數(shù)據(jù)輸入和輸出,通過機(jī)器學(xué)習(xí),得到模型
- 已知房屋的基礎(chǔ)數(shù)據(jù)
- 已知房屋的售價(jià)
- 求房屋售價(jià)計(jì)算的模型
當(dāng)房屋售價(jià)計(jì)算模型有了之后,就可以用戶新數(shù)據(jù)的預(yù)測(cè),例如:
當(dāng)然這只是一個(gè)簡(jiǎn)單的例子,要真正預(yù)測(cè)房?jī)r(jià),會(huì)涉及到的大量的參數(shù),比如:幾室?guī)讖d幾衛(wèi),地理位置,周邊環(huán)境,……等等,且機(jī)器學(xué)習(xí)得到模型也會(huì)更加復(fù)雜。
再舉一個(gè)古老經(jīng)典的例子
你去菜市場(chǎng)買芒果,印象中顏色靚麗的芒果,比暗淡的要好吃,于是你挑選了100個(gè)芒果,付款,開開心心回家了。
結(jié)果回家吃了之后,你發(fā)現(xiàn)其中25個(gè)芒果不好吃,覺得根據(jù)顏色來分辨太片面了,但是吃的過程中,你又發(fā)現(xiàn)了大個(gè)的50個(gè)芒果都好吃,小個(gè)的芒果只有25個(gè)是好吃,你總結(jié)出大個(gè)的比小個(gè)的芒果要好吃。
下次出門時(shí),你要買更大個(gè)以及顏色更靚麗的芒果,結(jié)果發(fā)現(xiàn)常買的店鋪關(guān)門了,只能去別家買,結(jié)果兩家的產(chǎn)地不一樣,買回來100個(gè)芒果,反而是小個(gè)的顏色暗淡的好吃。
為了吸取教訓(xùn),買到更多更好吃的芒果,你采用了「機(jī)器學(xué)習(xí)」的方法,隨機(jī)在市場(chǎng)買了1000個(gè)芒果:
- 列出芒果的屬性:顏色,大小,形狀,產(chǎn)地,經(jīng)銷商,等等,
- 以及對(duì)應(yīng)的:甜度,成熟度,是否多汁,等等
通過1000個(gè)芒果的數(shù)據(jù),得到了一個(gè)模型,在下次購(gòu)買的時(shí)候,你只需要輸入相關(guān)的數(shù)據(jù),就可以判斷出芒果是否好吃概率,通過大量的篩選,你購(gòu)買了一批「好吃」概率在95%以上的芒果,結(jié)果是個(gè)個(gè)非常好吃,你也成了眾人敬仰的「芒果吃貨(專家)」。
通過這兩個(gè)例子,是否對(duì)于機(jī)器學(xué)習(xí)有了初步的認(rèn)知呢?
如上圖:機(jī)器學(xué)習(xí)對(duì)于數(shù)據(jù)運(yùn)用,相當(dāng)于人的大腦對(duì)于經(jīng)驗(yàn)的運(yùn)用
實(shí)際項(xiàng)目中機(jī)器學(xué)習(xí)工作方式
- 選擇數(shù)據(jù):將你的數(shù)據(jù)分成三組:訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和測(cè)試數(shù)據(jù)
- 模型數(shù)據(jù):使用訓(xùn)練數(shù)據(jù)來構(gòu)建使用相關(guān)特征的模型
- 驗(yàn)證模型:使用你的驗(yàn)證數(shù)據(jù)接入你的模型
- 測(cè)試模型:使用你的測(cè)試數(shù)據(jù)檢查被驗(yàn)證的模型的表現(xiàn)
- 使用模型:使用完全訓(xùn)練好的模型在新數(shù)據(jù)上做預(yù)測(cè)
- 調(diào)優(yōu)模型:使用更多數(shù)據(jù)、不同的特征或調(diào)整過的參數(shù)來提升算法的性能表現(xiàn)
機(jī)器學(xué)習(xí)都有哪些學(xué)習(xí)方式?
涉及到機(jī)器學(xué)習(xí)相關(guān)知識(shí):
- 監(jiān)督學(xué)習(xí):需要“標(biāo)簽”當(dāng)老師,明確要預(yù)測(cè)什么。
- 無(wú)監(jiān)督學(xué)習(xí):不告訴機(jī)器正確答案,讓機(jī)器自己學(xué)習(xí),給出結(jié)果。
- 半監(jiān)督學(xué)習(xí):訓(xùn)練的數(shù)據(jù),只有一小部分是標(biāo)記過的,大部分是沒有標(biāo)記。
- 強(qiáng)化學(xué)習(xí):通過反饋,邊實(shí)踐邊學(xué)習(xí)。
- 遷移學(xué)習(xí):在某個(gè)垂直領(lǐng)域訓(xùn)練完成后,移致去其他相關(guān)領(lǐng)域調(diào)優(yōu)發(fā)揮作用。
以及這一波人工智能浪潮興起的主要原因之一:
- 基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)。
接下來聊一下個(gè)人對(duì)于機(jī)器學(xué)習(xí)方式以及相關(guān)應(yīng)用的理解。
監(jiān)督學(xué)習(xí)
什么是監(jiān)督學(xué)習(xí)
概念:監(jiān)督學(xué)習(xí)就是通過樣例給定輸入與輸出,讓程序?qū)W會(huì)一些通用的規(guī)則,這樣對(duì)于需要預(yù)測(cè)的數(shù)據(jù),得到輸出。
詮釋:有一個(gè)明確預(yù)測(cè)的目標(biāo),比如:預(yù)估房?jī)r(jià),給予機(jī)器大量的有標(biāo)簽的數(shù)據(jù),以及最終的銷售價(jià),來訓(xùn)練這個(gè)模型。
監(jiān)督學(xué)習(xí)主要解決的是兩類問題
回歸問題:
- 概念:預(yù)測(cè)結(jié)果是連續(xù)的,意味著我們嘗試將輸入變量映射到一些連續(xù)函數(shù)。
- 舉例:如預(yù)測(cè)房?jī)r(jià)的例子,通過大量輸入輸出數(shù)據(jù),以及各種房屋類型,環(huán)境等標(biāo)簽,訓(xùn)練模型后,輸入新的數(shù)據(jù),既可預(yù)測(cè)房?jī)r(jià)。
分類問題:
- 概念:預(yù)測(cè)結(jié)果是離散的,意味著我們嘗試將輸入變量映射到離散類別。
- 舉例:如芒果的例子,同樣通過大量輸入輸出數(shù)據(jù),包括芒果,顏色,大小,形狀,以及甜度,成熟度等標(biāo)簽,當(dāng)輸入新的數(shù)據(jù),機(jī)器計(jì)算出屬于這個(gè)芒果是在吃,還是在不好吃的分類里。
監(jiān)督學(xué)習(xí)主要涉及到的算法模型如下
- 線性回歸模型(Linear Regression)
- K-近鄰算法(k-Nearest Neighbors,KNN)
- 決策樹(Decision Trees)
- 樸素貝葉斯(Naive Bayesian)
- 邏輯回歸(Logistic Regression)
對(duì)于算法,初期知道解決的是什么問題即可,不要從學(xué)習(xí)的視角去深入,而是實(shí)際遇到問題,遇到問題時(shí)候再研究。
無(wú)監(jiān)督學(xué)習(xí)
什么是無(wú)監(jiān)督學(xué)習(xí)
- 詮釋:無(wú)監(jiān)督學(xué)習(xí)就是不給數(shù)據(jù)提供標(biāo)簽,由程序自動(dòng)對(duì)數(shù)據(jù)進(jìn)行聚類、關(guān)聯(lián)、降維等工作。
- 詮釋:我們擁有大量的數(shù)據(jù),但是不知道答案,需要用無(wú)監(jiān)督學(xué)習(xí)的方法,讓它們根據(jù)某些特征自動(dòng)分成若干組,從而找到數(shù)據(jù)中存在的價(jià)值。
無(wú)監(jiān)督學(xué)習(xí)主要解決的三類問題
關(guān)聯(lián)
- 概念:為了發(fā)現(xiàn)各種現(xiàn)象同時(shí)出現(xiàn)的概率。
- 舉例:經(jīng)典例子,男人買啤酒和買尿布的關(guān)聯(lián)性非常高,超市把啤酒和尿布放在一起,從而提高業(yè)績(jī)。
聚類
- 概念:把樣本分堆,使同一堆中的樣本之間很相似,而不同堆之間的樣本就有些差別。
- 舉例:Google新聞,每天會(huì)搜集大量的新聞,然后把它們?nèi)烤垲?,就?huì)自動(dòng)分成幾十個(gè)不同的組(比如娛樂,科技,政治……),每個(gè)組內(nèi)新聞都具有相似的內(nèi)容結(jié)構(gòu)。
降維
- 概念:降維意味著減少數(shù)據(jù)集中變量的個(gè)數(shù),但是仍然保留重要的信息。主要作用是壓縮數(shù)據(jù)與提升機(jī)器學(xué)習(xí)其他算法的效率。
- 舉例:房?jī)r(jià)包含房子的長(zhǎng)、寬、面積與房間數(shù)量四個(gè)特征,也就是維度為4維的數(shù)據(jù)。而面積=長(zhǎng) × 寬,通過降維算法我們就可以去除冗余信息,即從4維的數(shù)據(jù)壓縮到2維
無(wú)監(jiān)督學(xué)習(xí)主要涉及到的算法模型如下
- K 均值算法(K-means)
- 自編碼(Autoencoding)
- 主成分分析(Principal components analysis)
- 隨機(jī)森林(Random forests)
同理,解決實(shí)際問題中,再深入到算法里提升自己的認(rèn)知。
半監(jiān)督學(xué)習(xí)
什么是半監(jiān)督學(xué)習(xí)
- 概念:使用大量的未標(biāo)記數(shù)據(jù),以及同時(shí)使用標(biāo)記數(shù)據(jù),來進(jìn)行模式識(shí)別工作。
- 詮釋:大概意思就是,監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法,介于兩者之間。
半監(jiān)督學(xué)習(xí)解決問題
- 相比監(jiān)督學(xué)習(xí):節(jié)約人力成本,提高投入產(chǎn)出比。
- 相比無(wú)監(jiān)督學(xué)習(xí):可以得到分配更高精度的模型。
具體適用場(chǎng)景的舉例
- 例如:視頻網(wǎng)站上有幾百萬(wàn)的視頻,但其中只有幾十萬(wàn)的視頻有標(biāo)簽,如果把剩下幾百萬(wàn)視頻都打上標(biāo)簽,工作量和成本是巨大的,而用無(wú)監(jiān)督的方法,在很多情況下精度會(huì)很低,所以使用半監(jiān)督的方法,可以在節(jié)省人力的情況下,得到分類更高精度的模型。
- 例如:垃圾信息過濾,一般的方法是監(jiān)督,需要大量的語(yǔ)料標(biāo)注,告知系統(tǒng)哪些可能是垃圾信息。但用戶產(chǎn)會(huì)生了大量的信息,且垃圾信息的發(fā)布者也在調(diào)整策略,無(wú)法進(jìn)行實(shí)時(shí)標(biāo)注,這里可以用半監(jiān)督的方法,根據(jù)垃圾信息發(fā)布者的特殊行為,發(fā)布內(nèi)容等找到相似性,進(jìn)行過濾。
強(qiáng)化學(xué)習(xí)
什么是強(qiáng)化學(xué)習(xí)
- 概念:強(qiáng)化學(xué)習(xí)就是智能系統(tǒng)從環(huán)境到行為映射的學(xué)習(xí),以使獎(jiǎng)勵(lì)信號(hào)(強(qiáng)化信號(hào))函數(shù)值最大。如果Agent的某個(gè)行為策略導(dǎo)致環(huán)境正的獎(jiǎng)賞(強(qiáng)化信號(hào)),那么Agent以后產(chǎn)生這個(gè)行為策略的趨勢(shì)便會(huì)加強(qiáng)。
- 詮釋:針對(duì)沒有標(biāo)注數(shù)據(jù)集的情況而言,通過反饋來區(qū)分是否越來越接近目標(biāo)。比如常見一個(gè)猜價(jià)格的游戲,你來猜這個(gè)東西值多少錢,別人告訴你猜的價(jià)格是高了還是低了。
- 例如:阿爾法狗,自己跟自己下圍棋,通過一盤盤的勝負(fù),自我學(xué)習(xí)、自我修煉、自我改正,然后一個(gè)一個(gè)迭代,自己跟自己下了1000萬(wàn)盤之后,完全就是一個(gè)新的狗狗。
強(qiáng)化學(xué)習(xí)和監(jiān)督學(xué)習(xí)的區(qū)別
監(jiān)督學(xué)習(xí)總的來說是一個(gè)開環(huán)的學(xué)習(xí)。
- 通常,監(jiān)督學(xué)習(xí)任務(wù)會(huì)從環(huán)境中收集一批數(shù)據(jù);
- 接著我們用監(jiān)督學(xué)習(xí)算法從數(shù)據(jù)中產(chǎn)生模型;
- 最后就可以用這個(gè)模型來做預(yù)測(cè)了。
但是對(duì)于強(qiáng)化學(xué)習(xí)來說,它面對(duì)的是一個(gè)閉環(huán)的學(xué)習(xí)。
- 首先,也是從環(huán)境中產(chǎn)生數(shù)據(jù);
- 用強(qiáng)化學(xué)習(xí)的算法從數(shù)據(jù)中產(chǎn)生模型;
- 還要把模型放回到環(huán)境中運(yùn)行,接著又會(huì)產(chǎn)生新的數(shù)據(jù)出來,再重復(fù)以上步驟。
強(qiáng)化學(xué)習(xí)的應(yīng)用
- 例如:訓(xùn)練機(jī)器臂,把一個(gè)指的位置的物體,拿到另外一個(gè)指定的位置上,這里你不告訴它怎么做,讓他通過一遍遍的訓(xùn)練,找到最佳的移動(dòng)物體路徑。
- 例如:個(gè)性化推薦,當(dāng)推薦你某個(gè)分類內(nèi)容時(shí)候,你會(huì)點(diǎn)擊或查看,它就會(huì)根據(jù)你的行為,推薦給你更多該分類的內(nèi)容。
- 例如:無(wú)人機(jī)操作,指定你的無(wú)人機(jī)進(jìn)行某種動(dòng)作飛行,通過強(qiáng)化學(xué)習(xí)來控制高度,速度,姿態(tài)等等,根據(jù)獎(jiǎng)勵(lì)讓它自己學(xué)習(xí)策略,來達(dá)到目的
遷移學(xué)習(xí)
什么是遷移學(xué)習(xí)
- 概念:一般就是指要將從源領(lǐng)域?qū)W習(xí)到的東西應(yīng)用到目標(biāo)領(lǐng)域上去。
- 詮釋:比如你會(huì)騎自行車,你會(huì)控制車把,剎車,控訴,躲避,踩踏,平衡感等等,然后讓你騎摩托車時(shí)候,你也可以輕易上手,逐漸適應(yīng)速度和動(dòng)力上的特殊性。
遷移學(xué)習(xí)應(yīng)用
- 模擬中學(xué)習(xí):不管是無(wú)人車,還是機(jī)械臂,在現(xiàn)實(shí)中學(xué)習(xí)耗時(shí)且昂貴。通過模擬的方法,在虛擬中完成部分的訓(xùn)練,遷移到現(xiàn)實(shí)中,當(dāng)然這種方法存在很多問題,畢竟虛擬世界無(wú)法做到跟現(xiàn)實(shí)一模一樣,比如物理引擎,但是作為初始訓(xùn)練是可行的。
- 適應(yīng)新領(lǐng)域:在線推薦系統(tǒng)中利用遷移學(xué)習(xí),例如影像資料領(lǐng)域做好一個(gè)推薦系統(tǒng),然后應(yīng)用在稀疏的、新的垂直領(lǐng)域書籍資料里。
- 跨語(yǔ)言傳播知識(shí):從一種語(yǔ)言學(xué)習(xí)然后將所得知識(shí)應(yīng)用于另一種語(yǔ)言,是遷移學(xué)習(xí)的另一個(gè)重要應(yīng)用。比如英語(yǔ)訓(xùn)練之后,遷移到印度本土語(yǔ)言上。
以上就是對(duì)于機(jī)器學(xué)習(xí)部分的一部分認(rèn)知,而其中「深度學(xué)習(xí)」部分,會(huì)單獨(dú)完成一篇筆記來跟大家交流。
相關(guān)閱讀
從0開始搭建產(chǎn)品經(jīng)理的AI認(rèn)知體系
產(chǎn)品經(jīng)理的AI知識(shí)框架:計(jì)算機(jī)視覺
產(chǎn)品經(jīng)理的AI知識(shí)框架:語(yǔ)音識(shí)別與合成
作者:蘭楓,微信公號(hào):藍(lán)風(fēng)GO @LanFengTalk,前騰訊游戲,新浪微博PM,Elex產(chǎn)品總監(jiān),8年的游戲,社交,O2O等產(chǎn)品相關(guān)經(jīng)驗(yàn),連續(xù)創(chuàng)業(yè)者。
本文由 @蘭楓 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自PEXELS,基于CC0協(xié)議
更理解在線廣告系統(tǒng)了
強(qiáng)化學(xué)習(xí)和遷移學(xué)習(xí)作者沒有提起對(duì)應(yīng)的算法。是因?yàn)闀r(shí)間倉(cāng)促直接發(fā)出來了,還是因?yàn)樗惴ú缓脤懩???duì)應(yīng)的算法是否可以在評(píng)論區(qū)補(bǔ)充個(gè)大概的內(nèi)容。
很不錯(cuò)
很不錯(cuò)的文章
計(jì)算機(jī)程序可以在給定某種類別的任務(wù) T 和性能度量 P 下學(xué)習(xí)經(jīng)驗(yàn) E ,如果其在任務(wù) T 中的性能恰好可以用 P 度量,則隨著經(jīng)驗(yàn) E 而提高。
“機(jī)器計(jì)算出屬于這個(gè)芒果是在吃,還是在不好吃的分類里?!边@句話好像在“芒果是在吃”加上個(gè)“好”字更合理?