AI時(shí)代的中層支柱:統(tǒng)計(jì)學(xué)

1 評(píng)論 9332 瀏覽 17 收藏 11 分鐘

本文筆者將通過(guò)對(duì)統(tǒng)計(jì)學(xué)和AI的關(guān)系進(jìn)行分析,追溯他們的發(fā)展史,去探究:如何將對(duì)統(tǒng)計(jì)學(xué)如何應(yīng)用到人工智能領(lǐng)域?

AI 不過(guò)是統(tǒng)計(jì)學(xué)

Thomas J. Sargent :人工智能只是統(tǒng)計(jì)學(xué)的延伸

2011年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)取得者Thomas J. Sargent在題為“共享全球智慧 引領(lǐng)將來(lái)科技”的世界科技創(chuàng)新論壇上表示:

計(jì)算機(jī)是非常擅長(zhǎng)計(jì)算,它們可以非常快速地完成計(jì)算人算不了的東西,但最終必須由人來(lái)組織和分析這些計(jì)算。你可以看一些非常成功的人工智能應(yīng)用,它不僅是機(jī)器在「思考」,也是科學(xué)家在思考。像 AlphaGo 的算法看上去是第一次出現(xiàn),但其實(shí)有很多非常聰明的數(shù)學(xué),并且是由人設(shè)置教學(xué)內(nèi)容。人工智能是由機(jī)器和人分飾兩角的,非常有趣。

任正非:人工智能就是統(tǒng)計(jì)學(xué)

華為創(chuàng)始人兼CEO任正非在接受央視《面對(duì)面》采訪(fǎng),當(dāng)談到人工智能是,任正非表示:

中國(guó)沒(méi)有人工智能這門(mén)課,計(jì)算機(jī)與統(tǒng)計(jì)學(xué),審計(jì)學(xué)與審計(jì)學(xué),你說(shuō)我們要進(jìn)入大數(shù)據(jù)時(shí)代,大數(shù)據(jù)時(shí)代做啥?統(tǒng)計(jì)。說(shuō)明我們國(guó)家在數(shù)學(xué)上重視不夠,第二個(gè)在數(shù)學(xué)中的統(tǒng)計(jì)學(xué)重視不夠。

金榕:統(tǒng)計(jì)學(xué)是人工智能若干重要基礎(chǔ)之一,但遠(yuǎn)不是全部

阿里巴巴達(dá)摩院機(jī)器智能技術(shù)實(shí)驗(yàn)室主任金榕:

除了統(tǒng)計(jì),AI中的“學(xué)習(xí)”“推理”和“決策”中還使用了代數(shù)、邏輯、最優(yōu)化等許多其他學(xué)科知識(shí)與方法。此外,有了算法后如何有效實(shí)現(xiàn)也非常重要。所以,單純說(shuō)AI就是統(tǒng)計(jì)學(xué),或者說(shuō)“所有的AI都是利用統(tǒng)計(jì)學(xué)來(lái)解決問(wèn)題的”都是片面和不準(zhǔn)確的。

關(guān)于AI與統(tǒng)計(jì)學(xué)的關(guān)系,盡管眾說(shuō)紛紜,各位大佬持有不同意見(jiàn),但是,我們?nèi)匀徊浑y發(fā)現(xiàn)統(tǒng)計(jì)學(xué)在AI發(fā)展中占有非常重要的位置。

統(tǒng)計(jì)學(xué)VS人工智能發(fā)展史

為了分析統(tǒng)計(jì)學(xué)和AI的關(guān)系,我們同時(shí)追溯他們的發(fā)展史,找出其中的交叉部分。

1. 統(tǒng)計(jì)學(xué)發(fā)展史

人類(lèi)的統(tǒng)計(jì)實(shí)踐是隨著計(jì)數(shù)活動(dòng)而產(chǎn)生的,統(tǒng)計(jì)發(fā)展史可以追溯到距今足有五千多年的原始社會(huì),而使統(tǒng)計(jì)學(xué)開(kāi)始成為一門(mén)系統(tǒng)的學(xué)科卻是距今三百余年的事情。

從統(tǒng)計(jì)學(xué)三個(gè)大的發(fā)展階段可以看出,統(tǒng)計(jì)學(xué)經(jīng)歷了實(shí)踐→理論→檢驗(yàn)三個(gè)時(shí)期,當(dāng)前統(tǒng)計(jì)學(xué)主要是通過(guò)對(duì)數(shù)據(jù)的描述與分析來(lái)進(jìn)行對(duì)未來(lái)的推斷,這與AI的定義十分相似。

2. AI發(fā)展史

AI發(fā)展史可以追溯到計(jì)算機(jī)誕生時(shí)代。

在經(jīng)歷過(guò)二十年黃金時(shí)代的發(fā)展后,人們開(kāi)始意識(shí)到計(jì)算類(lèi)的功能可以被機(jī)器很好的完成。但是,對(duì)于感知類(lèi)的功能卻很難達(dá)到模擬人類(lèi)的要求。人們對(duì)人工智能的理解也從幻想中的智能轉(zhuǎn)變到重視人工技術(shù)。

Thomas J. Sargent :人工智能是由機(jī)器和人分飾兩角的,非常有趣。

現(xiàn)在人們對(duì)于人工智能的期待,不再像科幻電影里那樣不切實(shí)際。技術(shù)人員意識(shí)到當(dāng)下可以實(shí)現(xiàn)的AI技術(shù)是基于人的“思考”,讓機(jī)器來(lái)實(shí)施,AI應(yīng)該著眼于解放生產(chǎn)力而不是“完全替換人類(lèi)”。

3. 統(tǒng)計(jì)學(xué)和AI的交叉點(diǎn)

1988年,美國(guó)科學(xué)家朱迪亞·皮爾將概率統(tǒng)計(jì)方法引入人工智能的推理過(guò)程中。

后來(lái),IBM的沃森研究中心把概率統(tǒng)計(jì)方法引入到Candide項(xiàng)目——一個(gè)基于200多萬(wàn)條語(yǔ)句實(shí)現(xiàn)了英語(yǔ)和法語(yǔ)之間的自動(dòng)翻譯。

1992年,華人李開(kāi)復(fù)使用統(tǒng)計(jì)學(xué)的方法設(shè)計(jì)開(kāi)發(fā)了Siri最早的原型。從將統(tǒng)計(jì)學(xué)引入AI研究后,直至近期大家所熟知的阿爾法go,AI的側(cè)重之一就是機(jī)器學(xué)習(xí)?;谟扇祟?lèi)產(chǎn)生的大量數(shù)據(jù),使用人類(lèi)思維去分析標(biāo)記,然后引入機(jī)器進(jìn)行學(xué)習(xí),最終讓機(jī)器掌握規(guī)則和規(guī)律進(jìn)行工作。

我們不難發(fā)現(xiàn):統(tǒng)計(jì)學(xué)和AI有了一個(gè)共同的研究對(duì)象——數(shù)據(jù)。

統(tǒng)計(jì)學(xué)概念在AI中的應(yīng)用

統(tǒng)計(jì)學(xué)作為交叉學(xué)科之一推動(dòng)著人工智能的發(fā)展,在發(fā)展中逐漸被應(yīng)用于各行各業(yè)。不論以后從事AI產(chǎn)品經(jīng)理,還是AI工程師,只有具備良好的統(tǒng)計(jì)學(xué)基礎(chǔ)才能對(duì)數(shù)據(jù)分析具有準(zhǔn)確、深入的理解。

1. 應(yīng)用于調(diào)查數(shù)據(jù)

以機(jī)器學(xué)習(xí)為例:其核心是“使用算法解析數(shù)據(jù),從中學(xué)習(xí),然后對(duì)世界上的某件事情做出決定或預(yù)測(cè)”。

在學(xué)習(xí)之前就要進(jìn)行數(shù)據(jù)分析,而機(jī)器學(xué)習(xí)需要龐大的數(shù)據(jù)集作為支撐才能保證其學(xué)習(xí)效果。

對(duì)于嬰兒來(lái)說(shuō),即使只有三歲,也觀(guān)看過(guò)數(shù)億張圖像,擁有龐大的數(shù)據(jù)庫(kù)。要想讓AI“靠譜”,就要有靠譜的數(shù)據(jù)。統(tǒng)計(jì)學(xué)的數(shù)據(jù)獲取方法與處理方法是機(jī)器學(xué)習(xí)建立數(shù)據(jù)集必需要使用的。

圖片來(lái)自:https://www.jianshu.com/p/0fed5efab3e5

統(tǒng)計(jì)學(xué)上的數(shù)據(jù)來(lái)源:

統(tǒng)計(jì)學(xué)常見(jiàn)數(shù)據(jù)的處理:

2. 應(yīng)用于建造模型

面對(duì)沒(méi)有標(biāo)準(zhǔn)定義的數(shù)據(jù):

比如:電商平臺(tái)希望把數(shù)據(jù)中會(huì)惡意退貨的那些人給找出來(lái),但數(shù)據(jù)并未指明哪些人惡意退貨。

對(duì)這個(gè)具體數(shù)據(jù),沒(méi)有教科書(shū)或文獻(xiàn)給出任何的方法。這就要有獨(dú)特的處理方法,你必須考慮基于什么樣的惡意退貨機(jī)理和背景來(lái)建立模型,不能單一的就把有過(guò)幾次退貨操作的用戶(hù)找出來(lái),你就要了解用戶(hù)退貨方面的思維方式。

對(duì)于人類(lèi)來(lái)講,這種推斷與判斷的行為并沒(méi)有復(fù)雜的數(shù)學(xué)運(yùn)算。但對(duì)于機(jī)器來(lái)說(shuō),這一切都要基于數(shù)學(xué)運(yùn)算。有效的運(yùn)算模型是AI推斷的基礎(chǔ)。

面對(duì)沒(méi)有模型的統(tǒng)計(jì)需求:

比如:運(yùn)營(yíng)團(tuán)隊(duì)希望可以預(yù)測(cè)一個(gè)新?tīng)I(yíng)銷(xiāo)活動(dòng)可帶來(lái)的流量有多少,這并不能簡(jiǎn)單靠一些公式、幾個(gè)模型解決。

現(xiàn)有的模型一般比較固定,例子也簡(jiǎn)單,不符合復(fù)雜的實(shí)際數(shù)據(jù)。經(jīng)典統(tǒng)計(jì)上確定模型的優(yōu)劣方法嚴(yán)重依賴(lài)于對(duì)數(shù)據(jù)的無(wú)法證明的眾多數(shù)學(xué)假定。那么,如果想在眾多統(tǒng)計(jì)模型中要挑一個(gè)真正滿(mǎn)足實(shí)際需求的,就需要把數(shù)據(jù)拿過(guò)來(lái)做交叉驗(yàn)證。交叉驗(yàn)證,就是用一部分?jǐn)?shù)據(jù)來(lái)建立一個(gè)模型,然后用另外一塊數(shù)據(jù)來(lái)驗(yàn)證這個(gè)模型。交叉驗(yàn)證是判斷AI是否能做出有效預(yù)測(cè)的重要手段。

統(tǒng)計(jì)學(xué)是AI發(fā)展的基礎(chǔ)之一

通過(guò)以上對(duì)于統(tǒng)計(jì)學(xué)在AI領(lǐng)域應(yīng)用的簡(jiǎn)短分析,我們不難看出統(tǒng)計(jì)學(xué)的確是AI不可缺少的一部分,但是僅有統(tǒng)計(jì)學(xué)并不能實(shí)現(xiàn)真正的AI。

Thomas J. Sargent與任正非對(duì)于統(tǒng)計(jì)學(xué)重要性的肯定是正確的,金榕對(duì)于多技術(shù)支持的觀(guān)點(diǎn)也是正確的。統(tǒng)計(jì)學(xué)作為傳統(tǒng)的經(jīng)典學(xué)科,支撐起了AI發(fā)展的基礎(chǔ)。但AI不應(yīng)被定性為一門(mén)全新的技術(shù),而應(yīng)是已有技術(shù)的延伸與發(fā)展。沒(méi)有哪項(xiàng)新技術(shù)是憑空誕生的,未來(lái)將傳統(tǒng)學(xué)科應(yīng)用于新領(lǐng)域是高等教育的一個(gè)轉(zhuǎn)折點(diǎn)。

本篇文章僅是作者在學(xué)習(xí)統(tǒng)計(jì)學(xué)時(shí)的做的一些思考,希望能拋磚引玉。隨著大數(shù)據(jù)時(shí)代的來(lái)臨,未來(lái)將有更多PM投身于數(shù)據(jù)分析,設(shè)計(jì)出優(yōu)秀的數(shù)據(jù)分析、預(yù)測(cè)工具。

#專(zhuān)欄作家#

無(wú)問(wèn)西東,人人都是產(chǎn)品經(jīng)理專(zhuān)欄作家。工商管理碩士,貓奴一枚。主導(dǎo)過(guò)金融公司臺(tái)賬系統(tǒng)、多公司OA系統(tǒng);參與過(guò)二手車(chē)平臺(tái)、P2P平臺(tái)設(shè)計(jì)。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自 Unsplash ,基于 CC0 協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 優(yōu)秀的文章,講解得深入淺出

    來(lái)自上海 回復(fù)