AI產(chǎn)品經(jīng)理需要了解的數(shù)據(jù)標(biāo)注工作入門(mén)
本文作者@Jasmine ,文章主要分享我們?cè)撊绾卧趯?duì)AI行業(yè)一無(wú)所知的情況下,快速了解到它的流程運(yùn)作,并找準(zhǔn)機(jī)會(huì)轉(zhuǎn)行。
Hi,我是@Jasmine,一位AI產(chǎn)品經(jīng)理。在正式內(nèi)容之前,我想跟大家簡(jiǎn)單分享一下我的經(jīng)歷:我大學(xué)本科不是IT相關(guān),甚至在我工作之前,我沒(méi)有做過(guò)任何與互聯(lián)網(wǎng)相關(guān)的實(shí)習(xí)工作。
而現(xiàn)在我能負(fù)責(zé)公司的重點(diǎn)項(xiàng)目,證明了進(jìn)入AI行業(yè)并不是你們想象中的那么困難。直至今天,我仍在這條道路上不斷學(xué)習(xí),也希望有更多的朋友給予我指點(diǎn)。
現(xiàn)在我就來(lái)說(shuō)說(shuō),如何在對(duì)AI行業(yè)一無(wú)所知的情況下,快速了解到它的流程運(yùn)作,并找準(zhǔn)機(jī)會(huì)轉(zhuǎn)行。
一、簡(jiǎn)單了解AI應(yīng)用范圍
(上圖,來(lái)自智能玩咖)
AI的應(yīng)用領(lǐng)域非常非常廣,上圖只是大家相對(duì)熟悉的幾個(gè),而且每一個(gè)領(lǐng)域用到的算法都不一樣。有很多想轉(zhuǎn)型的產(chǎn)品,第一個(gè)考慮的點(diǎn)就是:不懂技術(shù)就做不了AI,我是不是學(xué)完算法才能入行?
其實(shí)不是。
大家可能知道:
- 不僅算法重要,很多時(shí)候數(shù)據(jù)可能更重要;有保質(zhì)保量的數(shù)據(jù),才可能有好的訓(xùn)練效果。
- 數(shù)據(jù)可分為兩種類型:“被標(biāo)記過(guò)”的數(shù)據(jù)和“未被標(biāo)記過(guò)”的數(shù)據(jù)。什么是標(biāo)記呢?意同“貼標(biāo)簽”,當(dāng)你看到一個(gè)西瓜,你知道它是屬于水果。那么你就可以為它貼上一個(gè)水果的標(biāo)簽。算法同事用“有標(biāo)簽的數(shù)據(jù)”去訓(xùn)練模型,這里就有了“監(jiān)督學(xué)習(xí)”。
重點(diǎn)就是這里:只要是跟“監(jiān)督學(xué)習(xí)”沾邊的產(chǎn)品/技術(shù),比如圖像識(shí)別、人臉識(shí)別、自然語(yǔ)言理解等等,他們都有一個(gè)必走的流程——
不斷地用標(biāo)注后的數(shù)據(jù)去訓(xùn)練模型,不斷調(diào)整模型參數(shù),得到指標(biāo)數(shù)值更高的模型。
二、數(shù)據(jù)處理流程拆解
1、數(shù)據(jù)標(biāo)注
數(shù)據(jù)的質(zhì)量直接會(huì)影響到模型的質(zhì)量,因此數(shù)據(jù)標(biāo)注在整個(gè)流程中絕對(duì)是非要重要的一點(diǎn)。
1)一般來(lái)說(shuō),數(shù)據(jù)標(biāo)注部分可以有三個(gè)角色
- 標(biāo)注員:標(biāo)注員負(fù)責(zé)標(biāo)記數(shù)據(jù)。
- 審核員:審核員負(fù)責(zé)審核被標(biāo)記數(shù)據(jù)的質(zhì)量。
- 管理員:管理人員、發(fā)放任務(wù)、統(tǒng)計(jì)工資。
只有在數(shù)據(jù)被審核員審核通過(guò)后,這批數(shù)據(jù)才能夠被算法同事利用。
2)數(shù)據(jù)標(biāo)記流程
- 任務(wù)分配:假設(shè)標(biāo)注員每次標(biāo)記的數(shù)據(jù)為一次任務(wù),則每次任務(wù)可由管理員分批發(fā)放記錄,也可將整個(gè)流程做成“搶單式”的,由后臺(tái)直接分發(fā)。
- 標(biāo)記程序設(shè)計(jì):需要考慮到如何提升效率,比如快捷鍵的設(shè)置、邊標(biāo)記及邊存等等功能都有利于提高標(biāo)記效率。
3)進(jìn)度跟蹤:程序?qū)?biāo)注員、審核員的工作分別進(jìn)行跟蹤,可利用“規(guī)定截止日期”的方式淘汰怠惰的人。
4)質(zhì)量跟蹤:通過(guò)計(jì)算標(biāo)注人員的標(biāo)注正確率和被審核通過(guò)率,對(duì)人員標(biāo)注質(zhì)量進(jìn)行跟蹤,可利用“末位淘汰”制提高標(biāo)注人員質(zhì)量。
2、模型訓(xùn)練
這部分基本交由算法同事跟進(jìn),但產(chǎn)品可依據(jù)需求,向算法同事提出需要注意的方面;
舉個(gè)栗子——
背景:一個(gè)識(shí)別車輛的產(chǎn)品對(duì)大眾車某系列的識(shí)別效果非常不理想,經(jīng)過(guò)跟蹤發(fā)現(xiàn),是因?yàn)樵撥囅岛土硗庖粋€(gè)品牌的車型十分相似。那么,為了達(dá)到某個(gè)目標(biāo)(比如,將精確率提高5%),可以采用的方式包括:
- 補(bǔ)充數(shù)據(jù):針對(duì)大眾車系的數(shù)據(jù)做補(bǔ)充。值得注意的是,不僅是補(bǔ)充正例(“XXX”應(yīng)該被識(shí)別為該大眾車系),還可以提供負(fù)例(“XXX”不應(yīng)該被識(shí)別為該大眾車系),這樣可以提高差異度的識(shí)別。
- 優(yōu)化數(shù)據(jù):修改大批以往的錯(cuò)誤標(biāo)注。
產(chǎn)品將具體的需求給到算法工程師,能避免無(wú)目的性、無(wú)針對(duì)性、無(wú)緊急程度的工作。
3、模型測(cè)試
測(cè)試同事(一般來(lái)說(shuō)算法同事也會(huì)直接負(fù)責(zé)模型測(cè)試)將未被訓(xùn)練過(guò)的數(shù)據(jù)在新的模型下做測(cè)試。
如果沒(méi)有后臺(tái)設(shè)計(jì),測(cè)試結(jié)果只能由人工抽樣計(jì)算,抽樣計(jì)算繁瑣且效率較低。因此可以考慮由后臺(tái)計(jì)算。
一般來(lái)說(shuō)模型測(cè)試至少需要關(guān)注兩個(gè)指標(biāo):
- 精確率:識(shí)別為正確的樣本數(shù)/識(shí)別出來(lái)的樣本數(shù)
- 召回率:識(shí)別為正確的樣本數(shù)/所有樣本中正確的數(shù)
舉個(gè)栗子:全班一共30名男生、20名女生。需要機(jī)器識(shí)別出男生的數(shù)量。本次機(jī)器一共識(shí)別出20名目標(biāo)對(duì)象,其中18名為男性,2名為女性。則
- 精確率=18/(18+2)=0.9
- 召回率=18/30=0.6
再補(bǔ)充一個(gè)圖來(lái)解釋:
(來(lái)自mousever)
而且,模型的效果,需要在這兩個(gè)指標(biāo)之間達(dá)到一個(gè)平衡。
測(cè)試同事需要關(guān)注特定領(lǐng)域內(nèi)每個(gè)類別的指標(biāo),比如針對(duì)識(shí)別人臉的表情,里面有喜怒哀樂(lè)等分類,每一個(gè)分類對(duì)應(yīng)的指標(biāo)都是不一樣的。測(cè)試同事需要將測(cè)試的結(jié)果完善地反饋給算法同事,算法同事才能找準(zhǔn)模型效果欠缺的原因。同時(shí),測(cè)試同事將本次模型的指標(biāo)結(jié)果反饋給產(chǎn)品,由產(chǎn)品評(píng)估是否滿足上線需求。
4、產(chǎn)品評(píng)估
“評(píng)估模型是否滿足上線需求”是產(chǎn)品必須關(guān)注的,一旦上線會(huì)影響到客戶的使用感。
因此,在模型上線之前,產(chǎn)品需反復(fù)驗(yàn)證模型效果。為了用數(shù)據(jù)對(duì)比本模型和上一個(gè)模型的優(yōu)劣,需要每次都記錄好指標(biāo)數(shù)據(jù)。
假設(shè)本次模型主要是為了優(yōu)化領(lǐng)域內(nèi)其中一類的指標(biāo),在關(guān)注目的的同時(shí),產(chǎn)品還需同時(shí)注意檢測(cè)其他類別的效果,以免漏洞產(chǎn)生。
三、產(chǎn)品工作補(bǔ)充
產(chǎn)品經(jīng)理的工作,不止是產(chǎn)品評(píng)估——除了流程控制,質(zhì)量評(píng)估,還有針對(duì)分類問(wèn)題,由產(chǎn)品經(jīng)理制定邊界;這是非常重要的,直接影響模型是否滿足市場(chǎng)需求。
產(chǎn)品制定分類規(guī)則:例如,目的是希望模型能夠識(shí)別紅色,那產(chǎn)品需要詳細(xì)描述“紅色”包含的顏色,暗紅色算紅色嗎?紫紅色算紅色嗎?紫紅色算是紅色還是紫色?這些非常細(xì)節(jié)的規(guī)則都需要產(chǎn)品設(shè)定。
如果分類細(xì),那么針對(duì)某一類的數(shù)據(jù)就會(huì)少。如果分類大,那么一些有歧義的數(shù)據(jù)就會(huì)被放進(jìn)該分類,也會(huì)影響模型效果。分類問(wèn)題和策略問(wèn)題道理是一樣的,都需要產(chǎn)品對(duì)需求了解得非常深刻。
以上內(nèi)容,都只是AI行業(yè)一個(gè)小領(lǐng)域內(nèi)可梳理的工作內(nèi)容。
總之,針對(duì)剛剛?cè)胄械呐笥?,如果沒(méi)有算法基礎(chǔ)、沒(méi)有工程基礎(chǔ),可考慮在流程、平臺(tái)等職責(zé)角度做過(guò)渡;在工作內(nèi)容中不斷總結(jié)學(xué)習(xí),往自己最終的方向目標(biāo)不斷前進(jìn)!
作者:黃釗hanniman,圖靈機(jī)器人-人才戰(zhàn)略官,前騰訊產(chǎn)品經(jīng)理,5年AI實(shí)戰(zhàn)經(jīng)驗(yàn),8年互聯(lián)網(wǎng)背景,微信公眾號(hào)/知乎/在行ID“hanniman”。
本文由 @Jasmine? 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自PEXELS,基于CC0協(xié)議
AI產(chǎn)品經(jīng)理到底干什么的,現(xiàn)在還沒(méi)搞清楚。請(qǐng)指教。
受益,謝謝,打賞,哈哈
把數(shù)據(jù)分析做到專家級(jí)··· 66666
AI產(chǎn)品哪里都要黃老師呀,厲害 ??
高等數(shù)學(xué)、線性代數(shù)、統(tǒng)計(jì)分析,都不是強(qiáng)項(xiàng),經(jīng)常遇到瓶頸