那些年搭建風(fēng)控體系所踩的坑后續(xù)

0 評論 5093 瀏覽 12 收藏 10 分鐘

編輯導(dǎo)讀:風(fēng)控流程方案設(shè)計會牽扯到多方系統(tǒng),需要考慮到各方因素,踩的坑自然也會多。上篇文章分享了搭建風(fēng)控體系在調(diào)研評估和埋點接入時所踩過的坑,這篇把之前在搭建過程中踩過的坑分享給大家,一起來看看吧。

01??風(fēng)控流程方案設(shè)計

風(fēng)控流程方案設(shè)計會牽扯到多方系統(tǒng),好的設(shè)計既考慮策略的優(yōu)、簡、易,同時能兼顧于各系統(tǒng)的耦合,也是風(fēng)控的重要環(huán)節(jié)之一,在設(shè)計過程中,須清楚如下兩點:

1. 大方向須結(jié)合自身“資源”

整個風(fēng)控體系搭建的方向是針對業(yè)務(wù)關(guān)注的某類或者某幾類風(fēng)險,在搭建過程中一方面需要從黑產(chǎn)情報中獲知其目前掌握的攻擊技術(shù)、作案手段以及工具資源,另一方面需要掌握現(xiàn)有業(yè)務(wù)系統(tǒng)所能支撐的資源情況,比如運營資源、數(shù)據(jù)資源、處置資源等等。筆者之前參與的一個風(fēng)控設(shè)計項目因為沒有深入了解業(yè)務(wù)側(cè)的實際資源情況,導(dǎo)致交稿方案中的名單落地因為業(yè)務(wù)方資源跟不上而被推翻。

2. 細(xì)節(jié)決定方案落地的成敗

每一個細(xì)節(jié)都務(wù)必與業(yè)務(wù)側(cè)以及開發(fā)側(cè)確認(rèn)!每一個細(xì)節(jié)都務(wù)必與業(yè)務(wù)側(cè)以及開發(fā)側(cè)確認(rèn)!每一個細(xì)節(jié)都務(wù)必與業(yè)務(wù)側(cè)以及開發(fā)側(cè)確認(rèn)!因為筆者花費最多時間的就在這個環(huán)節(jié),所以重要的事情說三遍。一個好的風(fēng)控體系可以理解為一個資源整合優(yōu)化的過程:全量的接入數(shù)據(jù),經(jīng)過復(fù)雜運算后,通過與各個系統(tǒng)間的耦合,將壞數(shù)據(jù)“篩選”出來。每一步都是環(huán)環(huán)相扣,承前啟后的,所以設(shè)計的時候要考慮好這一步與下一步的關(guān)聯(lián)以及對全局的影響。

筆者曾經(jīng)在一個風(fēng)控項目中在業(yè)務(wù)響應(yīng)側(cè)就出現(xiàn)過一個問題,由于沒有過細(xì)考慮過某些維度字段的實際落地細(xì)節(jié)問題,導(dǎo)致開發(fā)在接入的過程中發(fā)現(xiàn)由于業(yè)務(wù)前端本身對接系統(tǒng)太多,無法采集到這個字段,最終導(dǎo)致該字段無法落地到名單標(biāo)簽中,最終導(dǎo)致閉環(huán)系統(tǒng)里里缺了這個字段,后面為了解決這個事情讓項目耽誤了一段時間。

02??測試聯(lián)調(diào)

在這個環(huán)節(jié),業(yè)務(wù)方的開發(fā)人員已經(jīng)完成基本的數(shù)據(jù)采集以及接口開發(fā)工作,后面就進(jìn)入聯(lián)調(diào)校驗階段,筆者的日常工作中需要使用風(fēng)控引擎對接各個業(yè)務(wù)系統(tǒng),風(fēng)控引擎其本質(zhì)是將從各個業(yè)務(wù)端輸入進(jìn)來的數(shù)據(jù),經(jīng)過各類數(shù)據(jù)分析計算,最終輸出風(fēng)控處置結(jié)果(如下圖)。由于業(yè)務(wù)線復(fù)雜多變,每一次的需求變動,以及每個變量的修改/增減、規(guī)則調(diào)整、模型迭代優(yōu)化或者代碼的優(yōu)化,都有可能影響引擎性能,因此在每次搭建的測試聯(lián)調(diào)階段都需要確認(rèn)接入的數(shù)據(jù)是否滿足風(fēng)控需求。

在這個過程中,筆者之前踩過的坑有如下這些:

1. 驗證問題

風(fēng)控測試驗證不是說通過業(yè)務(wù)方的測試傳入幾個必傳參數(shù)就完事了,這里面有兩點須確認(rèn):數(shù)據(jù)、決策結(jié)果。

1)關(guān)于數(shù)據(jù)

如上圖所示,風(fēng)控接口一般會收到基礎(chǔ)用戶數(shù)據(jù)、業(yè)務(wù)參數(shù)數(shù)據(jù)、設(shè)備指紋采集數(shù)據(jù)、第三方的名單或者接口調(diào)用的數(shù)據(jù),在這個環(huán)節(jié)需要確認(rèn)數(shù)據(jù)的準(zhǔn)確度與一致性。筆者之前經(jīng)常在這個環(huán)節(jié)遇到問題,不同業(yè)務(wù)線的開發(fā)人員經(jīng)常會錯誤理解采集點或者經(jīng)常丟失,導(dǎo)致返回的參數(shù)始終無法命中風(fēng)控策略,需要反復(fù)多次的聯(lián)調(diào)驗證,因為這個環(huán)節(jié)的數(shù)據(jù)將決定生產(chǎn)環(huán)境的上線結(jié)果,因此這一步需要格外重視。

此外,如果有客戶端測試環(huán)境,建議通過該環(huán)境的操作確認(rèn)風(fēng)控埋點位置是否都有采集,這一步做的目的也是為了精準(zhǔn)確認(rèn)數(shù)據(jù)的采集情況。

2)關(guān)于決策結(jié)果

如上圖所示,風(fēng)控引擎接收到測試數(shù)據(jù)后,通過模型及規(guī)則的一系列復(fù)雜計算,最終輸出決策結(jié)果,因為決策引擎只輸出一個風(fēng)險評價數(shù)據(jù),真正影響到業(yè)務(wù)的是處置階段,這個環(huán)節(jié)重的點是驗證決策結(jié)果的準(zhǔn)確度。決策結(jié)果的準(zhǔn)確度主要指按照約定好的模型和規(guī)則是否可以準(zhǔn)確響應(yīng),反映準(zhǔn)確度的評價標(biāo)準(zhǔn)一般可包含覆蓋率、交叉率、誤傷率、準(zhǔn)確率、WOE、IV值、ROC、KS等,分析完成后,最后根據(jù)分析的測試結(jié)果,可輸出決策評估報告給業(yè)務(wù)方。

筆者在這一步主要遇到的問題是在做策略時沒有深入了解一線業(yè)務(wù)的真實情況,或者業(yè)務(wù)方自己也忽視了這些情況,這就導(dǎo)致經(jīng)常從數(shù)據(jù)分析角度看用戶是有問題的,但實際上這些異常是有合理的業(yè)務(wù)解釋的,所以對于決策結(jié)果準(zhǔn)確度上,除了要具備嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)分析能力以外,還需要緊密的業(yè)務(wù)合作。

2. 響應(yīng)問題

這里筆者想講的響應(yīng)問題包含兩點:性能響應(yīng)與業(yè)務(wù)響應(yīng),前者是通過相關(guān)指標(biāo)的監(jiān)控驗證系統(tǒng)間對接后的性能的響應(yīng)問題,后者是通過客戶端的展示驗證是否與背后的風(fēng)控處置結(jié)果一致。

1)關(guān)于性能響應(yīng)

業(yè)務(wù)側(cè)通常需要“零感知”的風(fēng)控效果,因此對風(fēng)控系統(tǒng)通常有明顯的調(diào)用時長(RT)限制,此外,對于體量較大的業(yè)務(wù)方還會對QPS、TPS等有明確要求,因此在測試聯(lián)調(diào)階段,也需要考慮增加對此類指標(biāo)的監(jiān)控。

筆者之前遇到的問題主要來自于響應(yīng)時長問題,不同業(yè)務(wù)方對響應(yīng)時長的級別不同,對于那些RT可以滿足的風(fēng)控接入,如果需要極短的響應(yīng)時間,可考慮使用輕量級的接入,因此在測試階段重點關(guān)注該數(shù)據(jù)是否達(dá)標(biāo)。如果RT不能滿足的風(fēng)控接入,可通過異步接口調(diào)用,同樣也要驗證RT是否達(dá)標(biāo)。

2)關(guān)于業(yè)務(wù)響應(yīng)

風(fēng)控決策結(jié)果輸出之后,業(yè)務(wù)側(cè)需要按照預(yù)期設(shè)計好的邏輯響應(yīng)落地,在這個環(huán)節(jié)需要驗證的是:每一個風(fēng)控結(jié)果的輸出都有對應(yīng)的業(yè)務(wù)處置落地,并且客戶端也有對應(yīng)的響應(yīng)話術(shù),以及正確的事后閉環(huán) 。展開來說,每個決策結(jié)果跟業(yè)務(wù)現(xiàn)有的處置手段都存在映射關(guān)系,不存在有冗余的決策結(jié)果或者處置手段,且每個處置手段都在客戶端有相應(yīng)的響應(yīng)動作,最后,每個需要有處置手段的數(shù)據(jù)都可以將關(guān)鍵的風(fēng)控維度落地,并多次使用。

筆者有一次因為在這個環(huán)節(jié)因為缺乏經(jīng)驗,設(shè)計了繁冗復(fù)雜的落地方案,結(jié)果在測試驗證的時候發(fā)現(xiàn)業(yè)務(wù)方并沒有做好客戶端的相關(guān)改造,結(jié)果導(dǎo)致在改造完成之前先用臨時的急救方案替代正式的方案。

好了,以上就是我在風(fēng)控領(lǐng)域搭建時遇到的坑以及總結(jié)的經(jīng)驗,希望這些能夠幫助到大家今后的工作。

 

作者:小瑪,某金融公司風(fēng)控分析師一枚,專注風(fēng)控多年,持續(xù)更新風(fēng)控系列文章,“數(shù)據(jù)人創(chuàng)作者聯(lián)盟”成員。

本文由@一個數(shù)據(jù)人的自留地 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議

作者:薄荷點點,“數(shù)據(jù)人創(chuàng)作者聯(lián)盟”成員。

本文由@一個數(shù)據(jù)人的自留地 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于CC0協(xié)議。

該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!