企業(yè)定期收集幾TB與安全相關(guān)的數(shù)據(jù)(比如網(wǎng)絡(luò)事件、軟件應(yīng)用程序事件，以及人員活動(dòng)事件)， 用來(lái)作合規(guī)性和事后取證分析。據(jù)估計(jì)，不同規(guī)模的大型企業(yè)每天發(fā)生的事件在上百億到上千億之間。隨著企業(yè)啟用的事件記錄源越來(lái)越多，雇用的員工越來(lái)越多，部署的設(shè)備越來(lái)越多，運(yùn)行的軟件越來(lái)越多，這些數(shù)值還會(huì)繼續(xù)增長(zhǎng)。不幸的是，這種數(shù)據(jù)量和多樣性會(huì)迅速變成駱駝背上的稻草。現(xiàn)有分析技術(shù)無(wú)法應(yīng)對(duì)大規(guī)模數(shù)據(jù)，通常都會(huì)產(chǎn)生很多誤報(bào)，因此功效被削弱了。隨著企業(yè)向云架構(gòu)遷移，并且收集的數(shù)據(jù)越來(lái)越多，這個(gè)問(wèn)題進(jìn)一步惡化了。

大數(shù)據(jù)分析—信息的大規(guī)模分析和處理—在幾個(gè)領(lǐng)域用的熱火朝天，并且最近這些年，因其承諾以前所未有的規(guī)模高效地分析和關(guān)聯(lián)與安全相關(guān)的數(shù)據(jù)，也引起了安全社區(qū)的興趣。然而，對(duì)安全而言，傳統(tǒng)數(shù)據(jù)分析和大數(shù)據(jù)分析之間的差異并不是那么直觀。畢竟信息安全社區(qū)十多年來(lái)一直在利用網(wǎng)絡(luò)流量、系統(tǒng)日志和其它信息源的分析甄別威脅，檢測(cè)惡意活動(dòng)，而這些傳統(tǒng)方式跟大數(shù)據(jù)有何不同還不清楚。

為了解決這個(gè)問(wèn)題，還有其它問(wèn)題，云安全聯(lián)盟(CSA)在2012年成立了大數(shù)據(jù)工作組。這個(gè)工作組由來(lái)自業(yè)內(nèi)的和院校的志愿者組成，共同確定這一領(lǐng)域內(nèi)的原則、綱領(lǐng)及所面臨的挑戰(zhàn)。它最新的報(bào)告， “安全智能中的大數(shù)據(jù)分析”，重點(diǎn)探討了大數(shù)據(jù)在安全領(lǐng)域中的作用。在這份報(bào)告中，詳細(xì)闡述了利用大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的新工具的介入及廣泛使用如何改變了安全分析領(lǐng)域。它還羅列了一些跟傳統(tǒng)分析的基本差異，并指出了一些可能的研究方向。我們對(duì)這份報(bào)告中的一些關(guān)鍵點(diǎn)做了匯總。

大數(shù)據(jù)分析的進(jìn)展

數(shù)據(jù)驅(qū)動(dòng)的信息安全數(shù)據(jù)可以支撐銀行的欺詐檢測(cè)和基于異常的入侵監(jiān)測(cè)系統(tǒng)(IDSs)。盡管為了取證和入侵檢測(cè)，對(duì)日志、網(wǎng)絡(luò)流和系統(tǒng)事件進(jìn)行分析已經(jīng)是信息安全社區(qū)面對(duì)了十多年的問(wèn)題了，然而出于幾個(gè)原因，傳統(tǒng)技術(shù)有時(shí)候?qū)﹂L(zhǎng)期的、大規(guī)模的分析支持力度不夠：首先是以前保留大量的數(shù)據(jù)在經(jīng)濟(jì)上不可行。因此在傳統(tǒng)的基礎(chǔ)設(shè)施中，大多數(shù)事件日志和其他記錄的計(jì)算機(jī)活動(dòng)在一個(gè)固定的保留期（比如60天）后就被刪除了。其次，在那種不完整，還很嘈雜的大型、非結(jié)構(gòu)化數(shù)據(jù)集上執(zhí)行分析和復(fù)雜查詢的效率很低下。比如說(shuō)，幾個(gè)流行的信息安全和事件管理(SIEM)工具都不支持對(duì)非結(jié)構(gòu)化數(shù)據(jù)的分析和管理，被嚴(yán)格限定在預(yù)定義的數(shù)據(jù)方案上。然而，因?yàn)榇髷?shù)據(jù)應(yīng)用程序可以有效地清理、準(zhǔn)備、查詢那些異構(gòu)的、不完整的、嘈雜格式的數(shù)據(jù)，所以它們也開(kāi)始成為信息安全管理軟件的一部分。最后，大型數(shù)據(jù)倉(cāng)庫(kù)的管理傳統(tǒng)上都很昂貴，并且它們的部署通常需要很強(qiáng)的業(yè)務(wù)案例。而Hadoop 框架和其它大數(shù)據(jù)工具現(xiàn)在將大規(guī)模的、可靠的集群部署商品化了，因此在數(shù)據(jù)處理和分析上出現(xiàn)了新的機(jī)會(huì)。

欺詐檢測(cè)是大數(shù)據(jù)分析中最顯眼的應(yīng)用：信用卡和電話公司開(kāi)展欺詐檢測(cè)的歷史已經(jīng)有幾十年了；然而從經(jīng)濟(jì)角度來(lái)看，必須用定制的基礎(chǔ)設(shè)置來(lái)挖掘大數(shù)據(jù)做欺詐檢測(cè)并不適于大規(guī)模采用。大數(shù)據(jù)技術(shù)的一個(gè)主要影響是它們讓很多行業(yè)的企業(yè)能夠承擔(dān)構(gòu)建基礎(chǔ)設(shè)施來(lái)做安全監(jiān)測(cè)的開(kāi)支。

特別是新的大數(shù)據(jù)技術(shù)，比如Hadoop生態(tài)圈 (包括 Pig、Hive、 Mahout 和RHadoop)、流挖掘、復(fù)雜事件處理和NoSQL數(shù)據(jù)庫(kù)—能夠以前所未有的規(guī)模和速度分析大規(guī)模的異構(gòu)數(shù)據(jù)集。這些技術(shù)通過(guò)促進(jìn)安全信息的存儲(chǔ)、維護(hù)和分析改變著安全分析。比如說(shuō)，WINE平臺(tái)1和Bot-Cloud2 允許使用MapReduce高效地處理數(shù)據(jù)做安全分析。通過(guò)觀察過(guò)去十年安全工具的反應(yīng)發(fā)生了什么樣的變化，我們可以找出其中的一些趨勢(shì)。當(dāng)IDS探測(cè)器的市場(chǎng)增長(zhǎng)時(shí)，網(wǎng)絡(luò)監(jiān)測(cè)探測(cè)器和日志工具被部署到了企業(yè)網(wǎng)絡(luò)中；然而，管理這些分散的數(shù)據(jù)源發(fā)過(guò)來(lái)的警告變成了一個(gè)很有挑戰(zhàn)性的任務(wù)。結(jié)果安全廠商開(kāi)始開(kāi)發(fā)SIEMs ，致力于把警告信息和其它網(wǎng)絡(luò)統(tǒng)計(jì)數(shù)據(jù)整合并關(guān)聯(lián)起來(lái)，通過(guò)一個(gè)儀表板把所有信息呈現(xiàn)給安全分析人員?，F(xiàn)在，大數(shù)據(jù)工具將更加分散數(shù)據(jù)源，時(shí)間范圍更長(zhǎng)的數(shù)據(jù)關(guān)聯(lián)、整合和歸納整理起來(lái)交給安全分析人員，改進(jìn)了安全分析人員可獲取的信息。

Zions Bancorporation最近給出的一個(gè)案例研究可以讓我們見(jiàn)到大數(shù)據(jù)工具的具體收益。它的研究發(fā)現(xiàn)，它所處理的數(shù)據(jù)質(zhì)量和分析的事件數(shù)量比傳統(tǒng)的SIEM（在一個(gè)月的數(shù)據(jù)負(fù)載中搜索要花20分鐘到一個(gè)小時(shí)的時(shí)間）多出很多。在它用Hive運(yùn)行查詢的新Hadoop 系統(tǒng)中，相同的結(jié)果大概在一分鐘左右就出來(lái)了。3 采用驅(qū)動(dòng)這一實(shí)現(xiàn)的安全數(shù)據(jù)倉(cāng)庫(kù)，用戶不僅可以從防火墻和安全設(shè)備中挖掘有意義的安全信息，還能從網(wǎng)站流、業(yè)務(wù)流程和其他日常事務(wù)中挖掘。將非結(jié)構(gòu)化的數(shù)據(jù)和多種不同的數(shù)據(jù)集納入一個(gè)分析框架中是大數(shù)據(jù)的特性之一。大數(shù)據(jù)工具還特別適合用作高級(jí)持續(xù)性威脅（APT）的檢測(cè)和取證的基礎(chǔ)工具。4,5 APT的運(yùn)行模式又低又慢（即執(zhí)行時(shí)不引人注意，而時(shí)間又很長(zhǎng)）；因此，它們可能會(huì)持續(xù)很長(zhǎng)時(shí)間，而受害者卻對(duì)入侵毫無(wú)所知。為了檢測(cè)這些攻擊，我們需要收集并關(guān)聯(lián)大量分散的數(shù)據(jù)（包括來(lái)自內(nèi)部數(shù)據(jù)源的數(shù)據(jù)和外部共享的智能數(shù)據(jù)），并執(zhí)行長(zhǎng)期的歷史相關(guān)性風(fēng)險(xiǎn)，以便納入網(wǎng)絡(luò)歷史上發(fā)生過(guò)的攻擊的后驗(yàn)信息。

挑戰(zhàn)

盡管在處理安全問(wèn)題上，大數(shù)據(jù)分析應(yīng)用程序的希望很顯著，但我們必須提出幾項(xiàng)挑戰(zhàn)，從而去認(rèn)識(shí)到它真正的潛力。在行業(yè)中分享數(shù)據(jù)，隱私特別重要，并且要避免違背數(shù)據(jù)重用的隱私原則法規(guī)，也就是說(shuō)只能將數(shù)據(jù)用于收集它的目的。直到最近，隱私在很大程度上還取決于www.computer.org/security 75在抽取、分析和關(guān)聯(lián)潛在敏感數(shù)據(jù)集能力上的技術(shù)局限性上。然而，大數(shù)據(jù)分析的發(fā)展為我們提供了抽取和關(guān)聯(lián)這種數(shù)據(jù)的工具，讓破壞隱私更容易了。因此，我們必須在了解隱私法規(guī)及推薦實(shí)踐的情況下開(kāi)發(fā)大數(shù)據(jù)應(yīng)用程序。盡管在某些存在隱私法規(guī)的領(lǐng)域—比如說(shuō)，在美國(guó)，美國(guó)聯(lián)邦通信委員跟電信公司的合作，健康保險(xiǎn)隱私及責(zé)任法案指出的醫(yī)療數(shù)據(jù)，幾個(gè)州的公用事業(yè)委員會(huì)限制智能電網(wǎng)數(shù)據(jù)的使用，以及聯(lián)邦貿(mào)易委員會(huì)正在制定Web活動(dòng)的指導(dǎo)方針—所有這些活動(dòng)都擴(kuò)大了系統(tǒng)的覆蓋范圍，并且在很多情況下都會(huì)有不同的解讀。即便有隱私法規(guī)在，我們也要懂得，那樣大規(guī)模的數(shù)據(jù)收集和存儲(chǔ)會(huì)吸引社會(huì)各界的關(guān)注，包括產(chǎn)業(yè)界（將我們的信息用在營(yíng)銷和廣告上），政府（會(huì)強(qiáng)調(diào)這些數(shù)據(jù)對(duì)國(guó)家安全或法律執(zhí)行很有必要）和罪犯（喜歡盜取我們的身份）。因此，作為大數(shù)據(jù)應(yīng)用程序的架構(gòu)師和設(shè)計(jì)者，我們要積極主動(dòng)地創(chuàng)造出保障措施，防止對(duì)這些大數(shù)據(jù)庫(kù)存的濫用。

另外一個(gè)挑戰(zhàn)是數(shù)據(jù)出處的問(wèn)題。因?yàn)榇髷?shù)據(jù)讓我們可以擴(kuò)充用于處理的數(shù)據(jù)源，所以很難判斷出哪個(gè)數(shù)據(jù)源符合我們的分析算法所要求的可信賴度，以便能生產(chǎn)出準(zhǔn)確的結(jié)果。因此，我們需要反思工具中所用數(shù)據(jù)的真實(shí)性和完整性。我們可以研究源自對(duì)抗性機(jī)器學(xué)習(xí)和穩(wěn)健統(tǒng)計(jì)的思路，找出并減輕惡意插入數(shù)據(jù)的影響。

這個(gè)特別的CSA報(bào)告聚焦于大數(shù)據(jù)分析在安全方面的應(yīng)用，但另一方面是用安全技術(shù)保護(hù)大數(shù)據(jù)。隨著大數(shù)據(jù)工具不斷被部署到企業(yè)系統(tǒng)中，我們不僅要利用傳統(tǒng)的安全機(jī)制（比如在Hadoop內(nèi)部集成傳輸層安全協(xié)議），還要引入新工具，比如Apache的Accumulo，來(lái)處理大數(shù)據(jù)管理中獨(dú)有的安全問(wèn)題。

最后，這個(gè)報(bào)告中還有一個(gè)沒(méi)有覆蓋到，但還需要進(jìn)一步開(kāi)發(fā)的領(lǐng)域，即人機(jī)交互，特別是可視化分析如何幫助安全分析人員解讀查詢結(jié)果。可視化分析是通過(guò)交互式可視化界面促進(jìn)推理分析能力的科學(xué)。跟為了高效計(jì)算和存儲(chǔ)而開(kāi)發(fā)的技術(shù)機(jī)制相比，大數(shù)據(jù)中的人機(jī)交互受到的關(guān)注比較少，但它也是大數(shù)據(jù)分析達(dá)成“承諾”必不可少的基礎(chǔ)工具，因?yàn)樗哪繕?biāo)是通過(guò)最有效的展示方式將信息傳達(dá)給人類。大數(shù)據(jù)正在改變著用于網(wǎng)絡(luò)監(jiān)測(cè)、SIEM和取證的安全技術(shù)景觀。然而，在進(jìn)攻和防守永遠(yuǎn)不會(huì)停歇的軍備競(jìng)賽中，大數(shù)據(jù)不是萬(wàn)能的，安全研究人員必須不斷探索新的方式來(lái)遏制老練的攻擊者。大數(shù)據(jù)還會(huì)讓維持控制個(gè)人信息的泄漏變成持續(xù)不斷的挑戰(zhàn)。因此，我們需要付出更多的努力，用保護(hù)隱私的價(jià)值觀培育新一代的計(jì)算機(jī)科學(xué)家和工程師，并跟他們一起開(kāi)發(fā)出設(shè)計(jì)大數(shù)據(jù)系統(tǒng)的工具，從而讓大數(shù)據(jù)系統(tǒng)能遵循普遍認(rèn)可的隱私準(zhǔn)則。

來(lái)源：鈦媒體