企業(yè)定期收集幾TB與安全相關(guān)的數(shù)據(jù)(比如網(wǎng)絡(luò)事件、軟件應(yīng)用程序事件，以及人員活動事件)， 用來作合規(guī)性和事后取證分析。據(jù)估計，不同規(guī)模的大型企業(yè)每天發(fā)生的事件在上百億到上千億之間。隨著企業(yè)啟用的事件記錄源越來越多，雇用的員工越來越多，部署的設(shè)備越來越多，運行的軟件越來越多，這些數(shù)值還會繼續(xù)增長。不幸的是，這種數(shù)據(jù)量和多樣性會迅速變成駱駝背上的稻草?，F(xiàn)有分析技術(shù)無法應(yīng)對大規(guī)模數(shù)據(jù)，通常都會產(chǎn)生很多誤報，因此功效被削弱了。隨著企業(yè)向云架構(gòu)遷移，并且收集的數(shù)據(jù)越來越多，這個問題進一步惡化了。

大數(shù)據(jù)分析—信息的大規(guī)模分析和處理—在幾個領(lǐng)域用的熱火朝天，并且最近這些年，因其承諾以前所未有的規(guī)模高效地分析和關(guān)聯(lián)與安全相關(guān)的數(shù)據(jù)，也引起了安全社區(qū)的興趣。然而，對安全而言，傳統(tǒng)數(shù)據(jù)分析和大數(shù)據(jù)分析之間的差異并不是那么直觀。畢竟信息安全社區(qū)十多年來一直在利用網(wǎng)絡(luò)流量、系統(tǒng)日志和其它信息源的分析甄別威脅，檢測惡意活動，而這些傳統(tǒng)方式跟大數(shù)據(jù)有何不同還不清楚。

為了解決這個問題，還有其它問題，云安全聯(lián)盟(CSA)在2012年成立了大數(shù)據(jù)工作組。這個工作組由來自業(yè)內(nèi)的和院校的志愿者組成，共同確定這一領(lǐng)域內(nèi)的原則、綱領(lǐng)及所面臨的挑戰(zhàn)。它最新的報告， “安全智能中的大數(shù)據(jù)分析”，重點探討了大數(shù)據(jù)在安全領(lǐng)域中的作用。在這份報告中，詳細闡述了利用大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的新工具的介入及廣泛使用如何改變了安全分析領(lǐng)域。它還羅列了一些跟傳統(tǒng)分析的基本差異，并指出了一些可能的研究方向。我們對這份報告中的一些關(guān)鍵點做了匯總。

大數(shù)據(jù)分析的進展

數(shù)據(jù)驅(qū)動的信息安全數(shù)據(jù)可以支撐銀行的欺詐檢測和基于異常的入侵監(jiān)測系統(tǒng)(IDSs)。盡管為了取證和入侵檢測，對日志、網(wǎng)絡(luò)流和系統(tǒng)事件進行分析已經(jīng)是信息安全社區(qū)面對了十多年的問題了，然而出于幾個原因，傳統(tǒng)技術(shù)有時候?qū)﹂L期的、大規(guī)模的分析支持力度不夠：首先是以前保留大量的數(shù)據(jù)在經(jīng)濟上不可行。因此在傳統(tǒng)的基礎(chǔ)設(shè)施中，大多數(shù)事件日志和其他記錄的計算機活動在一個固定的保留期（比如60天）后就被刪除了。其次，在那種不完整，還很嘈雜的大型、非結(jié)構(gòu)化數(shù)據(jù)集上執(zhí)行分析和復(fù)雜查詢的效率很低下。比如說，幾個流行的信息安全和事件管理(SIEM)工具都不支持對非結(jié)構(gòu)化數(shù)據(jù)的分析和管理，被嚴(yán)格限定在預(yù)定義的數(shù)據(jù)方案上。然而，因為大數(shù)據(jù)應(yīng)用程序可以有效地清理、準(zhǔn)備、查詢那些異構(gòu)的、不完整的、嘈雜格式的數(shù)據(jù)，所以它們也開始成為信息安全管理軟件的一部分。最后，大型數(shù)據(jù)倉庫的管理傳統(tǒng)上都很昂貴，并且它們的部署通常需要很強的業(yè)務(wù)案例。而Hadoop 框架和其它大數(shù)據(jù)工具現(xiàn)在將大規(guī)模的、可靠的集群部署商品化了，因此在數(shù)據(jù)處理和分析上出現(xiàn)了新的機會。

欺詐檢測是大數(shù)據(jù)分析中最顯眼的應(yīng)用：信用卡和電話公司開展欺詐檢測的歷史已經(jīng)有幾十年了；然而從經(jīng)濟角度來看，必須用定制的基礎(chǔ)設(shè)置來挖掘大數(shù)據(jù)做欺詐檢測并不適于大規(guī)模采用。大數(shù)據(jù)技術(shù)的一個主要影響是它們讓很多行業(yè)的企業(yè)能夠承擔(dān)構(gòu)建基礎(chǔ)設(shè)施來做安全監(jiān)測的開支。

特別是新的大數(shù)據(jù)技術(shù)，比如Hadoop生態(tài)圈 (包括 Pig、Hive、 Mahout 和RHadoop)、流挖掘、復(fù)雜事件處理和NoSQL數(shù)據(jù)庫—能夠以前所未有的規(guī)模和速度分析大規(guī)模的異構(gòu)數(shù)據(jù)集。這些技術(shù)通過促進安全信息的存儲、維護和分析改變著安全分析。比如說，WINE平臺1和Bot-Cloud2 允許使用MapReduce高效地處理數(shù)據(jù)做安全分析。通過觀察過去十年安全工具的反應(yīng)發(fā)生了什么樣的變化，我們可以找出其中的一些趨勢。當(dāng)IDS探測器的市場增長時，網(wǎng)絡(luò)監(jiān)測探測器和日志工具被部署到了企業(yè)網(wǎng)絡(luò)中；然而，管理這些分散的數(shù)據(jù)源發(fā)過來的警告變成了一個很有挑戰(zhàn)性的任務(wù)。結(jié)果安全廠商開始開發(fā)SIEMs ，致力于把警告信息和其它網(wǎng)絡(luò)統(tǒng)計數(shù)據(jù)整合并關(guān)聯(lián)起來，通過一個儀表板把所有信息呈現(xiàn)給安全分析人員。現(xiàn)在，大數(shù)據(jù)工具將更加分散數(shù)據(jù)源，時間范圍更長的數(shù)據(jù)關(guān)聯(lián)、整合和歸納整理起來交給安全分析人員，改進了安全分析人員可獲取的信息。

Zions Bancorporation最近給出的一個案例研究可以讓我們見到大數(shù)據(jù)工具的具體收益。它的研究發(fā)現(xiàn)，它所處理的數(shù)據(jù)質(zhì)量和分析的事件數(shù)量比傳統(tǒng)的SIEM（在一個月的數(shù)據(jù)負載中搜索要花20分鐘到一個小時的時間）多出很多。在它用Hive運行查詢的新Hadoop 系統(tǒng)中，相同的結(jié)果大概在一分鐘左右就出來了。3 采用驅(qū)動這一實現(xiàn)的安全數(shù)據(jù)倉庫，用戶不僅可以從防火墻和安全設(shè)備中挖掘有意義的安全信息，還能從網(wǎng)站流、業(yè)務(wù)流程和其他日常事務(wù)中挖掘。將非結(jié)構(gòu)化的數(shù)據(jù)和多種不同的數(shù)據(jù)集納入一個分析框架中是大數(shù)據(jù)的特性之一。大數(shù)據(jù)工具還特別適合用作高級持續(xù)性威脅（APT）的檢測和取證的基礎(chǔ)工具。4,5 APT的運行模式又低又慢（即執(zhí)行時不引人注意，而時間又很長）；因此，它們可能會持續(xù)很長時間，而受害者卻對入侵毫無所知。為了檢測這些攻擊，我們需要收集并關(guān)聯(lián)大量分散的數(shù)據(jù)（包括來自內(nèi)部數(shù)據(jù)源的數(shù)據(jù)和外部共享的智能數(shù)據(jù)），并執(zhí)行長期的歷史相關(guān)性風(fēng)險，以便納入網(wǎng)絡(luò)歷史上發(fā)生過的攻擊的后驗信息。

挑戰(zhàn)

盡管在處理安全問題上，大數(shù)據(jù)分析應(yīng)用程序的希望很顯著，但我們必須提出幾項挑戰(zhàn)，從而去認識到它真正的潛力。在行業(yè)中分享數(shù)據(jù)，隱私特別重要，并且要避免違背數(shù)據(jù)重用的隱私原則法規(guī)，也就是說只能將數(shù)據(jù)用于收集它的目的。直到最近，隱私在很大程度上還取決于www.computer.org/security 75在抽取、分析和關(guān)聯(lián)潛在敏感數(shù)據(jù)集能力上的技術(shù)局限性上。然而，大數(shù)據(jù)分析的發(fā)展為我們提供了抽取和關(guān)聯(lián)這種數(shù)據(jù)的工具，讓破壞隱私更容易了。因此，我們必須在了解隱私法規(guī)及推薦實踐的情況下開發(fā)大數(shù)據(jù)應(yīng)用程序。盡管在某些存在隱私法規(guī)的領(lǐng)域—比如說，在美國，美國聯(lián)邦通信委員跟電信公司的合作，健康保險隱私及責(zé)任法案指出的醫(yī)療數(shù)據(jù)，幾個州的公用事業(yè)委員會限制智能電網(wǎng)數(shù)據(jù)的使用，以及聯(lián)邦貿(mào)易委員會正在制定Web活動的指導(dǎo)方針—所有這些活動都擴大了系統(tǒng)的覆蓋范圍，并且在很多情況下都會有不同的解讀。即便有隱私法規(guī)在，我們也要懂得，那樣大規(guī)模的數(shù)據(jù)收集和存儲會吸引社會各界的關(guān)注，包括產(chǎn)業(yè)界（將我們的信息用在營銷和廣告上），政府（會強調(diào)這些數(shù)據(jù)對國家安全或法律執(zhí)行很有必要）和罪犯（喜歡盜取我們的身份）。因此，作為大數(shù)據(jù)應(yīng)用程序的架構(gòu)師和設(shè)計者，我們要積極主動地創(chuàng)造出保障措施，防止對這些大數(shù)據(jù)庫存的濫用。

另外一個挑戰(zhàn)是數(shù)據(jù)出處的問題。因為大數(shù)據(jù)讓我們可以擴充用于處理的數(shù)據(jù)源，所以很難判斷出哪個數(shù)據(jù)源符合我們的分析算法所要求的可信賴度，以便能生產(chǎn)出準(zhǔn)確的結(jié)果。因此，我們需要反思工具中所用數(shù)據(jù)的真實性和完整性。我們可以研究源自對抗性機器學(xué)習(xí)和穩(wěn)健統(tǒng)計的思路，找出并減輕惡意插入數(shù)據(jù)的影響。

這個特別的CSA報告聚焦于大數(shù)據(jù)分析在安全方面的應(yīng)用，但另一方面是用安全技術(shù)保護大數(shù)據(jù)。隨著大數(shù)據(jù)工具不斷被部署到企業(yè)系統(tǒng)中，我們不僅要利用傳統(tǒng)的安全機制（比如在Hadoop內(nèi)部集成傳輸層安全協(xié)議），還要引入新工具，比如Apache的Accumulo，來處理大數(shù)據(jù)管理中獨有的安全問題。

最后，這個報告中還有一個沒有覆蓋到，但還需要進一步開發(fā)的領(lǐng)域，即人機交互，特別是可視化分析如何幫助安全分析人員解讀查詢結(jié)果?？梢暬治鍪峭ㄟ^交互式可視化界面促進推理分析能力的科學(xué)。跟為了高效計算和存儲而開發(fā)的技術(shù)機制相比，大數(shù)據(jù)中的人機交互受到的關(guān)注比較少，但它也是大數(shù)據(jù)分析達成“承諾”必不可少的基礎(chǔ)工具，因為它的目標(biāo)是通過最有效的展示方式將信息傳達給人類。大數(shù)據(jù)正在改變著用于網(wǎng)絡(luò)監(jiān)測、SIEM和取證的安全技術(shù)景觀。然而，在進攻和防守永遠不會停歇的軍備競賽中，大數(shù)據(jù)不是萬能的，安全研究人員必須不斷探索新的方式來遏制老練的攻擊者。大數(shù)據(jù)還會讓維持控制個人信息的泄漏變成持續(xù)不斷的挑戰(zhàn)。因此，我們需要付出更多的努力，用保護隱私的價值觀培育新一代的計算機科學(xué)家和工程師，并跟他們一起開發(fā)出設(shè)計大數(shù)據(jù)系統(tǒng)的工具，從而讓大數(shù)據(jù)系統(tǒng)能遵循普遍認可的隱私準(zhǔn)則。

來源：鈦媒體