1. 程式人生 > >基於大資料分析的安全管理平臺技術研究及應用

基於大資料分析的安全管理平臺技術研究及應用

http://www.venustech.com.cn/NewsInfo/531/25566.Html

【內容摘要】本文首先通過介紹大資料的起因,給出了大資料的定義和特徵描述,並簡要說明了當前大資料的研究概況。接下來,本文闡釋了大資料分析技術,對大資料在資訊保安領域尤其是安全管理平臺領域的應用做了深入分析,並給出了基於大資料安全分析技術的安全管理平臺的基本特徵。最後,針對啟明星辰推出的基於大資料安全分析技術的泰合新一代安全管理平臺從5V角度進行了深入介紹,並強調了安全分析師的關鍵作用。

無所不在的大資料

毫無疑問,我們已經進入了大資料(Big Data)時代。人類的生產生活每天都在產生大量的資料,並且產生的速度越來越快。根據IDC和EMC的聯合調查,到2020年全球資料總量將達到40ZB。

 
什麼是大資料?大資料早就存在,只是一直沒有足夠的基礎實施和技術來對這些資料進行有價值的挖據。隨著儲存成本的不斷下降、以及分析技術的不斷進步,尤其是雲端計算的出現,不少公司已經發現了大資料的巨大價值:它們能揭示其他手段所看不到的新變化趨勢,包括需求、供給和顧客習慣等等。比如,銀行可以以此對自己的客戶有更深入的瞭解,提供更有個性的定製化服務;銀行和保險公司可以發現詐騙和騙保;零售企業更精確探知顧客需求變化,為不同的細分客戶群體提供更有針對性的選擇;製藥企業可以以此為依據開發新葯,詳細追蹤藥物療效,並監測潛在的副作用;安全公司則可以識別更具隱蔽性的攻擊、入侵和違規。
 

《華爾街日報》將大資料時代、智慧化生產和無線網路革命稱為引領未來繁榮的三大技術變革。麥肯錫公司的報告指出資料是一種生產資料,大資料是下一個創新、競爭、生產力提高的前沿。世界經濟論壇的報告認定大資料為新財富,價值堪比石油。

不論從技術、還是商業角度,大資料都成為當下絕對的熱點。2013年,Gartner將大資料列為未來資訊架構發展的10大趨勢之首。Gartner預測將在2011年到2016年間累計創造2320億美元的產值。

大資料的定義


如何定義大資料?《大資料的衝擊》一書將大資料通俗定義為“用現有的一般技術難以管理的大量資料的集合”,並廣義地定義為“一個綜合性概念,它包括因具備3V(海量/高速/多樣,Volume / Variety/Velocity)特徵而難以進行管理的資料,對這些資料進行儲存、處理、分析的技術,以及能夠通過分析這些資料獲得實用意義和觀點的人才和組織。”


Gartner將大資料定義為“海量、高速、多變的資訊資產,需要對它進行經濟的、創新性的資訊處理從而獲得超越以往的洞察力、決策支援能力和處理的自動化”(high volume, velocity and/or variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation)。


大資料的基本特徵

大資料的三個公認的基本特點是3V,即海量、高速和多變。海量是指資料容量越來越大;高速表示需要處理的速度和響應的時間越來越快,對系統的延時要求相當高;多變就要處理各種各樣型別的資料,包括結構化的、半結構化的、甚至是非結構化的資料。


IBM在上述三個特點基礎之上增加了一個V(Veracity),即“真實性”、“準確性”。IBM認為只有真實而準確的資料才能讓對資料的管控和治理真正有意義。


此外,業界還有人總結出其它的大資料特點,例如低價值密度(Value)、存活性(Viability),等等。低價值密度是指大資料中真正有意義的資訊含量比重低;存活性是指特定情況下的大資料具有很強的時效性。

大資料的研究概況

在IT領域,大資料也是最熱門的技術領域之一。Gartner在2012年繪製的Hype Cycle曲線展示出了當前大資料技術欣欣向榮的一番景象。

 


Gartner將大資料相關技術分為三個門類,分別是大資料支撐技術、大資料應用技術和針對新型資料進行分析的技術。

我國工程院院士鄔賀銓將大資料技術從所面臨的挑戰的角度分為四個方面,分別是資料收集、資料儲存、資料處理和資料視覺化。

微軟張亞勤將大資料劃分為三個層次,分別是資料的管理、資料的擴充和資料的呈現。

IBM的Stephen Watt給出了一個大資料生態系統的模型,將大資料技術劃分為7個部分,包括資料產生、資料儲存、資料處理、資料分享、資料檢索、資料分析、資料視覺化,如下圖:

 
大資料需要資料分析師

以上所有針對大資料的定義和特點的闡述,都缺少一個重要的大資料組成要素——資料分析師(或者稱為資料科學家,Data Scientist)。在當前技術條件下,大資料分析的結果要想獲得最大程度的價值發揮需要藉助專業的資料分析人員。


Natahn Yau首先提出“資料科學家就是能夠從大型資料集中析取出資料,並提供某些可供非資料專家使用的東西的人”。《福布斯》雜誌認為“資料科學家就是採用科學方法、運用資料探勘工具尋找新的資料洞察的工程師”。《哈佛商業評論》將資料科學家列為二十一世紀最性感的職業。


這表明,大資料技術要發揮作用仍然需要人的參與,並且是專業的資料分析師的參與。

大資料安全分析

大資料分析的定義

大資料技術的核心就是大資料分析(Big Data Analysis)。一般地,人們將大資料分析定義為一組能夠高效儲存和處理海量資料、並有效達成多種分析目標的工具及技術的集合。


Gartner將大資料分析定義為追求顯露模式檢測和發散模式檢測,以及強化對過去未連線資產的使用的實踐和方法(the practices and technology used to pursue emerging and divergent pattern detection as well as enhance the use of previously disconnected information assets),意即一套針對大資料進行知識發現的方法。


通俗地講,大資料分析技術就是大資料的收集、儲存、分析和視覺化的技術,是一套能夠解決大資料的4V(海量、高速、多變、低密度)問題,分析出高價值的資訊的工具集合。


大資料分析的基本技術支撐


從技術支撐架構的角度來看,大資料分析是一個軟體技術框架(Framework),主要包括以下能力:


1) 能夠處理特別巨大的資料集(Volume)
2) 提供極快的資料插入操作(Velocity)
3) 能夠操作多種資料型別(Variety)
4) 要支援實時資料分析和歷史資料分析
5) 提供多種資料分析方法/模型
6) 使用分散式並行處理機制(Volume & Velocity)


其中,大資料分析基本的特徵就是這個軟體技術框架應該具有一個分散式開發框架。這個分散式開發框架可以是開源的Hadoop,或者其它具有相似分散式平行計算能力的框架,能夠實現Map/Reduce計算,能夠實現分散式計算節點的統一排程和彈性部署。基於這個分散式開發框架,實現海量資料的分散式採集、分散式儲存、分散式分析計算。


大資料分析的另一個技術支撐是海量資料的儲存技術。面對海量的資料,傳統的關係型資料庫已然無法滿足需要,需要進行改進或者革新。大資料分析系統的軟體技術框架必然會使用某種分散式資料庫技術或者NoSQL(非關係型資料庫)技術。


此外,一個實用的大資料分析系統一般都要同時具備實時資料分析與歷史資料分析能力。要獲得歷史資料分析能力,通常就是藉助分散式開發框架的Map/Reduce批處理計算來實現。當然,有的大資料歷史分析系統還具備互動式計算能力(例如Google Dremel),實現快速查詢。而要獲得實時資料分析能力,分散式開發框架及其Map/Reduce計算模型就顯得力不從心了。這時候需要一個實時的流資料處理引擎,通常是採用CEP(Complex Event Processing,複雜事件處理)或者ESP(Event Stream Processing,事件流處理)技術的流資料處理引擎。


綜上所述,從開發者的角度來看,大資料分析的底層技術支撐包括三個:


1) 分散式計算框架(例如Hadoop,或者其他具有Map/Reduce機制的計算框架)
2) 分散式儲存機制(例如分散式資料庫、HDFS、NoSQL)
3) 流式計算框架(例如CEP、ESP)


從大資料分析到大資料安全分析

當前網路與資訊保安領域,正在面臨多種挑戰。一方面,企業和組織安全體系架構日趨複雜,各種型別的安全資料越來越多,傳統的分析能力明顯力不從心;另一方面,新型威脅的興起,內控與合規的深入,傳統的分析方法存在諸多缺陷,越來越需要分析更多的安全資訊、並且要更加快速的做出判定和響應。資訊保安也面臨大資料帶來的挑戰。
安全資料的大資料化主要體現在以下三個方面:


1) 資料量越來越大:網路已經從千兆邁向了萬兆,網路安全裝置要分析的資料包資料量急劇上升。同時,隨著NGFW的出現,安全閘道器要進行應用層協議的分析,分析的資料量更是大增。與此同時,隨著安全防禦的縱深化,安全監測的內容不斷細化,除了傳統的攻擊監測,還出現了合規監測、應用監測、使用者行為監測、效能檢測、事務監測,等等,這些都意味著要監測和分析比以往更多的資料。此外,隨著APT等新型威脅的興起,全包捕獲技術逐步應用,海量資料處理問題也日益凸顯。
2) 速度越來越快:對於網路裝置而言,包處理和轉發的速度需要更快;對於安管平臺、事件分析平臺而言,資料來源的事件傳送速率(EPS,Event per Second,事件數每秒)越來越快。
3) 種類越來越多:除了資料包、日誌、資產資料,還加入了漏洞資訊、配置資訊、身份與訪問資訊、使用者行為資訊、應用資訊、業務資訊、外部情報資訊等。
於是,業界出現了將大資料分析技術應用於資訊保安的技術——大資料安全分析 (Big Data Security Analysis,簡稱BDSA),也有人稱做大安全資料分析(Big Security Data Analysis)。兩者儘管表述有差異,但內涵一致。前者強調基於大資料技術的安全分析,分析安全問題;後者強調大資料分析的物件是安全資料。


在網路安全領域,大資料安全分析將包括以下幾個應用領域:


1) 安全事件管理和安全管理平臺:這將是大資料安全分析的核心應用,也被稱作安全分析平臺(Security Analytics Platform),後文將詳述。
2) APT檢測,包括全包捕獲技術
3) 0day惡意程式碼分析,包括沙箱技術
4) 網路取證分析
5) 網路異常流量檢測
6) 大規模使用者行為分析
7) 安全情報分析
8) 信譽服務
9) 程式碼安全分析


2012年3月,Gartner發表了一份題為《Information Security Is Becoming a Big Data Analytics Problem》的報告,表示資訊保安問題正在變成一個大資料分析問題,大規模的安全資料需要被有效地關聯、分析和挖掘,並預測未來將出現安全分析平臺,以及部分企業在未來五年將出現一個新的崗位——“安全分析師”或“安全資料分析師”。


 
對於大資料安全分析而言,最關鍵的不在於大資料本身,而在於對這些資料的分析方法。大資料安全分析可以用到大資料分析的所有普適性的方法和技術,但當應用到網路安全領域的時候,還必須考慮到安全資料自身的特點和安全分析的目標,這樣大資料安全分析的應用才更有價值。例如,在進行異常行為分析,或者惡意程式碼分析和APT攻擊分析的時候,分析模型才是最重要的。其次,才是考慮如何利用大資料分析技術(例如平行計算、實時計算、分散式計算)來實現這個分析模型。

基於大資料分析技術的安全管理平臺

安全管理平臺呼喚大資料分析

在所有網路安全領域中,大資料分析對安全管理平臺(SOC平臺)及安全資訊與事件分析(SIEM)系統的影響最為深遠。這也是與它們先天的大資料分析特質密切相關的。
安全管理平臺,有的也稱作SOC(Security Operations Center,安全運營中心)平臺,一般是指以資產為核心,以安全事件管理為關鍵流程,採用安全域劃分的思想,建立一套實時的資產風險模型,協助管理員進行事件分析、風險分析、預警管理和應急響應處理的集中安全管理系統。


安全管理平臺的核心之一便是安全資訊與事件管理,也稱作SIEM(Security Information and Event Management)系統。通常,SIEM為來自企業和組織中所有IT資源(包括網路、系統和應用)產生的安全資訊(包括日誌、告警等)進行統一的實時監控、歷史分析,對來自外部的入侵和內部的違規、誤操作行為進行監控、審計分析、調查取證、出具各種報表報告,實現IT資源合規性管理的目標,同時提升企業和組織的安全運營、威脅管理和應急響應能力。


下圖顯示了一個典型的SIEM系統的結構圖:

 
由圖可知,一般的SIEM系統都具有安全事件(日誌)的採集、範化、儲存、分析、展示等幾個過程,而這與大資料分析的收集、儲存、分析和視覺化過程是完全相同的。因此,SIEM天然具有應用大資料分析技術的特質。


安全管理平臺是在SIEM系統的基礎上,對採集的資料進行了大規模的擴充,並增加了分析模型,實現了基於風險的資產和業務的集中安全管理。下圖顯示了一個典型安全管理平臺的結構圖:
 

 


如上圖所示,安全管理平臺的核心是多樣化的安全要素資訊採集與儲存、多種安全分析與展示。而這與大資料分析的特徵也是完全吻合的。


當前,安全管理平臺的一個重要發展趨勢就是採集的安全資料種類越來越多,不僅包括傳統的資產資訊、事件資訊,還納入了漏洞資訊、效能資訊、流量資訊、配置資訊、業務資訊等等。與此同時,安全資料的產生速率和總量也急速增長。大型企業越來越傾向於採用集中化的安全管理平臺構建模式,單一管理平臺就要管理全網的安全資訊,安全事件產生的速率達到上萬EPS,甚至是上10萬EPS,每天儲存的事件量則達到上百GB,甚至是上TB。另一方面,使用者需要安全管理平臺提供更加精準的安全分析研判和問題定位,更加快速的安全應急響應與處置,對安全分析的準確性和分析結論價值度的要求越來越高。這一切都促使安全管理平臺的技術開發者求助於大資料分析技術。


大資料安全分析首選安全管理平臺


SANS在2013年9月份釋出的《安全分析調查》報告顯示,客戶進行大資料安全分析的時候,首選的是日誌管理、SIEM等安全管理平臺類系統。並且,超過60%的受訪客戶表示未來實現安全分析目標的首要投資物件是SIEM。


 
由此可見,目前來說,在所有大資料安全分析的應用領域中,SIEM及其安全管理平臺是最重要的。


應該說,大資料分析技術並不能保證安全管理平臺能夠應對上述挑戰,但卻給安全管理平臺應對這些挑戰提供了全新的技術思路和發展模式。當安全管理平臺遇上大資料分析,讓使用者和開發者看到了安全管理平臺未來技術發展的一個全新方向。


基於大資料安全分析技術的安全管理平臺基本特徵


基於大資料安全分析技術的安全管理平臺具有以下顯著特徵:


1) Velocity:高速日誌採集能力、高速事件分析能力;
2) Variety:支援多種日誌源和日誌型別,並支援對半結構化(例如原始資料報文、郵件、WEB請求與響應)和非結構化資訊(例如可疑程式碼)的採集,具備異構資料間的關聯分析(即情境關聯)能力;
3) Volume:海量的事件儲存能力、海量資料分析能力;
4) valuablity:分析研判的結果是真正有價值的資訊、值得去關注的資訊,是可以用於輔助決策的資訊。這就意味著需要有效的資料分析方法和工具;
5) Visualization:安全分析結果的視覺化呈現能力。


必須至少同時滿足上述5V,才能將一個安全管理平臺稱為基於大資料安全分析技術的安全管理平臺。

泰合新一代安全管理平臺介紹

為了應對大資料的挑戰,以及客戶日益複雜的安全管理需求,啟明星辰在10年該領域積累的基礎上推出了基於大資料安全分析技術的泰合新一代安全管理平臺(NGSOC)。
泰合NGSOC以IT資產為基礎,以業務資訊系統為核心,以使用者體驗為指引,從監控、審計、風險、運維四個維度建立一套可度量的統一業務支撐平臺,使得各種使用者能夠對業務資訊系統進行可用性、效能與服務水平監控,配置及事件分析、審計、預警與響應,風險及態勢的度量與評估,標準化、例行化、常態化的安全流程管控,通過面向業務的主動化、智慧化安全管理,最終實現業務資訊系統的持續安全運營。


泰合NGSOC全面擁抱大資料時代,採用新一代的基於超微核心的技術架構,融合了多種大資料分析的技術,具有高速資料採集與分析、海量事件儲存與分析、異構資訊採集與關聯、多種安全分析工具、豐富資料視覺化呈現的特點,是國內第一款基於大資料安全分析技術的安全管理平臺。


僅以安全管理平臺中的事件管理子系統為例,為了應對海量事件管理帶來的挑戰,泰合新一代安全管理平臺採用了國內領先的基於大資料分析的高效能事件採集、分析與儲存架構。

 

泰合新一代安全管理平臺採取了多種大資料分析技術使得系統在事件採集、分析和儲存三個方面獲得了本質的效能提升,如下表所示:

關鍵點 採用的先進技術 達到的技術效果 使用者價值和作用
日誌採集 非同步通訊、快取記憶體、日誌正規化化流水線技術 能夠對海量異構日誌進行持續不斷地高速採集 能夠採集網路中大規模管理物件的日誌
日誌儲存 高速日誌儲存、分散式資料儲存技術 TB級日誌儲存 儲存長時間的日誌資訊,滿足合規的要求
日誌分析 實時分析 記憶體實時計算、複雜事件處理(Complex Event Process,簡稱CEP)技術 實時地對日誌進行監視和關聯分析 及時發現安全異常,快速關聯出安全隱患
查詢分析 全文檢索、分散式查詢技術 能夠快速的從TB級的日誌資訊中返回查詢結果 快速從海量日誌中進行定點查詢
統計分析 資料抽取、資料聚合等技術 能夠實現對TB級日誌的快速報表生成 快速生成各類安全日報、週報、月報等


以下分別從基於大資料安全分析技術的安全管理平臺的5V特徵分別加以闡釋。


事件高速採集(Velocity)


針對單一的事件採集器,藉助非同步非阻塞的事件採集技術和利用多核CPU的並行流水線技術實現快速的異構事件採集。

同時,系統具備分散式採集技術,即通過部署多個事件採集器,進行分散式事件採集,進一步提升總的事件採集速率。

異構事件源採集(Variety)

系統支援通過多種協議方式(包括Syslog、SNMP Trap、FTP、OPSEC LEA、NETBIOS、ODBC、WMI、Shell指令碼、Web Service等)對各種型別的網路裝置、安全裝置、主機、儲存、資料庫、中介軟體、應用系統等的日誌和告警資訊進行統一的採集,並能夠對這些異構的事件進行資訊標準化和事件分類,將各種不同表達方式的日誌轉換成統一的描述形式。


海量事件儲存與海量事件分析(Volume)


這裡體現出了大資料分析的核心技術。泰合新一代安全管理平臺運用自主研發的分散式儲存技術、分散式計算技術和流式計算技術實現了海量事件的儲存與分析。

分散式事件儲存技術
系統採用了分散式事件儲存架構,通過分散式事件儲存器實現了事件資料的並行寫入和分佈儲存,極大的提升了系統事件處理的吞吐量,為後續的大資料分析奠定了基礎。


 
如上圖所示,系統採用分塊的方式儲存事件。每天會將事件並行寫入多個分塊中,並且每天都會建立新的儲存塊。同時,在並行寫入的時候,系統通過優化的演算法確保事件被儘可能均勻的分佈在每個分塊上。

分散式事件查詢技術
系統內建了分散式事件查詢代理,使得上層應用的開發者不必瞭解事件分佈儲存的細節,使用統一的方式進行資料存取。

 
系統的分散式查詢代理相實現了一個Map/Reduce的計算框架,能夠將資料查詢請求分佈到不同的計算節點上並行進行,並最終裝配每個節點的計算結果,統一返回給請求者。

基於流資料的實時事件分析技術
系統採用了基於CEP的流式計算框架,實現了對安全事件的實時動態分析。
 

上圖展示了系統的規則關聯分析引擎的基本架構。系統將所有的關聯規則都預編譯為CQL(Continuous Query Language,持續查詢語言),送入自主研發的CEP引擎,對事件流進行模式匹配。模式匹配模型採用不確定有限狀態機(Nondeterministic Finite Automata,NFA),並參考了RETE演算法實現。

價值分析(Value)

這裡的價值分析就是指如何從海量的安全事件中通過多種分析模型研判出真正有價值的安全資訊。系統內建了多種安全分析的工具,不僅有傳統的規則關聯,還有基於行為的關聯,以及面向大資料的安全分析工具。

安全事件關聯分析
事件關聯是指找出大量事件中存在的關係,並從這些大量事件中抽取出真正重要的少量事件。藉助先進的智慧事件關聯分析引擎,系統能夠實時不間斷地對所有正規化化後的日誌流進行安全事件關聯分析。系統為分析師提供了三種事件關聯分析技術,分別是:基於規則的關聯分析、基於情境的關聯分析和基於行為的關聯分析。


——基於規則的關聯分析
基於規則的關聯分析是指系統通過事件關聯引擎進行規則匹配,識別已知模式的攻擊和違規的過程,屬於最經典和傳統的一種關聯分析技術。


系統支援建立單事件規則和多事件規則,實現單事件關聯和多事件關聯:

單事件關聯:通過單事件關聯,系統可以對符合單一規則的事件流進行規則匹配;

多事件關聯:通過多事件關聯,系統可以對符合多個規則(稱作組合規則)的事件流進行復雜事件規則匹配。

——基於情境的關聯分析
基於情境(Context)的關聯分析是指將安全事件與當前網路和業務的實際執行環境進行關聯,透過更廣泛的資訊相關性分析,識別安全威脅。這種技術也被稱作“情境感知”(Context-Aware)。


系統支援多種基於情境的關聯分析:

基於資產的情境關聯:分析師可以將事件中的IP地址與資產名稱、資產價值、資產型別(包括自定義型別)、自定義資產標籤進行關聯;

基於弱點的情境關聯:將安全事件與該事件所針對的目標資產當前具有的漏洞資訊進行關聯,包括埠關聯和漏洞編號關聯;

基於網路告警的情境關聯:將安全事件與該事件所針對的目標資產(或發起的源資產)當前發生的告警資訊以及當前的網路告警資訊進行關聯;

基於拓撲的情境關聯:根據網路故障沿網路拓撲水平傳播的特性,通過對大量網路告警事件在拓撲空間中的分佈,以及傳播時間上的順序,自動進行網路根本故障源(Root Cause)診斷。

—— 基於行為的關聯分析
基於行為的事件關聯分析的定位在於使安全分析實現向基於異常檢測的主動分析模型逆轉,從而安管平臺的主流分析方式不再強依賴關聯引擎。

規則關聯分析依賴於專家經驗定義的攻擊簽名或已知的攻擊方法。高階威脅經常沒有簽名,並且確切的攻擊者行為也難以實現預測。事件行為分析是基於異常檢測的主動分析模式,它並不是基於靜態的關聯規則,而是建立被觀測物件正常基準行為,通過對實時活動與基準行為的對比來揭示可疑的攻擊活動。事件行為分析可以智慧發現隱藏的攻擊行為,加速確定沒有簽名的威脅,減少管理人員必須調查的事故數量。

系統支援兩種行為分析技術:

動態基線技術:採用了週期性基線分析的方法。週期性基線根據歷史資料計算得出,通常是一個單週期資料庫輪廓線。這條曲線由若干資料輪廓點組成。每個輪廓點代表一個取樣時點。一個新的實際測量值如果沒有超過基線範圍,則通過加權平均演算法更新舊的輪廓值。如果新的實際測量值超過基線範圍則丟棄,不參與新輪廓值計算。如此往復迴圈,基線始終處於動態變化中。

預測分析技術:採用了基於時間窗置信區間的檢測模型和方法。可以在實際執行中不斷自我調整和逼近,自動剔除歷史時間窗內的異常歷史資料,實現歷史時間窗資料與網路實際正常流量行為特徵的高度吻合,從而提高了對異常行為報警的準確性。 

地址熵態勢分析
資訊理論之父 C. E. Shannon 在 1948 年發表的論文《通訊的數學理論》(A Mathematical Theory of Communication)中, Shannon 指出,任何資訊都存在冗餘,冗餘大小與資訊中每個符號(數字、字母或單詞)的出現概率或者說不確定性有關。Shannon 借鑑了熱力學的概念,把資訊中排除了冗餘後的平均資訊量稱為“資訊熵”,並給出了計算資訊熵的數學表示式。 簡單地說,資訊熵就是系統有序化程度的一個度量。


系統通過對收集到的一段時間內的海量安全事件的報送IP地址進行熵值計算,得到這些安全事件報送IP聚合度的變化幅度,以此來刻畫這段時間內這些安全事件所屬網路的安全狀態,並預測下一步的整體安全走勢。


熱點事件分析

熱點分析技術是分析某些特定事件間潛在聯絡的一個有力工具,熱點是指如果某一區域內事件發生頻率顯著地高於或低於正常頻率,則這一特殊區域被定義為熱點,通常我們所關心的熱點是事件發生高度集中的小區域,在眾多的時空分析方法中,熱點分析是理解事件間隱含關係的有效工具。通過熱點分析,可以有效地對事件做出迴歸分析和前景預測,幫助研究人員得出科學的結論。


系統採用聚類演算法持續地從事件的源IP、目的IP、資產型別、事件等級、事件數目5個維度(向量)朝終端、網路和應用三個群組進行聚類運算,找到當前一段時間的事件熱點,從而實現對海量事件的實時巨集觀分析。


威脅態勢分析
威脅態勢分析,也稱作威脅KPI分析。系統通過對一組關鍵威脅指標的計算得到一個威脅指數,並以此隨時間描述出一條威脅指數曲線,從而表徵一段時間內、某個網路區域的網路安全威脅狀態及其發展趨勢。


系統建立了一套動態的多維威脅指標體系,通過帕累託分析法,協助管理員對當前的威脅成因進行辨別,實現對關鍵威脅因素從巨集觀到中觀,再到微觀的層層下鑽,直至定位到導致威脅態勢異常的關鍵安全事件。


資訊視覺化(Visualization)


泰合新一代安全管理平臺具有十分豐富的資訊視覺化呈現能力,涵蓋了安全管理的各種要素,包括資產、業務、事件、威脅、風險等。

視覺化型別 說明
資產視覺化 網路拓撲圖 系統能夠自動描繪出網路拓撲圖,展示IT資產之間的邏輯拓撲連線關係,並能夠自動進行多種拓撲佈局。通過網路拓撲圖,管理員可以對全網的資產進行視覺化的監控
機房機架圖 將客戶資產裝置根據實際機架擺放視覺化地展示出裝置的物理擺放。管理員透過機架檢視可以清楚地知道每個資產的位置
業務視覺化 業務拓撲圖 通過業務建模,構建業務拓撲圖,建立起構成業務支撐環境的資產物件的分佈和邏輯聯絡方便使用者瞭解和檢視此業務相關物件的實際狀況
事件視覺化 事件拓撲圖 可以對一段時間內的安全事件進行行為分析,通過生成一幅事件拓撲圖形象化地展示海量安全事件之間的關聯關係,從巨集觀的角度來協助定位安全問題
事件多維分析圖 可以通過平行座標軸顯示大量事件相對於事件屬性的聚合關係
事件全球IP定位地圖 對事件的源目的IP地址進行追蹤,並在世界地圖上標註出來
威脅視覺化 威脅分佈圖 將某個區域的威脅從認證授權與非法訪問、惡意程式碼、資訊洩露、攻擊入侵、裝置故障、違規與誤操作6個維度進行分類評估,並最終得到該區域的總體威脅度,以及視覺化地展示該區域的威脅成因圖
風險視覺化 風險矩陣圖 系統能夠形象地展示出安全域的風險矩陣,從可能性和影響性兩個角度標註安全域中風險的分佈情況,通過風險矩陣法,指導管理員進行風險分析,採取相應的風險處置對策


小結


大資料時代已經到來,我們創造的大資料正在改變人類生產生活的各個方面。資訊與網路安全作為保障IT數字資產的關鍵能力也正在被大資料所重新塑造。安全管理平臺,作為安全保障體系中位於頂層的技術支撐平臺,天然具有與大資料結合的特質。基於大資料安全分析技術的安全管理平臺正在成為未來安全管理平臺發展的重要技術方向。


同時,我們必須看到,不論安全管理平臺的技術如何發展,如何與大資料結合,安全管理平臺所要解決的客戶根本性問題,以及與客戶業務融合的趨勢依然未變。對大資料的應用依然要服務於解決客戶的實際安全管理問題這個根本目標。


目前來看,大資料分析技術有助於我們更好地去解決安全管理過程中的部分問題,但並不能解決所有的問題,同時還可能引入了新的問題。這是安全管理平臺的開發者、服務提供者和客戶都需要不斷摸索的。


此外,不論安全管理平臺技術如何發展,大資料分析給我們帶來了多大程度的資訊價值度提升,安全分析師始終是不可或缺的。正如大資料需要資料分析師,大資料安全更需要安全分析師。安全,本質上是人與人之間的對抗,不論安全分析的自動化技術如何演進,相互之間進行對抗的,始終是坐在螢幕前的人。