1. 程式人生 > >線上公開課 | 教你如何自行搭建一個威脅感知大腦?

線上公開課 | 教你如何自行搭建一個威脅感知大腦?

那麼在雲上安全備受矚目的大環境下,雲態勢感知技術又如何為安全保駕護航呢?在未來又有著怎樣的發展趨勢呢?為此,京東雲產品研發部產品經理樑洋洋,專門為大家解讀了雲態勢感知的進化論。

 

01態勢感知出現的技術背景

雖然態勢感知是近幾年新有的安全名詞,但對於有安全背景的人來說,態勢感知並不陌生,它是跟SOC(安全操作中心)對標的產品。

在2010年之前,安全威脅不是特別多,主要還是集中在網路層面,所以當時的SOC產品還是停留在NOC(網路操作中心)基礎架構的階段。

當時比較出名的產品是Cisco-MARS產品,主要是把所有Cisco的交換機、路由器、防火牆、IDS、IPS資料都收集上來,然後放到MARS裡面來關聯分析,形成攻擊拓撲圖。這就是態勢感知最初始化的雛形,也就是把網路層面的安全資料收集到NOC的產品當中。在安全技術還未成熟的2010年,這個技術足以讓人眼前一亮。

由於安全威脅場景不斷變化,普通的NOC產品無法分析出APT攻擊,加上安全裝置和安全事件的突增,傳統的NOC已無法滿足需求,所以在2010年-2015年逐步興起SIEM/SOC平臺。SIEM是安全資訊和日誌管理平臺。可以把主機上的安全日誌包括登入日誌都蒐集上來儲存到SIEM裡,對分析攻擊場景有很大的幫助。

不過,國內的一些安全廠商對SOC輸出沒有標準,導致蒐集的日誌格式不統一,後面的關聯分析達不到使用者需求,最終80%的SOC的專案都以失敗告終。

那麼新的態勢感知相比SOC平臺有哪些不同呢?

首先是檢測引擎,安全探針要提升自身的檢測能力和準確性。主機層面通過在終端安裝EDR產品或者下一代防毒軟體,進行蒐集比較準確和簡單關聯的日誌,利於更好地檢測安全威脅。網路層面通過NTA(全量日誌分析產品)來匹配危機情報和沙箱等新技術進行分析。web層面也會有基於語義分析的WAF日誌,這樣收集對關聯分析起到很大作用,達到檢測層面的提升。

其次是大資料架構方面的提升。由於現有的SOC平臺用傳統的MySQL和Oracle來進行關聯分析,這種關聯分析的技術擴充套件性相對較差。所以隨著大資料技術的發展,蒐集的時候用Flume,儲存的時候用ES,在關聯分析的時候用Spark,達到大資料雲架構的改變。 最後是在雲上更有優勢。可以高度規劃實時的採集日誌,並且通過Kafka這種方式傳送到態勢感知的安全操作中心,這樣在以後的關聯分析時就佔有了主動權。基於這些因素,才讓態勢感知產品出現。

隨著技術的發展,態勢感知會繼續往下發展,下一個極端是基於安全運營的SOC,比上一代的威脅感知SOC多了基礎日誌收集豐富程度。通過智慧分析架構來做處理,例如機器學習、圖分析等技術。

 

02態勢感知技術的發展趨勢

態勢感知首先通過網路層面進行決策,通過蒐集了大約十款產品來進行調研分析,發現網路層面的能力主要有核心能力、擴充套件能力和增強安全運營能力。

態勢感知的核心能力包括持續抓包取證、流量/威脅視覺化、網路入侵檢測系統規則匹配、WebIDS規則匹配。擴充套件能力主要體現在威脅情報、動態行為檢測和機器學習自動檢測引擎,機器學習自動檢測引擎裡面又分為分類分析、聚類分類和KDE時序分析。

增強安全運營能力就是對安全實體進行分析,通過分析探針來檢視攻擊的使用者,比如SOAR、Kill-Chain、UEBR。而態勢感知在主機層面上的能力,除了有核心能力、擴充套件能力和增強安全運營能力外,還具有未知威脅檢測能力。

針對於雲上,態勢感知的核心能力主要是做雲工作的負載肩負,包括配置/漏洞管理、網路隔離防火牆流量視覺化、系統完整性測量認證和監控、應用程式控制、補充性記憶體和漏洞攻擊防護。

擴充套件能力中的行為監控HIDS/EDR能力是雲端主機層面防護軟體中最重要的,其它還包括靜態加密KMS、HIPS漏洞遮蔽、欺騙能力和反惡意軟體。增強安全運營能力包括工作負載外部的漏洞和配置評估、IAM/MFA、日誌管理和監控。未知威脅檢測能力需終端整合威脅情報、AI/沙箱雲查殺。

 

03京東雲態勢感知功能優勢

京東雲的態勢感知產品可幫助使用者進行大資料安全分析。最底層是基礎資料層,進行NetFlow蒐集、網路流量、DNS、HTTP/S日誌收集。第二層是威脅感知層,通過安全的探針檢測,包括DDoS/高防、全量日誌分析、NIDS、威脅情報匹配、機器學習異常檢測、沙箱、主機安全/EDR和漏洞掃描/蜜罐裡的資料都蒐集上來。

第三層是關聯分析層,包括實時針對性攻擊分析、APT攻擊分析、自動化編排研判、精準畫像UEBA和圖分析。針對性攻擊是在一分鐘之內發現了攻擊的關聯分析,而APT攻擊會把攻擊時間相對拉長,拉長成一小時或者一天的時間,給黑客足夠攻擊時間,便於檢測黑客攻擊的情況。

自動化編排研判是目前比較好的解決方案,由於黑客的攻擊手段千奇百怪,只能更細化排程的引擎,細化到每個功能點像積木一樣組合在一起,形成關聯鏈。通過關聯鏈更好的去分析、豐富查詢關聯分析的過程。

而UEBA主要是針對雲上的資料,以資料層面來進行切入,比如說OSS、RDS或使用者自建的資料庫對它進行監控,包括使用者對資料庫的訪問、物件儲存的訪問進行分析。底層的(OpenAPI)的訪問也都會進行關聯分析或機器學習分析。

圖分析是在主機層面檢測資訊、網路資訊、使用者資訊可以用圖的方式展現給使用者,可以挖掘出攻擊的路徑,是一種很好的分析手段。

第四層是威脅展示層,主要是通過告警事件、威脅事件、熱點事件、安全大坪、自動化攻擊溯源給使用者展示,降低使用者調查取證的時間,提升效率。

通過雲上日誌可以分析出更有價值的安全威脅以及安全問題。

底層基礎網路資訊是五元組、DNS、HTTP、LB資訊,在攻擊路徑的時候可能會通過NAT的轉換,轉換之後便不可查詢主機ID。同時,NAT資料可用於對資產進行再補齊。通過VPC Log獲取VPC裡資料流傳輸,還可以分析出橫向攻擊。

在主機基本資訊中,通過上傳的程序、埠、賬號、軟體、檔案、系統日誌,關聯出更有價值的資訊。比如說異常網路連線、肉雞行為、可移操作、敏感檔案篡改都可以進行分析。安全產品例如Anti-DDos、WAF、掃描器、HIDS、NIDS、資料庫審計、堡壘機都可以上傳。有利於分析DDoS攻擊、Web漏洞、SQL注入、病毒木馬等。

雲產品元件的雲產品基線,配置失敗可能引起的漏洞;還可以對OSS審計日誌、RDS審計日誌、OpenAPI日誌的風險訪問行為進行分析。還有人員資訊中de登入日誌和許可權日誌。這些都可以幫助態勢感知更好的進行分析。

 

04雲態勢感知技術攻擊鏈分析

攻擊鏈分析分簡單規則關聯分析和複雜規則關聯分析。

雲態勢感知技術的計算層採用Spark,這樣資料分析產生的警告會隨著時間流入到大資料處理引擎(Spark)裡,通過Spark裡的滑動視窗對所有輸入的資料流來分析。遭受到暴力破解併成功,第一個從網路的IDS會產生警告,接下來會有EDR告警,同時安裝系統後門。整個操作是連貫的,這便是簡單規則關聯分析。

那複雜規則關聯分析是什麼樣的呢?首先黑客會使用掃描叢集,掃描RDS埠進行暴力破解。如果未授權訪問上控制雲伺服器的基礎伺服器,便會將公鑰寫入基礎伺服器,之後就能自動化操作,比如說裝一些黑客工具、DDoS工具或挖礦、勒索工具。

惡意伺服器長時間掃描會被威脅情報檢測到伺服器的IP地址,然後態勢感知在本地檢測的時候會對這些IP進行掃描。在掃描暴力破解的時候,利用NIDS ET規則來進行檢測,接下來會用Redis弱口令/開啟認證,口令是弱口令或者沒有開啟認證,會產生告警事件。寫入C&C伺服器公鑰的時候會使用sshkey目錄,在動目錄的時候會產生一條非法檔案篡改的告警事件。

再往後會有反彈shell,可以對可疑連線或者是失陷主機主機進行檢測。在挖礦程式的時候我們會通過雲沙箱來進行檢測,DDoS也可以通過肉雞行為進行檢測。這樣對使用者每一步操作都形成了告警事件,然後把這些告警事件關聯在一起。這就是比較複雜的規則和時序分析的過程。

 

05雲態勢感知技術機器學習&深度學習分析

異常檢測是怎麼做的呢?這裡以DGA檢測為例。首先要把外部訓練資料導進來,有黑資料和白資料,然後把DNS的資料導進來進行特徵提取,再往下是用Spark訓練模型,訓練之後會把模型放在叢集裡面進行檢測,這樣就形成了DGA執行檢測的流程。

那麼模型做好之後怎麼用呢?

首先檢測通過兩條路,第一條路是NIDS的DNS流資料,通過程式補齊賬號之後發到Spark裡面進行特徵提取匹配,然後進行預測;第二條路是雲主機上,比如說自己設定了公網DNS解析的話,它傳送的資料也是通過DNS解析來進行補齊資產來進行實時檢測。

通過這兩個資料會把DGA預測做一下,之後把資料放在實時管理分析引擎中進行分析。分析之後才會把它放到ES topic裡面,給使用者看到最終的分析結果,這樣就實現了DGA域名檢測流程。

圖分析技術就是把所有的資料導到圖分析,通過圖的方式關聯出來,再通過圖的搜尋演算法檢測出來。例如下面這個真實的入侵案例;

首先通過挖礦程序發現其中有一臺伺服器(Test-001)已經高負載,檢視高負載CPU所定義的程序的時候,發現它是一個異常程序,所以進行告警。告警之後會進入到觀察列表裡,通過某個點找出挖礦程序的程式是怎麼執行起來的,又是怎麼進到伺服器裡的。

通過時間推移的方式,通過上下文關聯來進行檢測,關聯之後發現了一條命令列審計規則,也就是通過其中一個可疑程序來下載了挖礦的指令碼並且運行了。挖礦指令碼的副程序是使用者自己建立的一個Hadoop的程序,也就是Yarn程序。Yarn程序其實是Hadoop未授權訪問的RCE的漏洞。同時通過掃描器來進行掃描檢測這臺主機,發現這臺主機確實存在Hadoop RCE的漏洞,這便是自動化攻擊溯源,裡面的核心技術就是圖分析的技術。

目前京東雲態勢感知產品的應用場景一個是公有云市場,另一個是專有云市場。 專有云市場所對應的產品有態勢感知JDStack版本,是內嵌到專有云的雲租戶來進行檢測,它的使用者是對於裡面每一個租戶安全的檢測。還有一個是針對於雲平臺,或者針對與IDC傳統的安全管理場景提出產品叫態勢感知專有云的版本。

點選“京東雲”瞭解京東雲態勢感知產品


相關推薦

線上開課 | 如何自行搭建一個威脅感知大腦

那麼在雲上安全備受矚目的大環境下,雲態勢感知技術又如何為安全保駕護航呢?在未來又有著怎樣的發展趨勢呢?為此,京東雲產品研發

使用 Python 10分鐘 快速搭建一個部落格

10個優秀的程式設計師裡,有9個人都有寫部落格的習慣。這是非常好的習慣,它使得知識得以提煉,轉輸出為輸入,在提升自己的同時,還能利用網際網路易傳播的特性,將知識分享給每一個熱愛學習的人。               &n

使用 Python 30分鐘 快速搭建一個部落格

10個優秀的程式設計師裡,有9個人都有寫部落格的習慣。這是非常好的習慣,它使得知識得以提煉,轉輸

如何快速通過一個cmd命令啟動Oracle的兩個相關服務

安裝目錄 startup ice 11.2 start 服務 文件 我們 font 你安裝好了Oracle數據庫之後。 它都會默認開機自啟服務。 而我們為了節省電腦資源就把它給調為手動。 我們調為手動之後以後要用到Oracle數據庫就必須再去服務裏面一個一個去啟動。 這樣是

Qt學習: 如何打包一個Qt程序

軟件 window 編程 當我們用Qt寫好一個小程序,或者軟件之後,怎麽樣打包才能讓解壓包發給其他小夥伴,而且能夠正常運行呢?首先打開你寫的程序,選擇release,然後運行. 由於缺少dll文件,所以不能正常編譯運行. 我的電腦是win8.1,所以去這裏找到這個命令行.因為我使用VS2013的,

ZBrush快速搭建木橋技巧與方法介紹

ZBrush®作為一款優秀的3D圖形繪制軟件,幾乎可以雕刻任何你能想象到的人和物,只要你想得到,沒有它做不到的。木橋或者說腳手架在日常生活中扮演著很重要的角色,甚至在外面到處都可以看到它們,今天我們就來使用ZBrush雕一雕木橋吧。 這裏要運用ZBrush的Mirror and We

一步步如何打造一個網站克隆工具仿站

obj cell ins 地址 line load mail als () 前兩天朋友叫我模仿一個網站,剛剛開始,我一個頁面一個頁面查看源碼並復制和保存,花了我很多時間,一個字“累”,為了減輕工作量,我寫了個網站“克隆工具”,一鍵克隆,比起人工操作, 效率提高了200%以上

【親測】如何搭建 MongoDB 復制集 + 選舉原理

解釋 端口 區別 init opera mem 技術 高可用 data 目錄 1·MongoDB 復制集概述2·MongoDB 復制集部署3·MongoDB 復制集管理(添加、移除等)4·復制集的總結 MongoDB 復制集是什麽? 之前的一片文章講了 MongoD

如何檢查一個函式是否為JavaScript執行時環境內建函式

在開發過程中,對於某些API在現有的JavaScript執行時環境不支援的時候,我們大都會採用加入polyfill來解決這個問題。但有些時候我們可能需要知道現在某個API到底是否為執行時環境所原生支援,還是polyfill程式碼支援的。今天在學習Vue 2.X版本的原始碼時,就發現了Vue中也有用來檢測一

快速部署一個區塊鏈網路

本文基於華為雲區塊鏈服務,介紹如何部署一個區塊鏈網路。 準備工作 在開始使用華為雲區塊鏈服務之前,我們需要先完成相應的環境準備工作,依次為:建立叢集、繫結彈性IP、建立檔案儲存。 注意: 建立叢集的時候可一併完成繫結彈性IP。您需要給叢集中每個虛機分別繫結一個彈性IP。 建立叢集

spring架構---手把手ssm搭建架構

ssm框架指的是在web開發中使用spring,spring-mvc,MyBatis三種框架 Spring        Spring是一個開源框架,Spring是於2003 年興起的一個輕量級的Java 開發框架,由Rod

一步一步如何搭建自己的視訊聚合站

前言 作為一個爐石傳說玩家,經常有事沒事開著直播網站看看大神們的精彩表演。不過因為各個平臺互相挖人的關係,導致關注的一些主播分散到了各個直播平臺,來回切換有點麻煩,所以萌生了做一個視訊聚合站的想法。 我主要去採集鬥魚、熊貓等的爐石區的主播資訊。雖然各個站點的人氣資訊有水分,但還

技術宅如何煎一個特別牛逼且裝逼的牛排

1、不要醃製,不要醃製,不要醃製,說三遍,許多教程要用神馬生抽檸檬紅酒百里香醃製,都是騙人的鬼話。這些估計都是飯店裡的,因為他們用的牛排特別爛 2、不要用不粘鍋,不粘鍋煎出來的牛排其實是煮出來的,因為牛排下方油流不進去,而且不粘鍋的溫度不夠高,改用鑄鐵,或者去買個條紋鑄鐵鍋 3、黑胡椒粉要現

inno setup軟體--如何製作一個漂亮的安裝程式

當我們製作好一個課件或程式的時候就會想給它做漂亮的安裝程式,特別是用AUTHORWARE製作的課件,由於必須把XTRAS目錄下相關的檔案與可執行檔案一起提供,這時我們就需要給課件製作安裝程式。而且製作的安裝程式應該能夠進行反安裝、能在桌面放置快捷圖示、能在程式組建立組,最好

如何從一個普通程式設計師,兩年做到月薪 20 K+

【回覆“1024”,送你一個特別推送】 最近我的一位程式設計師朋友 Tamic 在 GitChat 上,做了一個主題為:“普通程式設計師,如何兩年做到月薪 20k+”的一個分享。我在這裡作為朋友,

如何生成一個簡潔又美觀的html報告及其簡單分析(三)

如何生成一個簡潔又美觀的html報告? 步驟一: 按照前面所講的,新建執行緒組,http請求等,設定各種場景和負載值,包括多少個執行緒,多少個使用者,迴圈多少次。 步驟二: 設定好了儲存,然後用命令列去啟動效能測試,檢視相關測試結果。 在cmd中輸入 (生成的報告我選擇建在D

乾貨 | 手把手快速擼一個區塊鏈

2018年的門剛開啟,區塊鏈的火就燒成了火焰山。徐小平放言要擁抱區塊鏈,朋友圈刷屏不止,連上班地鐵上都能聽到區塊鏈,一夜起,區塊鏈成了茶前飯後的談資。於是乎,那個經常聽到的問題又開始抓耳撓腮:區塊鏈到底是什麼鬼?關注的訂閱號不停推送“一篇文章讓你搞懂區塊鏈”,“三分鐘Get區

快速擼一個免費HTTPS證書

摘要: 最受歡迎的免費HTTPS證書,瞭解一下? HTTPS已成為業界標準,這篇部落格將教你申請Let’s Encrypt的免費HTTPS證書。 本文的操作是在Ubuntu 16.04下進行,使用nginx作為Web伺服器。 1. 安裝Certbot

如何寫一個 Yii2 擴充套件

前言 把一系列相關聯的功能使用模組開發,好處多多,維護起來很方便,模組還可以單獨釋出出去,讓下一個專案之間使用,真是方便。 下面我就寫一個開發擴充套件的簡單教程。 Gii gii 自帶幫助我們生成一個基本的擴充套件檔案結構,地址如下: www.xxx.com/gi

我來如何成為一個優秀的Java架構師?

最近好多人問我,問該怎樣才能成為一個架構師,還有一些人對自己當前的狀態感到迷茫。 我也瞭解到一些人的需求,所以今天就跟你們好好嘮一下,以解你們的小鬱悶~ 有什麼想和我說的,都可以和我留言互動啊!  當前的你感到迷茫? 有很多人對現在的工作感到很沒意思,因為當前的工作,完全是實現業務,技術上沒有任何提高。在這