1. 程式人生 > >教程篇(5.4) 04. FortiAnalyzer 日誌 ❀ Fortinet 網路安全專家 NSE5

教程篇(5.4) 04. FortiAnalyzer 日誌 ❀ Fortinet 網路安全專家 NSE5

 在這個課程裡,我們將學習如何保護、檢視以及管理FortiAnalyzer上的日誌。通過了解FortiAnalyzer的日誌記 錄,可以使用日誌資料修復和分析基於網路的攻擊,以及對網路問題進行調查和故障排查。

 這是我們在課程裡將學習的主題,從日誌概述開始。

 在這個章節結束後,你應該可以完成這些任務。通過日誌概述的學習,你應該可以更有效的從資料庫中分析日 志資料。

 日誌資訊對網路中發生的情況進行畫像。 可以瞭解網路裝置的負載、跟蹤服務使用、以及識別網路中的安全漏 洞。然而,瞭解日誌非常重要—必須把多條日誌放在一起,得到問題的完整情況。通常需要多個日誌資訊來確 定導致威脅的精確鏈條—一條單個日誌通常不能幫助你更好的配置網路,以阻止未來的安全威脅。

  這也是為什麼集中日誌儲存非常重要的原因。

  在一些地理區域和一些商業領域,會有需要強制執行的條例,企業要記錄指定的資訊並存儲最少時間的日誌。

  條例通常詳細指定日誌型別和資料需要,因為這些日誌條目可被用於未授權或非法活動的證據。資料必須能在 法庭上有效力,所以,瞭解和分析日誌非常重要。

  然而,資訊舉出也是個問題。必須確保在保證正常工作的前提下,記錄的資訊足夠滿足條件。 太多的資料和太少的資料一樣糟糕 (在某些方面更差)。

 很重要的一點是不僅要收集儲存日誌,還要能有效的管理日誌。如果不建立管理日誌的最佳實踐,會導致資料 丟失,甚至收入減少。特別是由於網路攻擊導致的法律案件,日誌是可以在法庭上提供的,必不可少的資料。

  一些最佳實踐包括:

  • 保留什麼需要被記錄日誌和為什麼記錄日誌的文件。如果你需要基於以前的日誌資料調查一個新的事件,可
  • 以檢視檔案並確切瞭解你記錄的日誌,以瞭解識別出的問題可能性。
  • 確保所有裝置和應用的資料都被捕獲且沒有被過濾。監視裝置確保日誌在正常傳送。
  • 使用通用格式集中日誌儲存。因為不需要檢查多個位置的日誌資料,會使工作變得更輕鬆。
  • 所有的裝置上同步時間。如果防火牆時間是上午3點,FortiAnalyzer時間是上午12:30,而電腦時間是上午  8:56,交叉引用日誌會變得非常困難。
  • 維護日誌備份,執行指定日誌保留週期的策略。
  • 定義規程保證資料的完整性
  • 測試並再次測試事件響應計劃,確保計劃可行以及其他管理員明白各自的角色。

 為了能分析和解釋日誌,瞭解不同的日誌型別、其中包含的資訊以及FortiAnalyzer從每個支援的裝置上收集什 麼樣的日誌非常重要。

  正如在FortiGate培訓中學習到的,有三種日誌型別:traffic logs、event logs和security logs。每種日誌型別有 對應的日誌子型別。

  FortiAnalyzer顯示的日誌依據裝置的日誌記錄型別以及開啟的功能。本頁表格列出了FortiAnalyzer從不同型別支援的裝置的日誌型別和子型別。注意要支援非FortiGate裝置必須開啟ADOM。

 當註冊裝置傳送日誌到FortiAnalyzer時,日誌進入下列自動工作流程:

  1. 原始日誌被壓縮並儲存到FortiAnalyzer硬碟的日誌檔案。最終,當日志文件到達指定大小時,將會分卷並被歸檔。

  日誌在壓縮階段被稱為歸檔日誌。這些日誌被視為離線,不提供實時分析支援。如果需要在歸檔日誌上做分 析,可以使用日誌讀取功能。日誌讀取將在本課程後續章節討論。

  2. 同樣的日誌同時在SQL資料庫中被編入索引以支援分析。ADOM資料策略決定日誌在分析中保留的時長。

  日誌在編入索引階段被稱為分析日誌。這些日誌被視為線上,可提供實時分析支援。

  分析日誌從SQL資料庫中清除依據每資料策略, 但仍然在歸檔中保留壓縮。最終,歸檔基於ADOM資料策 略配置被刪除。

 你現在已經瞭解了基礎日誌的日誌概述。

  接下來學習保護日誌資料的方式。

 在這個章節結束後,你應該可以完成這些任務。通過使用不同方式保護日誌的學習,你應該能夠滿足企業的或 法律的日誌需求。

 如在第二章中討論過的,保護日誌的一種方式是使用RAID。RAID在FortiAnalyzer發生緊急事件時,有一份日誌的備份。不是在所有的FortiAnalyzer型號上支援。

 即使已使用了RAID,仍然不能代替日誌備份。可以通過GUI 或 CLI備份日誌。

  • Log View 允許下載指定的指定過濾檢視。
  • Log Browse 允許下載分卷的日誌。FortiAnalyzer也提供基於時間表上傳日誌到FTP、 SFTP 或 SCP伺服器的選項。
  • CLI命令執行備份日誌可傳送任意日誌到任意或指定的裝置。資料在傳送前被壓縮,所以傳輸不能即時開始。裝置需要處理日誌並在歸檔中儲存,這將花費一些時間。批量日誌備份可能包含大量資料,確保伺服器有足 夠的硬碟空間。

  也可以使用 GUI 和 CLI恢復日誌。

 日誌傳輸方面,可以通過冗餘的方式保護日誌。在FortiGate-FortiAnalyzer環境裡, 有以下選項:

  一個選項是配置傳送相同的日誌到第二個日誌伺服器 ,例如第二個FortiAnalyzer 或syslog。注意因為日誌後臺 程式必須處理額外的TCP連線到第二日誌裝置,所以將提高FortiGate裝置的負載。但如果系統選型適當,則不需要考慮額外的負載。此選項對低端FortiGate 不適用,不支援第二臺裝置。

  另一個選項是設定日誌轉發為匯聚模式。通過中心 (匯聚) 裝置應該是更高階的FortiAnalyzer,但不是必須的。 收集器將傳送日誌資料(增量變化)到匯聚伺服器。兩個裝置對儲存的資料做比較,收集器只發送分析器沒有的 資料。這不僅能降低傳送流量的資料,還能提供冗餘性。如果分析器發生災備切換,收集器傳送所有資料並自 動在分析器中重新載入。匯聚模式只在兩個FortiAnalyzer間支援。

 除了匯聚之外 ,日誌轉發還有隻適用於兩個FortiAnalyzer裝置之間的其它轉發模式。FortiAnalyzer也可以以實 時模式轉發日誌到syslog伺服器、Common Event Format (CEF) 伺服器、或其它FortiAnalyzer。轉發日誌到其 它裝置的FortiAnalyzer為客戶端,而接收者是伺服器端。

  要配置日誌轉發,必須完成下列步驟:

  1. 裝置日誌轉發模式:實時、匯聚或混合。 • Realtime 模式日誌即收即發。不能轉發內容檔案 (DLP、防病毒隔離和IPS)。  • Aggregation 模式儲存日誌和內容檔案並在預定的時間上傳到FortiAnalyzer伺服器。  • Mixed (both) 模式日誌即收即發,儲存內容檔案並在預定的時間上傳。
  2. 配置伺服器 (日誌接收者)。
  3. 配置客戶端 (FortiAnalyzer轉發日誌)。這裡也可以指定哪些裝置的日誌被轉發,以及設定日誌過濾,只有匹配過濾條件的日誌才會傳送。

  除了轉發日誌之外 ,FortiAnalyzer客戶端保留一份日誌的本地備份。 本地日誌備份對FortiAnalyzer客戶端的歸檔日誌由資料策略決定。

 最後,可以通過加密裝置間的日誌通訊保護日誌。

  當資訊在FortiAnalyzer和FortiGate之間同步時,使用基於SSL的Optimized Fabric Transfer Protocol (OFTP)。 OFTP監聽TCP/514和UDP/514埠。

  OFTPS是FortiAnalyzer和FortiGate間安全通訊的預設設定。

  SSL通訊在FortiAnalyzer和FortiGate之間自動 協商,因此oftpd伺服器只要用於連線FortiGate,都將使用SSL加 密的FTP。預設情況下,FortiGate使用“default” 加密級別,FortiAnalyzer 使用 “low”。FortiAnalyzer的加密級 別必須等於或小於FortiGate的加密級別。

 為了防止儲存中的日誌被修改,可以通過config system global命令新增日誌檢驗和。當日志被分卷、歸 檔以及日誌被上傳(如果功能開啟)時,可以配置FortiAnalyzer記錄日誌檔案hash值、時間戳、和認證程式碼 。這 可以幫助從FortiAnalyzer到SFTP伺服器上傳日誌傳輸資料時,防禦中間人攻擊。

  下列日誌校驗可用:

  • md5:只記錄日誌檔案的MD5 hash值
  • md5-auth:記錄日誌檔案的MD5 hash值和認證程式碼
  • none:不記錄日誌檔案校驗和

  也可以通過config system certificate oftp命令,改變 OFTP證書為自定義證書。需要 PEM格式證書 和相關聯的PEM格式私鑰。

 你現在已經瞭解瞭如何保護日誌。

  接下來學習檢視和搜尋FortiAnalyzer中的日誌。

 在這個章節結束後,你應該可以完成這些任務。通過學習檢視和搜尋日誌,你應該可以有效的定位日誌,幫助你研究網路安全問題。

 Log View 檢視每ADOM的流量日誌、事件日誌和安全日誌。可以限制檢視ADOM中的一個或多個裝置或一個日誌組,日誌組是配置在一個單獨的邏輯物件中的一組裝置。

  日誌組是虛擬的,沒有SQL資料庫或佔用額外的硬碟空間。

 要實現在Log View 中搜索指定的日誌,從左側選單選擇日誌型別,然後設定適當的過濾器。在這頁顯示的示例中,過濾器設定為分類描述 “Malicious Websites”。也可以指定ADOM中的所有裝置或特定裝置,並設定時間範圍。

  也可以通過新增或移除列、檢視實時或歷史日誌、原始日誌或格式化日誌來改變檢視檢視。

  雙擊日誌條目可以檢視日誌更多資訊,詳情窗格出現在螢幕右側。

 使用在Tools選單中的Custom View 選項儲存常用搜索為自定義檢視。設定過濾器,執行搜尋,然後在自定義檢視下儲存搜尋。

 如果日誌資料存在,但搜尋過濾器不能返回任何結果,過濾器可能沒有正確建立。FortiAnalyzer在日誌裡查詢 精確的匹配,所以必須正確建立SQL搜尋字串。

  這裡是一些日誌搜尋或日誌搜尋排錯的技巧:

  • 在Tools選單中檢查是否開啟了Case Sensitive Search。關閉選項可以提高搜尋的靈活性。
  • 在包含需要搜尋資料的日誌表中發現日誌。例如,如果你需要搜尋包含程式碼注入的攻擊,在資料上右鍵點選,出現的彈出窗口裡有自動設定好的搜尋過濾器。如果選擇搜尋過濾器,將返回基於過濾器的結果。
  • 當設定過濾器時,可以在下拉列表中選擇一個現有的過濾器,或輸出自己的過濾器名稱。過濾器名稱在SQL  表中,如果不知道適當的過濾器名稱,可以通過Column Settings開啟列(可能需要隨後重新整理頁面),過濾器  會在下拉列表中作為選項出現。

 FortiView是另一個檢視日誌資料的方式。FortiView在單獨的、彙總的檢視中整合實時和歷史資料。只有分析日 志可以顯示,歸檔日誌不顯示。在FortiView中每個ADOM有各自的資料分析,在檢視FortiView的內容之前,確保在正確的ADOM裡。

 FortiView可以用圖表和圖形格式檢視FortiGate和FortiCarrier的日誌資料彙總。舉幾個例子,可以檢視網路中的 威脅排名、網路流量的源排名和網路流量的目的排名。對於每個彙總檢視,可以下鑽檢視詳細資訊,以及設定過濾器顯示指定資料。

 FortiView有價值的一個功能是Indicator of Compromise (IOC)。通過檢查新的和歷史日誌,對比基於 FortiGuard訂閱的IOC特徵,IOC引擎檢測終端使用者可疑Web使用率威脅情況。

  FortiAnalyzer的威脅檢測引擎使用FortiGuard Threat Detection Service (TDS)情報分析web過濾日誌進行威脅 檢測。TDS情況每天更新,防禦最新的威脅。注意,由於防病毒、IPS等威脅已經通過FortiGate上的服務被檢 測或阻止,所以AV/IPS等日誌不被使用。當發現威脅匹配,將基於來自TDS的整體分級分數,給使用者一個威脅 分數。當檢查完成,FortiAnalyzer 彙總一個終端使用者的所有威脅分數,給出終端使用者的整體IOC判定。判定可 以是下列之一:

  • Infected:表示一個真實的威脅。在web日誌中發現了匹配或匹配了列入黑名單的IP/域名生成演算法 (DGAs)。
  • Highly Suspicious:表示一個可能的威脅。

  需要惡意軟體、僵屍網路、入侵的報告和更多的歷史審計,可以檢視 Threat Report。

 配置IOC需要下列步驟:

  • 來自FortiGuard的Threat Detection Service (TDS)資料包。
  • IOC的一年訂閱。注意,FortiAnalyzer包含試用許可,但是受限的,只能給出功能如何工作的概念。
  • FortiAnalyzer的FortiGuard TDS服務訂閱
  • FortiGate的Web過濾服務訂閱
  • FortiGate的Web過濾策略,併發送流量到FortiAnalyzer。

 這裡是FortiView中IOC命中的示例。威脅檢測引擎已檢測出一個真實的威脅, 並指示為 Infected 判定。 # of Threats 列指出關聯此次命中有7種不同的威脅。

  也可以檢視兩種主要的情報型別:

  • 黑名單,包含針對僵屍網路、DNS黑洞的可疑IP,以及DGA的域名。
  • 可疑列表,每個URL都與一個分級分數關聯。分級分數與威脅情報眾包關聯——一天處理一次。

  在IOC FortiView上,可以:

  • 新增過濾器過濾條目,指定裝置或時間段。可以檢視最多7天的歷史—每個測試使用當天的威脅情報。
  • 通過點選Acknowledge列中的Ack,確認IOC(仍可以檢視確認的IOC)
  • 雙擊條目下鑽檢視威脅詳情。

 在FortiView中,如果IP地址不能解析為主機名,必須在FortiAnalyzer上配置本地DNS伺服器。然後輸入本頁中 的CLI命令。

  由於需要解析,在每次FortiView重新整理時,會帶來輕微的延遲。在大型環境中,依據需要解析的IP數量和DNS服 務器的速度,延遲可能會更加明顯。

  最佳實踐是推薦在FortiGate端解析IP。這是因為同時獲取了源和目標,並從FortiAnalyzer解除安裝了工作。在 FortiAnalyzer,IP解析僅支援目標IP。

 通過FortiAnalyzer,可以開啟日誌讀取。這是允許FortiAnalyzer從另一臺FortiAnalyzer讀取指定裝置的歸檔日 志,這些歸檔日誌可以執行查詢或報告用於取證分析。通過下列方式,日誌讀取極大的簡化了基於日誌資料的 報告生成:

  • 管理使用者可以選擇裝置和索引的時間週期。
  • 允許對索引的日誌的自定義日誌保留設定進入到ADOM,以適應基於過去日誌的報告生成需要。
  • 避免日誌重複,可能從外部備份源中匯入時發生。

  讀取日誌的FortiAnalyzer裝置作為讀取客戶執行,其它傳送日誌的FortiAnalyzer裝置作為讀取伺服器執行。日 志讀取只能在兩臺FortiAnalyzer裝置上使用,並要求運行同樣的韌體版本。FortiAnalyzer裝置即可以做讀取服 務器,也可以做客戶端,不同的FortiAnalyzer裝置與對端還可以同時做兩種角色。兩臺FortiAnalyzer 裝置間每 次只能建立一個日誌讀取會話。

  如果你只有一臺FortiAnalyzer,不能使用日誌讀取。在這種情況下,可以匯出和匯入日誌檔案。在重新匯入之前,需要從FortiAnalyzer刪除已匯出的日誌檔案,避免這種日誌出現重複。

 你現在已經瞭解瞭如何檢視和搜尋日誌。

  接下來學習故障排查和管理日誌。

 在這個章節結束後,你應該可以完成這些任務。通過學習故障排查和管理日誌,應該能確保不會丟失有價值的日誌資料。

 為了瞭解日誌的數量和硬碟配額配置是否正確,可以使用本頁中顯示的CLI命令收集日誌速率和裝置使用率統 計。例如,如果日誌量太大,則在不能在分析和歸檔中保留ADOM裡配置的時間量的日誌。

 通過不同的儀表板微件,可以檢視日誌寫入速率、接收速率和日誌寫入延遲時間。

  寫入速率 vs. 接收速率 是顯示原始日誌到達FortiAnalyzer (接收速率) 速率和被SQL資料庫及sqlplugind程式索 引(寫入速率)的圖表。

  Log Insert Lag Time 顯示日誌被接收和被索引之間的時間差。

 基於日誌速率和裝置使用率統計,可能需要調整ADOM硬碟配額,避免丟失有價值的日誌資料。

  保持監視ADOM中的每臺裝置的日誌速率。如果日誌量很大,則增加ADOM配額,防止舊的日誌過早丟失。

  對ADOM分配的配額不足可能會造成下列問題:

  • 不能達到日誌保留目標
  • 因日誌刪除和資料庫修剪造成不必要的CPU資源損耗
  • 如果在報告完成前,配額執行分析資料的動作,會對報告產生不利影響。

 除提高硬碟日誌配額外,還有什麼管理硬碟日誌的方法?

  可以:

  • 指定全域性日誌分卷策略,當大小超過設定的閥值時,分卷或上傳日誌檔案。
  • 對FortiAnalyzer上的全部日誌檔案、隔離檔案、報告和內容歸檔檔案指定全域性自動刪除策略。

 你現在已經瞭解瞭如何故障排查和管理日誌。

  接下來學習如何監視事件。

 在這個章節結束後,你應該可以完成這些任務。通過事件處理器的學習,你應該能提高在調查事件時的效率。

 在GUI中,Event Management 頁面顯示所有已開啟和已配置的事件處理器產生的事件。

  雙擊一個事件提供更多關於事件的詳情,包含相關聯的日誌。也可以實現對記錄保留註釋,以及確認事件。點 擊事件名稱可以連結到FortiGuard,檢視指定威脅的更多資訊。

  事件處理器通過原始日誌工作,而不是資料庫日誌。

 事件處理器是指定在Event Management顯示的原始日誌中匹配的條件。

  系統包含一些預定義的事件處理器,可以開啟並開始執行Event Management.。也可以配置事件處理器通過郵 件、SNMP trap或syslog伺服器傳送告警通知。要使用這些告警通知方法,必須首先設定後端 (例如,對郵件通 知的郵件伺服器)。

  如果沒有預定義事件處理器能滿足需求,可以建立自定義事件處理器。

 當配置事件管理器時,通用文字過濾器可以更精確和更靈活的控制哪些日誌會觸發事件。支援多種運算子和邏 輯符。可以在問題標記上懸停游標得到示例。

  一個小技巧是,可以搜尋日誌檔案中需要新增到事件處理器的原始日誌,並複製需要匹配的字串。

 一些日誌最佳實踐:

  • 上傳FortiAnalyzer本地日誌到遠端伺服器
  • 增加本地事件日誌記錄級別到debug
  • 對關鍵系統事件配置SNMP trap
  • 對每天的分卷日誌配置日誌上傳

 課程目標回顧。