1. 程式人生 > >5 個有用的開源日誌分析工具

5 個有用的開源日誌分析工具

出現 實時 nsh hot 訪問協議 可靠 導致 screens cor

監控網絡活動既重要又繁瑣,以下這些工具可以使它更容易。

-- Sam Bocetta

監控網絡活動是一項繁瑣的工作,但有充分的理由這樣做。例如,它允許你查找和調查工作站和連接到網絡的設備及服務器上的可疑登錄,同時確定管理員濫用了什麽。你還可以跟蹤軟件安裝和數據傳輸,以實時識別潛在問題,而不是在損壞發生後才進行跟蹤。

這些日誌還有助於使你的公司遵守適用於在歐盟範圍內運營的任何實體的 通用數據保護條例 (GFPR)。如果你的網站在歐盟可以瀏覽,那麽你就有遵守的該條例的資格。

日誌記錄,包括跟蹤和分析,應該是任何監控基礎設置中的一個基本過程。要從災難中恢復 SQL Server 數據庫,需要事務日誌文件。此外,通過跟蹤日誌文件,DevOps 團隊和數據庫管理員(DBA)可以保持最佳的數據庫性能,又或者,在網絡攻擊的情況下找到未經授權活動的證據。因此,定期監視和分析系統日誌非常重要。這是一種重新創建導致出現任何問題的事件鏈的可靠方式。

現在有很多開源日誌跟蹤器和分析工具可供使用,這使得為活動日誌選擇合適的資源比你想象的更容易。自由和開源軟件社區提供的日誌設計適用於各種站點和操作系統。以下是五個我用過的最好的工具,它們並沒有特別的順序。

Graylog

Graylog 於 2011 年在德國創立,現在作為開源工具或商業解決方案提供。它被設計成一個集中式日誌管理系統,接受來自不同服務器或端點的數據流,並允許你快速瀏覽或分析該信息。

技術分享圖片

Graylog screenshot

Graylog 在系統管理員中有著良好的聲譽,因為它易於擴展。大多數 Web 項目都是從小規模開始的,但它們可能指數級增長。Graylog 可以均衡後端服務網絡中的負載,每天可以處理幾 TB 的日誌數據。

IT 管理員會發現 Graylog 的前端界面易於使用,而且功能強大。Graylog 是圍繞儀表板的概念構建的,它允許你選擇你認為最有價值的指標或數據源,並快速查看一段時間內的趨勢。

當發生安全或性能事件時,IT 管理員希望能夠盡可能地根據癥狀追根溯源。Graylog 的搜索功能使這變得容易。它有內置的容錯功能,可運行多線程搜索,因此你可以同時分析多個潛在的威脅。

Nagios

Nagios 始於 1999 年,最初是由一個開發人員開發的,現在已經發展成為管理日誌數據最可靠的開源工具之一。當前版本的 Nagios 可以與運行 Microsoft Windows、Linux 或 Unix 的服務器集成。

技術分享圖片

Nagios Core

它的主要產品是日誌服務器,旨在簡化數據收集並使系統管理員更容易訪問信息。Nagios 日誌服務器引擎將實時捕獲數據,並將其提供給一個強大的搜索工具。通過內置的設置向導,可以輕松地與新端點或應用程序集成。

Nagios 最常用於需要監控其本地網絡安全性的組織。它可以審核一系列與網絡相關的事件,並幫助自動分發警報。如果滿足特定條件,甚至可以將 Nagios 配置為運行預定義的腳本,從而允許你在人員介入之前解決問題。

作為網絡審計的一部分,Nagios 將根據日誌數據來源的地理位置過濾日誌數據。這意味著你可以使用地圖技術構建全面的儀表板,以了解 Web 流量是如何流動的。

Elastic Stack (ELK Stack)

Elastic Stack ,通常稱為 ELK Stack,是需要篩選大量數據並理解其日誌系統的組織中最受歡迎的開源工具之一(這也是我個人的最愛)。

技術分享圖片

ELK Stack

它的主要產品由三個獨立的產品組成:Elasticsearch、Kibana 和 Logstash:

  • 顧名思義, Elasticsearch 旨在幫助用戶使用多種查詢語言和類型在數據集之中找到匹配項。速度是它最大的優勢。它可以擴展成由數百個服務器節點組成的集群,輕松處理 PB 級的數據。
  • Kibana 是一個可視化工具,與 Elasticsearch 一起工作,允許用戶分析他們的數據並構建強大的報告。當你第一次在服務器集群上安裝 Kibana 引擎時,你會看到一個顯示著統計數據、圖表甚至是動畫的界面。
  • ELK Stack 的最後一部分是 Logstash,它作為一個純粹的服務端管道進入 Elasticsearch 數據庫。你可以將 Logstash 與各種編程語言和 API 集成,這樣你的網站和移動應用程序中的信息就可以直接提供給強大的 Elastic Stalk 搜索引擎中。

ELK Stack 的一個獨特功能是,它允許你監視構建在 WordPress 開源網站上的應用程序。與 跟蹤管理日誌和 PHP 日誌 的大多數開箱即用的安全審計日誌工具相比,ELK Stack 可以篩選 Web 服務器和數據庫日誌。

糟糕的日誌跟蹤和數據庫管理是導致網站性能不佳的最常見原因之一。沒有定期檢查、優化和清空數據庫日誌,不僅會降低站點的運行速度,還可能導致其完全崩潰。因此,ELK Stack 對於每個 WordPress 開發人員的工具包來說都是一個優秀的工具。

LOGalyze

LOGalyze 是一個位於匈牙利的組織,它為系統管理員和安全專家構建開源工具,以幫助他們管理服務器日誌,並將其轉換為有用的數據點。其主要產品可供個人或商業用戶免費下載。

技術分享圖片

LOGalyze

LOGalyze 被設計成一個巨大的管道,其中多個服務器、應用程序和網絡設備可以使用簡單對象訪問協議(SOAP)方法提供信息。它提供了一個前端界面,管理員可以登錄界面來監控數據集並開始分析數據。

在 LOGalyze 的 Web 界面中,你可以運行動態報告,並將其導出到 Excel 文件、PDF 文件或其他格式。這些報告可以基於 LOGalyze 後端管理的多維統計信息。它甚至可以跨服務器或應用程序組合數據字段,借此來幫助你發現性能趨勢。

LOGalyze 旨在不到一個小時內完成安裝和配置。它具有預先構建的功能,允許它以法律所要求的格式收集審計數據。例如,LOGalyze 可以很容易地運行不同的 HIPAA 報告,以確保你的組織遵守健康法律並保持合規性。

Fluentd

如果你所在組織的數據源位於許多不同的位置和環境中,那麽你的目標應該是盡可能地將它們集中在一起。否則,你將難以監控性能並防範安全威脅。

Fluentd 是一個強大的數據收集解決方案,它是完全開源的。它沒有提供完整的前端界面,而是作為一個收集層來幫助組織不同的管道。Fluentd 在被世界上一些最大的公司使用,但是也可以在較小的組織中實施。

技術分享圖片

Fluentd architecture

Fluentd 最大的好處是它與當今最常用的技術工具兼容。例如,你可以使用 Fluentd 從 Web 服務器(如 Apache)、智能設備傳感器和 MongoDB 的動態記錄中收集數據。如何處理這些數據完全取決於你。

Fluentd 基於 JSON 數據格式,它可以與由卓越的開發人員創建的 500 多個插件 一起使用。這使你可以將日誌數據擴展到其他應用程序中,並通過最少的手工操作從中獲得更好的分析。

寫在最後

如果出於安全原因、政府合規性和衡量生產力的原因,你還沒有使用活動日誌,那麽現在開始改變吧。市場上有很多插件,它們可以與多種環境或平臺一起工作,甚至可以在內部網絡上使用。不要等發生了嚴重的事件,才采取一個積極主動的方法去維護和監督日誌。

5 個有用的開源日誌分析工具