1. 程式人生 > >數據采集之采集引擎學習路線

數據采集之采集引擎學習路線

采集引擎







  • 什麽是插件式監控平臺

  • 為什麽使用插件式監控平臺

  • 插件式監控平臺的構成與工作原理

  • 插件式監控平臺的環境配置

    • 采集器下載和部署配置步驟

    • 采集器和插件的代碼說明


  • 如何開發新的插件

  • 常見問題及解決方法

    • 如何添加插件

    • 如何創建采集器

    • 如何關聯監控項目

    • 如何控制采集器和插件

    • 采集器運行時出錯

    • 采集器正常運行,但獲取不到數據

    • Python版本不符合

    • 服務器性能監控獲取不到數據


  • 插件式監控平臺操作指南


什麽是插件式監控平臺

插件式監控平臺是監控寶提供的一種監控數據采集的開放式服務平臺, 能夠以開放源代碼的嵌入方式實現用戶內網監控數據的穩定收集和傳輸, 給用戶提供更靈活更穩定的插件式服務監控。

為什麽使用插件式監控平臺

插件式監控平臺支持對內網的服務器及服務進行監控,插件通過內部網絡獲取監控數據, 多個插件的數據匯總給采集器,采集器將這些數據提交到監控寶的中心服務器, 這樣只需要采集器所在的服務器與外網連通即可實現對局域網內的服務進行監控, 解決了通過外部網絡無法獲取內網數據的問題。 插件式監控平臺支持更穩定的數據傳輸,減少網絡不穩定帶來的問題。

例如:監控寶產品中原有的服務器監控數據采集利用的是SNMP協議,在SNMP中 用得最多的協議是UDP,由於UDP的不穩定造成服務器監控經常出現獲取不到數據的情況, 利用插件平臺所提供的SNMP插件能夠很好的解決這一問題。

插件式監控平臺提供了一種可以擴展的開發機制,所有插件都是即插即用的, 監控寶官方會持續開發新的監控插件,用戶可以根據自己特定的需求開發針新的監控插件, 不論是官方提供的還是自行開發的插件,采集器都能夠加載並驅動。插件式監控平臺支持分布式的部署, 采集器不是唯一的,用戶可以根據自己的網絡條件和應用部署情況創建並部署多個采集器, 這些采集器之間是互不幹擾的,各自管理各自的插件實例,最終的數據都會發送到監控寶的中心服務器。

插件式監控平臺的構成與工作原理

整個平臺是一種可擴展的數據采集及傳輸環境,主要包括三個部分組成: 數據采集器(Agent) 數據采集插件(Plugin) 數據接收處理服務。

數據采集插件是一種可插入式的專門采集某種數據的小應用。 比如針對MongoDB、Apache、Memecache等應用,利用SNMP、HTTP等協議獲取數據; 數據采集器(Agent)則會根據用戶的需求調度相應的Plugin來采集相應的數據, 然後負責將這些數據包裝並采用HTTP協議發送給數據處理服務, 數據采集插件和數據采集器都是運行在用戶本地的環境中。 數據接收處理服務能夠接受部署在不同用戶環境中的數據采集器發送過來的數據, 並保存到數據庫中。目前Agent和Plugin都是采用Python編寫的。 Agent的用戶設置及配置參數傳輸都經過了加密,以保證數據安全性。





http://wiki.jiankongbao.com/doku.php/文檔: 插件式監控平臺






創建采集器及添加插件任務





http://blog.jiankongbao.com/?p=1285




本文出自 “運維自動化” 博客,請務必保留此出處http://shower.blog.51cto.com/4926872/1984147

數據采集之采集引擎學習路線