中國移動運營分析實時監控平臺

1. 專案背景 中國移動公司旗下擁有很多的子機構,基本可以按照省份劃分. 而各省份旗下的充值機構也非常的多. 目前要想獲取整個平臺的充值情況,需要先以省為單元,進行省份旗下的機構統計,然後由下往上一層一層的統計彙總,過程太過繁瑣,且統計週期太長. 且充值過程中會涉及到中國移動資訊系統內部各個子系統之間的介面呼叫, 介面故障監控也成為了重點監控的內容之一. 為此建設一個能夠實時監控全國的充值情況的平臺, 掌控全網的實時充值, 各介面呼叫情況意義重大.

技術選型： 2.Apache Spark Spark Streaming 是核心 Spark API 的一個擴充套件，它並不會像 Storm 那樣一次一個地處理資料流，而是在處理前按時間間隔預先將其切分為一段一段的批處理作業。Spark 針對持續性資料流的抽象稱為 DStream（DiscretizedStream），一個 DStream 是一個微批處理（micro-batching）的 RDD（彈性分散式資料集）；而 RDD 則是一種分散式資料集，能夠以兩種方式並行運作， 分別是任意函式和滑動視窗資料的轉換。

3.專案架構

專案資料量  資料量每天大概 2000 到 3000 萬筆的下單量, 每條資料大概在 0.5KB 左右,下單量資料大概在 15GB 左右.  最後充值成功的大概 500 到 1000 萬,平時充值成功的大概五六百萬筆.  月初和月末量比較大