十分鐘構建雙十一交互分析大盤
CEO看業務：把重要數據放到一張大屏上，簡潔而有沖擊力
運營看效果：把多個指標放在一起，有利於綜合分析定制投放策略
開發看流量：服務請求延時，排隊情況，掌握實時性能與動態
監控看水位：集中監控整體服務的狀態，有利於快速的做出響應
大盤方案選型
典型方案是流式計算架構：
數據采集：利用Agent、API、SDK等采集各源頭數據
中間存儲：利用類Kafka軟件進行生產系統和消費系統解耦
實時計算：環節中最重要環節，訂閱實時數據，通過計算規則對窗口中數據進行運算
結果存儲：計算結果數據存入SQL和NoSQL
可視化：通過API調用結果數據進行展示
對大盤進一步訴求
雖然前期做了大量準備工作，但運營、研發和運維等除了看大盤外，還會圍繞整個活動的運行做大量工作，例如：
運營對每個類目的細節，下單數目，用戶量預期水平等進行大量分析，對某些用戶群體激活和促銷
研發關註請求流量，用戶延時體驗，定位和分析各種原因
運維分析系統的水位，查看各資源的分布，調度資源以確保穩定性
從上述例子中可以看到，除了數據的呈現之外，我們需要對大盤融入“交互式分析”的能力。給大家介紹一種選擇：通過日誌服務（LOG，原SLS）一站式的查詢分析LogSearch/Analytics API 直接對接可視化大屏。
大屏的選擇可選方案有日誌服務Dashboard，Grafana，Datav等，也可以通過API、JDBC接口對接自己的可視化大屏和第三方的軟件（例如Tableua）。日誌?對三種大屏提供了插件，只需在配置中直接使用SQL進行計算，並展示結果。
日誌服務Dashboard主要面需要交互式分析的查詢需求，例如發現錯誤時，需要下鉆定位原因。跟蹤到某個類目中查看細節，對比同比與環比數據。該方案有如下特點：
實時性強
從數據產生，秒級別即可在日誌服務看到數據。
動態刷新，秒級別即可計算出指標，展示在大屏上。
秒級精度
日誌時間精確到秒級別。
靈活查詢
使用SQL進行交互查詢，可以進行探索式分析，快速進行假設和驗證。可反復在原始數據上進行任意維度的計算。而流計算在計算完原始數據後，即拋棄了原始數據，若想回溯調整查詢，基本不可能。所以日誌服務的交互式查詢可謂靈活很多。
時序類機器學習函數，幫助發現業務規律與趨勢
分類與聚類函數，幫助發現與定位異常
使用步驟
以日誌服務dashboard對接為例，要對接一個大屏，首先要接入數據，然後編寫SQL，配置儀表盤視圖。
- 接入數據
日誌服務提供30+數據接入手段可以滿足各種數據源訴求，具體參考文檔。
- 調試SQL+機器學習函數
我們在日誌服務查詢頁面，通過SQL語法，計算出需要的指標。SQL語法參考語法文檔。
- 配置視圖並保存
在配置好的大屏中，使用下鉆深入分析結果：
日誌服務控制臺內置14+類型視圖，用於可視化展示SQL計算結果，具體參考文檔
基於日誌服務大盤案例
從日誌到雙十一大屏只要一步：LOG/SLS+DataV 打通
DataV無縫支持LOG API，使用SQL進行實時計算，統計Nginx日誌的PV、UV網絡等指標。
圖：datav大屏
5分鐘搭建網站實時分析：Grafana+日誌服務實戰
圖：grafana大屏
日誌服務Nginx dashboard：使用日誌服務內置的地圖、餅圖、折線圖等可視化Nginx日誌指標
圖：日誌服務dashboard
Pangu 2.0 秒級監控
Pangu2.0是阿裏雲自研的新一代普惠智能新存儲系統。Pangu基於日誌服務搭建秒級監控，Pangu 日誌產生後，秒級采集到日誌服務，並在秒級別計算出各個機器的IOPS、延時、吞吐。可迅速發現負載高的機器，及時跟進處理。
Fuxi 雙十一資源畫像為混部保駕護航資源調度大屏：
伏羲是阿裏雲自研的分布式調度系統。在雙十一期間，為了監控所有集群的容量、負載信息，伏羲團隊搭建了基於日誌服務+dataV的可視化大屏。一張大屏囊括了所有的集群信息，看到這張大屏，就像擁有了一張地圖，在雙十一波濤洶湧的流量面前，做到胸有成竹。
十分鐘構建雙十一交互分析大盤