十分鐘構建雙十一互動分析大盤

SQL · 發表 2018-11-19 15:38:11

摘要：提到雙十一很多人第一印象是一張成交金額跳動的炫酷大屏，的確大盤在阿里雙十一中幾乎是每個團隊標配，例如： CEO看業務：把重要資料放到一張大屏上，簡潔而有衝擊力運營看效果：把多個指標放在一起，有利於綜合分析定製投放策略開發看流量：服務請求延時，排隊情況，掌握實時效能與...

提到雙十一很多人第一印象是一張成交金額跳動的炫酷大屏，的確大盤在阿里雙十一中幾乎是每個團隊標配，例如：

大盤方案選型

典型方案是流式計算架構：

在阿里集團內，有大量成熟的產品可以完成此類工作，一般可供選型的產品如下：

雖然前期做了大量準備工作，但運營、研發和運維等除了看大盤外，還會圍繞整個活動的執行做大量工作，例如：

從上述例子中可以看到，除了資料的呈現之外，我們需要對大盤融入“互動式分析”的能力。給大家介紹一種選擇：通過日誌服務（LOG，原SLS）一站式的查詢分析LogSearch/Analytics API 直接對接視覺化大屏。

大屏的選擇可選方案有日誌服務Dashboard，Grafana，Datav等，也可以通過API、JDBC介面對接自己的視覺化大屏和第三方的軟體（例如Tableua）。日誌㐏對三種大屏提供了外掛，只需在配置中直接使用SQL進行計算，並展示結果。

	互動分析	平臺支撐	實時性	定時重新整理	檢視支援	適合場景
日誌服務Dashboard	️	PC	️	️	豐富	運維、運營、開發等
Grafana		PC	️		一般	時間序列資料場景
DataV		PC、移動端、大屏	️	️	豐富	適合於presentation場景
基於JDBC或OpenAPI自建視覺化前端

日誌服務Dashboard主要面需要互動式分析的查詢需求，例如發現錯誤時，需要下鑽定位原因。跟蹤到某個類目中檢視細節，對比同比與環比資料。該方案有如下特點：

實時性強
- 從資料產生，秒級別即可在日誌服務看到資料。
- 動態重新整理，秒級別即可計算出指標，展示在大屏上。
秒級精度
- 日誌時間精確到秒級別。
靈活查詢
- 使用SQL進行互動查詢，可以進行探索式分析，快速進行假設和驗證。可反覆在原始資料上進行任意維度的計算。而流計算在計算完原始資料後，即拋棄了原始資料，若想回溯調整查詢，基本不可能。所以日誌服務的互動式查詢可謂靈活很多。
機器學習支援
- 時序類機器學習函式，幫助發現業務規律與趨勢
- 分類與聚類函式，幫助發現與定位異常

以日誌服務dashboard對接為例，要對接一個大屏，首先要接入資料，然後編寫SQL，配置儀表盤檢視。

日誌服務提供30+資料接入手段可以滿足各種資料來源訴求，具體參考文件。

我們在日誌服務查詢頁面，通過SQL語法，計算出需要的指標。SQL語法參考語法文件。

SQL除錯好後，配置檢視的引數，新增到儀表盤：

在配置好的大屏中，使用下鑽深入分析結果：

日誌服務控制檯內建14+型別檢視，用於視覺化展示SQL計算結果，具體參考文件

36059?spm=a2c4e.11155435.0.0.2b4b5976kaXe3B" rel="nofollow,noindex" target="_blank">從日誌到雙十一大屏只要一步：LOG/SLS+DataV 打通

DataV無縫支援LOG API，使用SQL進行實時計算，統計Nginx日誌的PV、UV網路等指標。