功能釋出 | 大資料驅動業務決策，CDN實時日誌重磅上線
背景
CDN是非常重要的網際網路基礎設施，使用者可以通過CDN，快速的訪問網路中各種圖片，視訊等資源。在訪問過程中，CDN會產生大量的日誌資料，而隨著如今越來越複雜的網路環境變化，和業務的迅速增長，日誌資料變得更大量、更多維度。這些資料通常都與使用者的下一步業務決策息息相關。
在與CDN使用者的溝通中，我們發現通常使用者會面臨以下困境：
• 使用者無資料 : CDN的訪問日誌，由各大CDN產商上產生，使用者不可直接獲取。現階段，絕大部分的CDN產商都只提供離線日誌下載，日誌資料從產生，到使用者可下載，需要幾十分鐘到數個小時不等。這樣大的資料產生延時，大大削減了實時流處理、報警等高實時性要求場景的分析價值。
• 多種分析需求：為了解決各類定製化的分析需求，通常的做法是搭建和運維開源系統，如用於做資料通道的kafka、流式分析的storm或flink、做資料分析的spark、hadoop等。
• 視覺化需求：對於最終的分析結果的展示，依賴資料庫（結果集小）、HBase（結果集大）儲存結果，再通過對接各視覺化工具來完成。
綜上所述，更實時地、詳細地關注和分析日誌的需求逐漸顯露，但是普通使用者對CDN日誌進行實時、離線分析又並不容易，需要付出搭建、運維和管理成本，為了完成需求，有時還需要編寫不少程式碼，但最終並不一定能得到很好的效果。整個CDN實時日誌涉及的環節多，對服務質量也有嚴苛的要求，技術挑戰比較大。那有沒有更好的解決辦法麼？
CDN實時日誌一站式解決方案上線
近期，阿里雲CDN上線了實時日誌功能，打通日誌服務(SLS)的能力，將CDN採集的實時日誌，在小於60秒的時間內投遞至日誌服務，進行實時、互動式分析和報表呈現。通過CDN日誌的實時分析，可以快速的發現和定位問題，進而對日誌資料的挖掘，提高資料的決策能力，將業務推向一個新的高度。點選跳轉CDN實時日誌專題頁，瞭解功能詳情。
CDN實時日誌服務與日誌下載的區別
CDN實時日誌為實時採集的日誌資料，日誌資料延遲平均不超過30秒。同時，CDN打通了日誌服務分析的能力，為客戶定製4張分析報表，可快速對日誌進行分析，發現問題，及時決策。而CDN提供的離線日誌下載，只能下載4小時前的每小時日誌資料。
CDN實時日誌系統中簡化的資料流向如下圖構成：
• 資料實時採集 : 在直播推流、播放期間，都會產生大量日誌，需要在秒級延時內，實時採集這些日誌到日誌中心。
• 資料清洗：日誌採集後，對資料進行清洗，以滿足不同場景的處理需求（如，對不同域名日誌的定製化分析）。
• 資料處理和儲存 : 對於不同的應用場景，資料的處理和儲存方式也不盡相同 。
- 實時處理 : 在秒級別對海量資料進行實多維度聚合統計分析。
- 表格儲存 : 實時統計後的各類監控指標。
- 物件儲存 : 日誌打包壓縮，供使用者離線下載。
- 資料倉庫 : 資料離線分析、使用者行為分析、物業報表等場景。
CDN實時日誌的價值
1. 實時
傳統的日誌分析模式，需要您將日誌下載後，重新上傳至資料倉庫，在資料倉庫進行一系列的清洗和資料模型定義後，再進資料分析，這個過程需要維護的人力較多，時間較長。
CDN實時日誌可以從全球多個區域、數萬節點實時採集日誌，通常延時不超過60秒，否則日誌的實時價值大打折扣。同時，在開通服務後，CDN將日誌資料自動投遞到日誌服務(SLS)，免去繁瑣的傳統日誌分析的流程，實時檢視日誌分析結果。
2. 無需寫程式碼，無需運維
前面也提到，想要自行搭建日誌系統，解決業務定製化的需求，開發、運維、管理的成本是比較高的，接入CDN實時日誌系統，可以讓開發者迴歸業務的創新和效能本身，減少不必要的投入。
3. 多維度SQL分析，秒級10億+規模
CDN實時日誌系統支援每天千億、萬億的日誌7*24小時不間斷採集，並實時對海量日誌進行多維度分析，流計算系統在毫秒級。讓使用者遠離日誌分析中的各類繁雜“瑣事”，更加專注於和業務更緊密、更有價值的資料“分析”上。
同時，實時日誌可以輕鬆應對資料處理組合維度大、計算複雜度大、各類流量高峰衝擊等業務場景。儲存日誌供使用者下載的物件儲存系統（Oss）可提供資料高吞吐下載能力，複雜的分析場景，可由數倉系統來支援。
4. 資料視覺化及大資料探勘
最終分析結果的展示也非常關鍵，CDN實時日誌可以為使用者提供基於業務的視覺化報表服務，使用者可輕鬆地掌控業務健康度、快取命中率、平均下載速度、流量情況、網速、運營商、延時分佈等資料。
5.日誌、監控、告警聯動的一站式解決方案
在CDN場景下，對服務的可用性、效能要求苛刻，需要對於各類異常進行實時、準確的報警，這就需要依賴可靠的監控報警系統。CDN日誌系統未來將和監控、告警、處理機制聯動，自動化的解決常規問題，縮短業務故障的時間，避免使用者損失。
五、典型應用場景
1. 直播推流
在直播場景下，CDN日誌實時投遞至日誌服務之後，可以做幾個典型的實時分析。
直播推流資料非常重要，當有了直播推流的日誌之後，可掌控推流端各種實時狀態：
• 推流概覽 : 實時知道當前的推流數量、各個推流的流量和速度、從各省、運營商維度統計
• 推流質量：多維度的推流質量統計、重點推流的實時質量監控
• 錯誤根源追蹤：快速定位錯誤產生的源頭（直播源、服務端、客戶端、運營商）
下圖是直播推流的各項監控統計，從整體的推流質量上來看，99%以上的推流都是正常的，說明推流的質量非常好。
下表統計了各類錯誤的產生原因，可以看到最大的錯誤來源是客戶端主動斷開。
2.CDN下行
播放端（CDN下行）是使用者直接接觸，其質量直接決定使用者觀看體驗，在下行日誌中，我也可以從多個維度進行分析：
• 整體質量：
健康度 : 在所有的訪問中，有多少請求是成功的
Cache命中率 : 命中率越高，使用者訪問延時越低，體驗越好
下載速度 : 這也是關係到播放質量的重要因素
• 多維度分析：
top域名訪問次數、流量 : 重點域名的訪問質量
地域、運營商統計：各個鏈路的質量
下載量、速度、延時：多項關鍵指標
• 錯誤診斷：
實時錯誤QPS、比例 : 整體錯誤情況
錯誤Top 域名、URI : 錯誤是否和自身相關
錯誤Top 地域、運營商 : 錯誤是否和外部因素相關
錯誤客戶端分別 : 是否是新發布版本引入的問題
在下圖中，可以看到，絕大部分錯誤，都是發生在這個客戶端版本，就需要懷疑是不是新的版本釋出帶來的呢？
3.使用者行為分析
使用者的訪問行為，最終可體現在日誌上，通過日誌的分析，瞭解到使用者是如何進行訪問的，哪些資源是熱門資源，通過使用者的來源，更清楚瞭解使用者來源，以後的運營推廣也可以更具有針對性，除此之外，對異常IP進行監控，可更早發現異常，如高頻訪問的IP，是否存在爬取資料的嫌疑。
Demo演示：
當系統出現報警或有使用者投訴的情況下，通用的處理流程往往是相似的：
- 整體概述：整體訪問是否正常？
- 縮小範圍：是區域性錯誤麼，是哪個域名，或是哪個區域，再或者只是某個使用者？
- 精準定位：縮小調查範圍後，可對區域性資料進行同比、環比的對比；觀察更詳細的日誌；多個維度進行Adhoc的query分析。
在這個過程中可以發現，整個分析流程，是從上到下、從面到點、互動式的分析，涉及到Drill Down/Roll Up等多方面。因此，靈活和方便是系統必備的兩項。在以下的視訊中，展示如何在日誌服務中，對CDN日誌進行互動式的分析。
另外，我們也提供了一個Demo，可以實際體驗一下Mock的CDN日誌分析：Demo連線
六、接入流程
目前實時日誌功能已經在CDN控制檯上線，使用者可以通過簡單操作，快速的、無障礙的使用CDN實時日誌的能力。主要步驟如下：
- 登入CDN控制檯。
- 在左側導航欄，單擊日誌。
- 在日誌頁，單擊實時日誌推送。
- 單擊一鍵建立日誌服務。
- 配置Project、Logstore、地域等資訊，然後單擊下一步。
- 選擇關聯域名並繫結，然後單擊建立。
七、計費方式與活動
通常，實時日誌按照推送成功條數，每萬條0.06元進行付費，該費用已經包含日誌服務分析的費用。因此，在一定使用邊界內，您無需支付任何的日誌服務費用。
但是在以下情況下，您還需要支付日誌服務的費用：
1．日誌儲存超過7天的儲存部分，由日誌服務單獨收費。
2．日誌服務的外網讀寫費用。
關於日誌服務收費，請參見價格詳情。
在11月，CDN實時日誌服務推出特惠活動，限時5折，點選選購
點選跳轉CDN實時日誌專題頁，瞭解功能詳情。