一
雲化 & 容器化場景下，對於一個日誌服務來說，需要解決如下問題：
1.如何實時從各個主機上收集各種型別日誌。 --採集探針
2.收集日誌如何儲存。                 --儲存叢集， 成本？
3.日誌查詢 & 分析。                 --分析計算叢集， 成本？
4.報表                            --報表服務，成本？

日誌（Application Log Service，簡稱ALS）是針對執行在公有云上的應用，提供的實時日誌儲存&分析服務。提供的服務內容包括：日誌資料收集，海量日誌檢索，日誌儲存和轉儲，日誌訂閱，關鍵詞統計報表等。低成本，高效運維客戶日誌。

二
ALS架構圖: 儲存和查詢的實現基於開源lucene，http://lucene.apache.org/。
微服務簡介
Access:  資料收集代理，接受ICAgent上報資料
Config: 日誌配置管理，包括日誌檔案模型，以及使用者相關配置等，並對接外部所有查詢請求。
Storage&Query: 日誌儲存，並提供內部查詢介面。

流程簡介
上報過程：ICAgent採集日誌->Access(Proxy)->DMS
儲存過程：Storage從DMS消費資料儲存->寫入配置到Config
查詢過程:  Console(API-G)->Config->Storage

三功能介紹
3.1日誌資料收集：AOM服務中ICAgent預設提供日誌採集能力，包括使用CCE（雲容器引擎）部署容器日誌以及主機上的系統日誌等。
               另外，日誌服務提供自定義日誌路徑採集的能力，日誌路徑包括主機上指定目錄和指定服務日誌路徑
3.2日誌實時檢視 簡單的tail功能
3.3海量日誌檢索：支援通過濾條件+關鍵字的方式對租戶下日誌的全文檢索，過濾條件包括叢集，服務，主機，時間範圍等。
3.4日誌儲存和轉儲：使用者日誌收集上來後，預設集中儲存到日誌服務中，7天+2G永久免費，更多計費詳情參考https://www.huaweicloud.com/price_detail.html#/aom_detail 。同時，日誌服務支援將重要日誌轉儲到OBS（物件儲存服務）中，使用者可以定義日誌桶和轉儲策略，日誌服務以桶為單位，將日誌轉儲至OBS。
3.5日誌訂閱&投遞：使用者可以把日誌服務作為一個收集日誌的通道，從DMS（分散式訊息服務）中直接獲取日誌，從而處理自己的業務日誌
3.6關鍵詞統計&報表：關鍵詞統計是針對日誌物件，統計一段時間內特定關鍵詞出現的頻率，我們稱之為“統計規則”，每一個統計規則的作用單用是前文提到的日誌桶。每一條規則統計的結果將會作為一個指標被投遞到AMS（應用監控服務）中，使用者可以在AMS對這個指標進行監控和管理，如生成報表或者設定告警規則。

操作視訊：
https://support.huaweicloud.com/aom_video/index.html
API參考：https://support.huaweicloud.com/aom_video/index.html

四日誌資料收集
前提：安裝好採集探針ICAgent
採集配置：
1. CCE叢集下容器日誌收集，我們採用的採集方案是通過掛載volume的方式將容器內的日誌落地到宿主機，宿主機上通過日誌採集ICAgent採集，標準輸入stdout和stderr未重定向的日誌預設採集，不需要配置 。配置方式參考如下：


2. 主機日誌資料收集，通過使用者配置採集路徑規則，採集目標主機上的日誌檔案。配置方式參考：

五日誌實時檢視
日誌實時檢視，類比Linux上的tail功能，  通過此功能，可以實時檢視最新的日誌內容。 
使用方式：  
         選擇指定日誌檔案，點選“開啟實時檢視”，開始實時檢視相關日誌。
         點選“關閉實時檢視” ，或者離開當前頁面後，停止實時檢視功能。
使用限制：暫時不支援tail + grep功能，開啟實時檢視後，不支援關鍵詞過濾。

六海量日誌檢索-日誌檔案檢視
很多時候，我們需要從日誌中找出一些異常或者ERROR的關鍵資訊， 可以藉助日誌檢索功能實現這樣的訴求。
日誌檢索分為兩大塊內容：
日誌檔案： 日誌檔案實際上是一個“檔案樹”的檢視， 通過“檔案樹”，能夠快速的查詢各個服務對應的日誌檔案的基本資訊，包括檔名稱、路徑、寫入時間等。
使用方式： 支援“叢集”、“名稱空間”、“服務名稱”等過濾資訊快速查詢相關日誌檔案

如果我們需要從日誌中找出一些異常或者ERROR的關鍵資訊， 可以藉助日誌檢索功能實現這樣的訴求。
日誌搜尋：
   簡單而且好用的一個功能，快速對選定範圍內的日誌內容進行關鍵詞檢索，並且提供模糊和簡單的管理搜尋能力，如“?”，“*”等模糊，”||”(或)，“&&”(與)等這樣的關聯查詢

使用方式：
   關鍵字+過濾條件+時間範圍
   關鍵字支援的搜尋條件參考下面截圖“提示”
   過濾條件（包括高階搜尋）能夠有效地提高搜尋結果命中率和搜尋效率。
   同時支援搜尋結果的匯出功能，將搜尋結果匯出為csv結構

七海量日誌檢索—分詞

日誌服務預設提供安裝“空格”進行分詞。在此基礎上，使用者如果需要通過其他字元進行分詞的能力，可以在日誌介面上新增。

八日誌儲存和轉儲

九日誌下載
也許使用者也會有一些下載訴求，也可以從日誌介面中直接把日誌生成原始日誌檔案，下載到本地進行處理。

十日誌訂閱（投遞）
也行使用者也會有一些其他訴求，需要對日誌進行二次處理。 那麼日誌訂閱這個能力，應該能滿足訴求。
使用者可以把日誌服務作為一個收集日誌的通道，從DMS（分散式訊息服務）中直接獲取日誌，從而處理自己的業務日誌
1）需要提前建立好DMS佇列
2）需要佇列對日誌服務進行授權
3）使用者可以只訂閱日誌，不使用日誌的儲存和分析功能，參考如下提示

十一關鍵詞統計&報表
關鍵詞統計是針對日誌物件，統計一段時間內特定關鍵詞出現的頻率，我們稱之為“統計規則”，每一個統計規則的作用單用是前文提到的日誌桶。每一條規則統計的結果將會作為一個指標被投遞到AMS（應用監控服務）中，使用者可以在AMS對這個指標進行監控和管理，如生成報表或者設定告警規則。

1.關鍵詞統計規則，關鍵詞預設精準匹配(分詞符為空格)，支援使用*或?進行模糊匹配（*代表多個字元，?代表1個字元），也支援短語匹配（例如Hello World）


2.報表&告警設定，下圖是“test11”規則產生的指標，可以針對該指標進行新增到檢視生成報表，也可以對其設定閾值，監控其產生的頻率