態勢感知日誌分析 - 一行命令匯出日誌
背景
目前，阿里雲態勢感知與日誌服務打通，對外開放平臺依賴或者產生的日誌，包括網路、主機、安全三大類共14種子類日誌。提供近實時的日誌自動採集儲存、並提供基於日誌服務的查詢分析、報表報警、下游計算對接與投遞的能力。
本文介紹如何匯出日誌以便在某些場景下使用。
匯出日誌到本地
這裡介紹如何使用阿里雲日誌服務的命令列工具（CLI）匯出態勢感知的相關日誌到本地。
命令列準備工作
-
安裝命令列工具（CLI）
準備一臺可以連上阿里雲的機器，通過命令列安裝CLI：
pip install -U aliyun-log-cli
如果遇到網路或者其他按照問題，可以參考 ofollow,noindex" target="_blank">文件 。
-
獲取當前賬戶的祕鑰
點選阿里雲控制檯右上角的登入圖示，選擇
accesskeys，
點選警告的確認後，在祕鑰列表中，選擇一個沒有過期的祕鑰，點選 顯示 檢視並複製祕鑰的ID和Key
注意：記錄的祕鑰請特別注意安全，推薦使用子賬號祕鑰的方式進行管理。
- 配置命令列的賬戶祕鑰
aliyunlog configure 祕鑰ID祕鑰Key 區域路徑
注意：其中 區域路徑 取決於您的態勢感知的區域，並且根據您執行命令所在的環境，有一些變化：
| 態勢感知區域 | 執行命令列所處環境 | 區域路徑 |
|---|---|---|
| 國內 | 任意機器 | cn-hangzhou.log.aliyuncs.com |
| 國內 | 杭州區域的ECS上 | 推薦 cn-hangzhou-intranet.log.aliyuncs.com 效能更佳 |
| 馬來西亞 | 任意機器 | ap-southeast-3.log.aliyuncs.com |
| 馬來西亞 | 吉隆坡區域的ECS上 | 推薦 ap-southeast-3-intranet.log.aliyuncs.com 效能更佳 |
-
獲取日誌服務的專案名和日誌庫名
進入態勢感知的控制檯，進入 日誌分析 後，可以看到日誌服務的專案名稱和日誌庫名：
可以看到，這裡專案名稱（Project）是： sas-log-阿里雲賬戶ID-cn-hangzhou ，日誌庫名（Logstore）是： sas-log 。
操作步驟
- 使用命令列，進入想要下載日誌的儲存的目錄，例如
dump_data：
cd dump_data
- 執行CLI命令：
aliyun log pull_log_dump --project_name="專案名" --logstore_name="sas-log" --from_time="2018-01-24 16:00:00 CST" --to_time="2018-01-24 17:00:00CST" --file_path="./dump_{}.data"
這裡拉取從時間 2018-01-24 16:00:00 CST 到 2018-01-24 17:00:00 CST 並把資料下載本地。
-
下載完成
下載完後會顯示下載的檔案列表以及日誌數，例如：
{"files": {"./dump_1.data": 75, "./dump_2.data": 14}, "total_count": 89}
因為是併發下載，所以會儲存在多個檔案中，檔名根據 /data/dump_{}.data 中的 {} 替換成多個併發的數字（一般是分割槽號）。檔案的內容格式為一行一個日誌，例如：
{"k1":"a1", "k2":"a2"}
{"k1":"b1", "k2":"b2"}
...
進一步參考
進一步參考相關最佳實踐：