• 使用非常簡單。使用者只需要完成2步配置即可以把日誌服務Logstore的日誌資料遷移到MaxCompute中。
• 避免重複收集工作。由於日誌服務的日誌收集過程已經完成不同機器上的日誌集中化，無需重複在不同機器上收集一遍日誌資料後再匯入到MaxCompute。
• 充分複用日誌服務內的日誌分類管理工作。使用者可讓日誌服務中不同型別的日誌（存在不同Logstore中）、不同Project的日誌自動投遞到不同的MaxCompute表格，方便管理及分析MaxCompute內的日誌資料。

在大部分情況下日誌資料在寫入Logstore後的0.5~1個小時匯入到MaxCompute，使用者可以在控制檯“投遞任務管理”檢視匯入狀態。匯入成功後用戶即可在MaxCompute內檢視到相關日誌資料。

結合日誌服務的實時消費，投遞日誌資料到MaxCompute的資料通道以及日誌索引功能，可以讓使用者按照不同的場景和需求、以不同的方式複用資料，充分發揮日誌資料的價值。

配置流程

舉例日誌服務的一條日誌如下：

16年01月27日20時50分13秒
10.170.148.237
ip:10.200.98.220
status:200
thread:414579208
time:27/Jan/2016:20:50:13 +0800
url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0UjpekFQOVJW45A&Date=Fri%2C%2028%20Jun%
 
202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

日誌左側的ip、status、thread、time、url、user-agent等是日誌服務資料的欄位名稱，需要在下方配置中應用到。

1.第一步：配置AK&自動開通

首先在日誌服務的控制檯“Logstore列表”點選日誌投遞列“建立ODPS”，即打開了配置AK（注意複製過來不要有空格）來自動開通數加及大資料計算服務MaxCompute（原ODPS）（預設是按量後付費模式，具體參見

目前暫不支援子使用者來投遞大資料計算服務MaxCompute（原ODPS）。

2.第二步：建表&對映資料

資料模型對映

在日誌服務和大資料計算服務MaxCompute（原ODPS）之間同步資料，涉及兩個服務的資料模型對映問題。你可以參考日誌服務日誌資料結構和ODPS表瞭解兩種資料結構。

將樣例日誌匯入MaxCompute，分別定義MaxCompute資料列、分割槽列與日誌服務欄位的對映關係：

• MaxCompute表至少包含一個數據列、一個分割槽列。
• 系統保留欄位中建議使用__partition_time__，__source__，__topic__。
• MaxCompute單表有分割槽數目6萬的限制，分割槽數超出後無法再寫入資料，所以日誌服務匯入MaxCompute表至多支援3個分割槽列。請謹慎選擇自定義欄位作為分割槽列，保證其值是可列舉的。
• 系統保留欄位__extract_others__歷史上曾用名_extract_others_，填寫後者也是相容的。
• MaxCompute分割槽列的值不支援”/“等特殊字元，這些是MaxCompute的保留欄位。
• MaxCompute分割槽列取值不支援空，所以對映到分割槽列的欄位必須要在日誌裡存在，空分割槽列的日誌會在投遞中被丟棄。

投遞配置

配置好AK後進入到投遞配置頁面，在該頁面需要配置投遞大資料計算服務MaxCompute（原ODPS）的相關內容：

選項含義：

• 該步會預設為客戶建立好新的MaxCompute Project和Table，其中如果已經是MaxCompute老客戶，可以下拉選擇其他已建立Project。
• 日誌服務投遞MaxCompute功能按照欄位與列的順序進行對映，修改MaxCompute表列名不影響資料匯入，如更改MaxCompute表schema，請重新配置欄位與列對映關係。
• 日誌服務資料的一個欄位最多允許對映到一個MaxCompute表的列（資料列或分割槽列），不支援欄位冗餘。

• __partition_time__ 格式

將日誌時間作為分割槽欄位，通過日期來篩選資料是MaxCompute常見的過濾資料方法。

日誌服務根據日誌time欄位和分割槽時間格式計算出日期作為分割槽列，且為滿足MaxCompute單表分割槽數目的限制，日期分割槽列的值會按照匯入MaxCompute間隔對齊。

舉例來說，日誌提取的time欄位是”27/Jan/2016:20:50:13 +0800”，日誌服務據此計算出保留欄位__time__為1453899013（Unix時間戳），不同配置下的時間分割槽列取值如下：

1. 請勿使用精確到秒的日期格式：1. 很容易導致單表的分割槽數目超過限制（6萬）；2. 單次投遞任務的資料分割槽數目必須在512以內。
2. 以上分割槽時間格式是測試通過的樣例，你也可以參考Java SimpleDateFormat自己定義日期格式，但是該格式不得包含斜線字元”/“（這是MaxCompute的保留欄位）。

編輯投遞配置

在Logstore列表投遞項，單擊“修改”即可針對之前的配置資訊進行編輯。其中如果想新增列，可以在大資料計算服務MaxCompute（原ODPS）修改投遞的資料表列資訊，則點選“修改”後會載入最新的資料表資訊。

投遞任務管理

在啟動“投遞功能”後，日誌服務後臺會定期啟動離線投遞任務。使用者可以在控制檯上看到這些投遞任務的狀態和錯誤資訊。具體請參考日誌投遞任務管理。

如果投遞任務出現錯誤，控制檯上會顯示相應的錯誤資訊：

當投遞任務發生錯誤時，請檢視錯誤資訊，問題解決後可以通過管理控制檯中“日誌投遞任務管理”或SDK來重試失敗任務。

MaxCompute中消費日誌

MaxCompute使用者表中示例資料如下：

| log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status |

+------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+

| 10.170.148.237 | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.200.98.220 | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0UjpekFQOVJW45A&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 |

+------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+

__partition_time__ 使用方法

使用MaxCompute的字串比較篩選資料，可以避免全表掃描。比如查詢2016年1月26日一天內日誌資料：

__extract_others__ 使用方法

log_extract_others為一個json字串，如果想獲取該欄位的user-agent內容，可以進行如下查詢：

1. get_json_object是MaxCompute提供的標準UDF。請聯絡MaxCompute團隊開通使用該標準UDF的許可權。
2. 示例供參考，請以MaxCompute產品建議為最終標準。

其它

授予ODPS資料投遞許可權

如果在數加平臺執行表刪除重建動作，會導致預設授權失效。請手動重新為日誌服務投遞資料授權。

在ODPS專案空間下新增使用者：

[email protected] 是日誌服務系統賬號（請不要用自己的賬號），授權目的是為了能將資料寫入到ODPS

ODPS專案空間Read/List許可權授予：

ODPS專案空間的表Describe/Alter/Update許可權授予：

確認ODPS授權是否成功：

SHOW GRANTS FOR aliyun$shennong_open@aliyun.com;

A       projects/{ODPS_PROJECT_NAME}: List | Read

A     projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update