阿里雲 MaxCompute 2018-09 新功能釋出
2018年9月大資料計算服務 MaxCompute 又釋出新功能啦！
【新功能】MaxCompute視窗函式支援WINDOW_CLAUSE
適用客戶
資料開發人員在進行資料開發過程中，用到呼叫window函式視窗時，SQL裡反覆寫上OVER語句會顯得冗餘，MaxCompute在該版本中支援WINDOW語句預定義視窗，避免了這一現象。
釋出功能
為了避免多次呼叫window函式視窗時，SQL裡反覆寫上OVER語句會顯得冗餘，MaxCompute在該版本中支援WINDOW語句預定義視窗。
【新功能】子查詢支援SCALAR SUBQUERY
參考文件
適用客戶
適用於資料開發人員，在做資料開發時，遇到SUBQUERY的輸出結果為單行單列的時候，可以當做標量來使用。
釋出功能
MaxCompute SQL 中當SUBQUERY的輸出結果為單行單列的時候，可以當做標量來使用。
【新功能】MaxCompute SQL-支援OUTER LATERAL VIEW
參考文件
適用客戶
適用於資料開發人員，在做資料拆分的同時進行聚合的需求時，使用Outer Lateral View功能和split、explode等UDTF一起封裝使用。
釋出功能
Lateral view通常和split、explode等UDTF一起封裝使用，它能夠將一行資料拆成多行資料，在此基礎上可以對拆分後的資料進行聚合。
Lateral view首先為原始表的每行呼叫UDTF，UDTF會把一行拆分成一行或者多行，Lateral view再把結果聚合，產生一個支援別名表的虛擬表。
Lateral view outer：當table function不輸出任何一行時，對應的輸入行在Lateral view結果中依然保留，且所有table function輸出列為null。
【新功能】MaxCompute 支援使用UDJ(User Defined Join)自定義SQL的Join操作
參考文件
適用客戶
資料開發人員在遇到很多跨表操作的需求時，原來要依賴於內建join + 各種UDF/UDTF+複雜的SQL語句來完成，一些情況下還只能完全自定義MR來完成，這兩個方式門檻高且執行效率低。MaxCompute在UDF框架中新近引入的一種新擴充套件機制：UDJ(User Defined Join)，來實現靈活的跨表、多表自定義操作，同時減少不得不通過MR等方式對分散式系統底層細節的操作。
釋出功能
MaxCompute在UDF框架中新近引入的一種新擴充套件機制：UDJ(User Defined Join) 來實現靈活的跨表、多表自定義操作，同時減少不得不通過MR等方式對分散式系統底層細節的操作。
【新功能】MaxCompute支援使用UDT在SQL中直接引用第三方語言的類或者物件，獲取其資料
參考文件
適用客戶
適用於資料開發人員在進行資料開發過程中，為了實現一些簡單的功能而用到第三方語言的類或物件時，之前只能使用UDF這個過程繁雜的方式，通過UDT則可以直接在SQL中直接呼叫，提升了SQL語言編譯過程的易用性與語言的表達能力，進而提升資料開發人員的工作效率。
釋出功能
MaxCompute的UDT提供了呼叫第三方庫的功能，不需要用特殊的DDL語法來定義型別的對映，直接在SQL中使用。
【新功能】國際站開啟FullScan限制功能
參考文件
適用客戶
追求成本控制的MaxCompu使用者。
釋出功能
通過限制全表掃描，可以控制SQL/MR計算量，避免使用者因暴力掃描導致的貴賬單。
【體驗優化】MaxCompute優化器(Optimizer)效能提升
MaxCompute優化器(Optimizer)基於MaxCompute-bench測試集合整體效能在生產環境可以提高約7%。
優化功能
1、Advanced Shuffle Remove：可以支援Sorted Merge Join和Sorted Aggregate的排序和分佈屬性被後續操作利用，從而減少Shffle操作。
2、Dynamic Parallelism： 對執行時的資料量動態估計reduce數量。
3、Auto Map Parallelism：Map split size支援列裁剪和壓縮比估計。
4、Map Join小表彙集： Map Join小表將首先彙集到單節點，提升broadcast的效率。
5、多處優化效能調優：分割槽裁剪、代價估計演算法的效能有多處調優，優化做得更快。
6、更完整的Join Grouping。
【新地域/可用區】大資料計算服務 MaxCompute 英國（倫敦）節點正式開服售賣
現在開通
大資料計算服務 MaxCompute 英國（倫敦）節點開服售賣。 可在國際站、中文站、日本站購買迪拜節點資源，在控制檯按需求開通project。
原文連結
本文為雲棲社群原創內容，未經允許不得轉載。