雲棲大會大資料計算專場,直擊超大規模的大資料計算服務
9月19日-22日杭州雲棲小鎮,2018超精彩的雲端計算盛會—雲棲大會進行中, 大會共170餘場前沿技術、產品及行業峰會, 加速科技普惠, 驅動數字中國!
雲棲大會首日,與主論壇一同亮相的大資料計算專場獲得了極大關注。阿里巴巴計算平臺六位技術專家與衣二三公司CTO,共同引領開發者們直擊阿里巴巴超大規模的大資料計算服務,解構資料世界,分享大資料計算前沿科技。整個下午座無虛席,眾多來賓站立參與全程。
作為阿里巴巴集團旗艦級大資料平臺, MaxCompute承載了阿里集團99%的資料儲存及95%的計算能力。在2015和2016年的Sort Benchmark中,MaxCompute打破多項世界紀錄; 2017年10月,將TPC的benchmark適配到MaxCompute,進行全球首次基於公共雲的bigbench大資料基準測試,資料規模被拓展到100TB,效能達到7830QPM,成為首個突破7000分的引擎。 2018年該效能結果被提升超過2倍,達到18176.71QPM,再次用實力證明“中國計算,世界能力。”
MaxCompute不僅是阿里巴巴集團的統一大資料平臺,更是數以萬計的雲上客戶的“水電煤”。也許你感覺不到它的存在,但它卻是無處不在。
當日下午,阿里巴巴計算平臺研究員,阿里巴巴通用計算平臺負責人關濤,從計算力、生態化、智慧化、圖關係四個方面概括介紹了MaxCompute作為新一代大資料計算引擎在過去一年取得的成果以及未來發展的方向。從關濤的介紹中不難看出,MaxCompute提供的不僅是單一的計算引擎,而是具備EB級規模的雲原生、高效能、面向企業完整的大資料服務。
(圖為:阿里巴巴計算平臺研究員 阿里巴巴通用計算平臺負責人 關濤)
接下來幾位分享嘉賓分別從智慧化、生態化、計算力、圖關係幾個方面對MaxCompute產品和技術演進做了深入的解析與分享。
Auto Data Warehouse:讓MaxCompute自動駕駛
(圖為:阿里巴巴計算平臺 高階技術專家 張軒丞)
MaxCompute目前在全球有數十個資料中心、數百萬的資料表以及每天數百萬的作業執行,傳統的基於專家經驗的資料排布、資源管理以及作業優化等工作已經無法滿足需求。MaxCompute通過對歷史作業特徵的學習,將技術專家對大資料處理的理解賦能機器,讓演算法和系統幫助使用者自動、透明、高效地進行數倉管理和重構優化工作,做到先你所想,更好地理解資料,實現資料智慧排布,作業全球排程,做到大資料處理領域的“自動駕駛”。
MaxCompute 聯合計算平臺解析:Spark 在 MaxCompute 中的應用
(圖為:阿里巴巴計算平臺 技術專家 陳明)
內容中,陳明為現場及線上來賓們首先介紹了MaxCompute為什麼要擁抱開源?在開源過程中是如何解決最小化引入開源技術成本及打通資料、適配開源介面等諸多問題。深入解析了Spark on MaxCompute 的實現方式以及聯合計算平臺如何助力開源引擎安全的執行在 MaxCompute上。
基於MaxCompute構建智慧化運營工具
(圖為:衣二三網路技術有限公司 CTO 程異丁)
衣二三網路技術有限公司CTO程異丁先生出席了本次大資料計算專場的分享,作為亞洲最大的共享時裝月租平臺,衣二三基於MaxCompute構建起個性化、智慧化運營工具,用於使用者和商品的運營,完成了精準的商品分析和採購指導,在業務上實現了選衣頁推薦點選率提升70%,相關單品推薦點選率提升150%,人均點選數提升110%。
MaxCopmute SQL全新進展
(圖為:阿里巴巴計算平臺 高階技術專家 吳金朋)
在過去的一年中,MaxCompute全面升級2.0版本,在保證迭代中穩定性的前提下,從系統性能,相容開源生態,語言能力和開發體驗等幾個方面做了全面的提升。具備了更完備的SQL語法功能,更靈活的SQL擴充套件能力,更方便的資料接入,更清晰的思維方式以及更強大的開發工具支援。
基於MaxCompute 的大規模科學計算
(圖為:阿里巴巴計算平臺 技術專家 秦續業)
本話題中,分享嘉賓帶來了基於MaxCompute 的開源大規模科學計算引擎(相容 NumPy)的介紹。對Mars的背景、核心以及原理做了詳細的介紹。最後公佈了Mars後續計劃開放原始碼,也希望有感興趣或需求的開發者可以一起加入。
阿里圖計算場景、挑戰與下一代引擎技術
(圖為:阿里巴巴計算平臺 資深技術專家 錢正平)
錢正平在專場的壓軸主題分享中從圖計算的角度為大家帶來了全新視角的解讀。
今天的阿里巴巴擁有多樣化的海量資料,有效的資料分析與挖掘不僅可以提高線上服務質量,更是公司的核心競爭力。圖模型可以更自然的表達資料間的語義關聯。利用這些關聯特徵,可以增強大資料分析,提供更精準和可靠的資訊。錢正平著重介紹圖計算在阿里的重要應用場景,包括它們需要的多樣化的圖操作、演算法和對圖計算系統提出的新挑戰。會後很多客戶對圖計算產生濃厚興趣,紛紛表示希望可以儘快實現產品商業化,惠及到更多的企業和開發者。