1. 程式人生 > >大資料心法來了!一站式玩轉MaxCompute,還有開發者資源等你領!

大資料心法來了!一站式玩轉MaxCompute,還有開發者資源等你領!

阿里雲大資料計算平臺開發者版2019年3月推出,MaxCompute正在成為開發者的免費大資料平臺。今天,MaxCompute在企業構建自己的資料處理平臺實踐中起到了至關重要的作用,我們特別精選了企業的真實實踐案例:從最大的興趣社群平臺小打卡;到90後、00後喜歡的克拉克拉;從網際網路金融的典型天弘基金;到耳熟能詳的二手車平臺人人車……為你帶來了超多的MaxCompute玩法。

小打卡案例 >>>
小打卡是國內最大的興趣社群平臺,每天能夠產生上百萬條新的內容。在這樣超大的內容生產背景下,平臺也面臨著千人千面、內容分發上的巨大挑戰。依託於阿里雲MaxCompute,小打卡已經完成了TB級資料倉庫方案。在此基礎之上,結合機器學習PAI,實現了千人千面的推薦演算法。相反,如果完全基於開源的Hadoop框架,從服務部署、視覺化開發、程式碼管理、任務排程、叢集運維等多方面,均需要大量的人力來開發與維護。基於阿里雲MaxCompute,不論是人力成本,還是計算成本,還是運維成本,都降到了最低。

美柚案例 >>>
美柚2014年底遷移到阿里雲大資料計算平臺,開始使用資料倉庫MaxCompute,幾乎零運維,極大降低了大資料的使用門檻。MaxCompute的資料整合工具可以很方便的將不同資料來源的資料進行匯入匯出,基本實現常用資料來源的全覆蓋,從而實現大資料的全鏈路打通。所有的程式碼管理、排程、監控、報警阿里雲MaxCompute都幫美柚做好,美柚只需使用它,讓美柚更專注於資料開發。

千尋位置 >>>
千尋位置作為高精度定位服務公司,依託阿里雲端計算平臺快速實現了傳統資料應用模式到統一大資料體系的轉型。基於阿里雲 MaxCompute和DataWorks 構建了企業級資料倉庫體系,底層資料儲存方便、便宜、易拓展,計算效率高、反應快,並支援超大規模資料任務自動化管理。和阿里雲的其他平臺如 Quick BI良好的相容打通,很方便的實現了資料應用一體化,減少了大量額外的開發成本和人力成本。平臺一直和使用者有良好溝通、反饋,不斷優化改進,提供更好的使用者支援,讓我們也有信心更深入的依賴於阿里雲平臺發掘更多價值。

中郵智遞 >>>
中郵智遞資料平臺發展到現在經歷了四個階段:(1) 直接在業務生產系統開發生成報表,提供業務部門查詢;(2) 採用kettle等工具抽取各業務系統資料並處理生成報表;(3) 使用hive構建離線資料倉庫,抽取業務資料統一處理並生成報表推送至報表系統;(4) canal+kafka+tidb構建實時數倉進行實時OLAP分析,spark streaming+kafka+redis構建實時資料展示。目前中郵智遞也在嘗試把現在ECS主機上的系統和服務遷移到阿里雲的大資料平臺中,例如數加和datav。以及使用ADB實現實時OLAP達到低延遲,高併發。

人人車 >>>


通過阿里雲MaxCompute,人人車平臺快速高效的完成數倉搭建,並且資料倉庫安全可靠,執行平穩,在每日資料峰值階段的表現優異。目前已開始為公司貢獻資料上的效益。 通過阿里雲MaxCompute搭建資料倉庫為我們節省30%的服務成本及大量的人力成本,大大節省企業的研發時間,使企業研發團隊可以更加專注於業務本身的研發。MaxCompute為企業提供完善的資料處理方案、大規模的計算儲存、細粒度的節點依賴管理等功能,大大優化了企業資料平臺的效能。服務安全可靠,每天穩定在8點前產出企業需要的資料。

高德地圖 >>>
高德對資料平臺的要求不僅是資料整合、開發、運維中心、資料質量、資料地圖、資料安全以及資料服務等全鏈路All in One,還希望能以視覺化的方式進行使用者互動,以提高開發效率。以運維中心為例,希望所使用的工具能夠將排程節點視覺化,方便進行不同時間粒度的任務依賴。同時,還希望擁有視覺化的資料地圖用於管理元資料資訊,方便上下游即時檢視。MaxCompute正是符合高德資料業務訴求的給力產品。不僅具有零學習成本和完善的IDE等優勢,更具備超高彈性,讓高德得以輕鬆應對國慶假期的超高流量。同時,基於MaxCompute等阿里雲產品,讓高德內部迄今為止最大的公共專案“魔方”得以實現,為使用者提供更優質的出行服務。

多點線上 >>>
MaxCompute是真正的按量付費,對自建Hadoop、使用EMR和使用MaxCompute的成本進行比較的話,差距非常大,整體成量級降低。日常開發 使用SQL,效率高,易除錯,文件清晰。MaxCompute不需要運維叢集,並提供支撐百萬級任務的排程系統,如果自己搭建這樣排程系統還是 比較困難的。

阿里媽媽 >>>
阿里媽媽作為集團內MaxCompute使用者,在搜尋廣告、定向廣告、達摩盤、報表和BI分析等場景下都有使用MaxCompute。對阿里媽媽來講,MaxCompute的優勢在於資料友好、生態完善持續改進、效能強悍。在具體的場景中,MaxComput可以完成千億級樣本百億級特徵的訓練實驗;跑一個MapReduce或SQL的Job,可以實現十萬級例項的併發排程。超強效能支撐了阿里媽媽單日十萬級別的job和千億級別報表資料。

新華智雲 >>>
新華智雲運用大資料和人工智慧技術,致力於為媒體行業賦能。媒體大腦是新華智雲底層的產品品牌,數芯是媒體大腦基礎的資料平臺。數芯定位為媒體大資料開放平臺,平臺中包含了媒體行業所依賴的各種各樣的資料。數芯基於MaxCompute進行資料處理和演算法加工,將挖掘的有價值資料內容和能力開放給上層使用者。

墨跡天氣 >>>
墨跡天氣日誌分析業務遷移到MaxCompute後,開發效率提升超過5倍,儲存和計算費用節省了70%,每天處理分析2TB的日誌資料,更高效的賦能其個性化運營策略。MaxCompute可根據業務情況做到計算資源自動彈性伸縮,天然整合儲存功能。通過簡單的幾項配置操作後,即可完成資料上傳,同時實現了多種開源軟體的對接。

眾安保險 >>>
眾安保險作為國內首家網際網路保險公司,從創立之初計算平臺就使用MaxCompute。MaxCompute不僅僅是一個計算平臺,它還提供可用的IDE(DataWorks、Studio)開發工具進行資料分析和挖掘,從而降低了眾安最初的開發成本。MaxCompute不僅為眾安提供任務排程系統、元資料、資料質量監控、資料服務與安全,而且生態的豐富,資源與工具的共享,都能很好的滿足眾安的使用需求,讓眾安可以有更多時間去接觸使用者,為使用者創造更大價值。

華大基因 >>>
基因技術從實驗室逐漸進入生活場景,資料體量爆發式增長,遠超出傳統計算能力所能支援的範圍。基於這樣的背景,華大選擇了MaxCompute。在百萬人基因組專案中,對人群結構的分析,傳統計算方式需3-5天,MaxCompute可使整個分析在1小時內完成,極大加速了資料吞吐和交付速度。在對百萬人基因資料進行遺傳結構分析時,計算複雜度使得傳統計算無法支撐,利用MaxCompute,華大取得了技術突破,在幾小時內完成一個人與十萬人中所有遺傳距離計算,計算成本大幅降低至1千美金以內,這樣的例子華大基因還在不斷開發中。

小紅脣 >>>
小紅脣App擁抱大資料計算平臺MaxCompute以來,體驗非常好,其感受主要是不需要像傳統大資料業務一樣構建非常複雜的Hadoop棧並對其進行運維,從而節省了資金和時間成本。目前,小紅脣的業務資料庫完全在MaxCompute平臺,只需在數加的IDE裡做一些簡單的配置即可將資料完整遷移。在MaxCompute上,可以用類SQL的語句編寫資料清洗和轉換的執行任務,平臺同時提供管理器對任務進行排程和管理。MaxCompute整個生態系統設計的比較完善,無需專職資料團隊,降低人員成本,極大提升了效率。

優酷 >>>
優酷去做了從Hadoop到MaxCompute的這樣一個升級。這個是2016年5月到2019年現在的5月優酷的發展歷程,上面是計算資源,下面是儲存資源。大家可以看到整個使用者數,還有表的資料,實際上是在呈一個指數式增長的。但是在2017年5月,當優酷完成了整個Hadoop遷移MaxCompute後,優酷的計算消耗,還有儲存的消耗實際上是呈下降趨勢的,整個遷移得到了一個非常大的收益。

點選免費開通MaxCompute開發者版 >>>

 

本文作者:晉恆

原文連結

本文為雲棲社群原創內容,未經