資料中臺、相信這四個字大家一定不陌生。因為在2019年、資料中臺可謂是最火的概念之一，很多大公司都在佈局自己的資料中臺。 那麼資料中臺到底是什麼？它和我們熟知的資料平臺有啥區別？它為什麼會這麼火、能給企業帶來什麼價值呢？資料中臺整體架構和全景圖又是什麼呢？ 筆者有幸參與了公司資料中臺從0到N的建設，計劃從概念到落地，把中臺那些事跟您說透，與您一起分享學習。筆者公眾號：【胖滾豬學程式設計】 # 第一問：資料中臺是什麼 先不說那些官方的抽象的概念了，我想用我自己的大白話去說資料中臺的概念。 那就是**如果把前臺比作賺錢的。後臺比作支援的。那麼中臺呢就是支援加速賺錢**的。 這個比喻我覺得還是很形象的，**中臺呢它實質就是前臺和後臺的一個橋樑，並且它能在這當中起到很好的加速效果。這裡的加速，可以是效率上的提高，可以是協作上的共贏**。  舉個例子，比如前臺業務人員日常要分析廣告投放、在哪個平臺投放效益最好呢？抖音還是頭條呢？這直接涉及到公司的money了。 前臺人員要分析這個肯定要有資料吧、就會向後臺人員要資料：我需要哪些表你要幫我同步過來數倉裡，同步好了你要授權給我，然後你再去配置定時報表任務、配置好了你要再做一個前端的展示頁面。這還沒完，資料有問題了還得跟你逼逼叨叨！ 這個流程下來，前臺人員需要向後臺人員溝通100句。有了資料中臺、一句話都不用說了。上面這些操作，前臺人員都可以自行完成。 所以說資料中臺給我們業務效率帶來了巨大的提升。 **那資料中臺有沒有缺點呢？** 我覺得也是有的，本來後臺那些單身小哥哥可以蹭這個機會去跟前臺妹子打些交道、說不定姻緣就來了，畢竟前臺妹子多，結果被這資料中臺一搞，一句話都說不上了。這確實是資料中臺的一個缺點。 現在大家應該有個初步的印象了，那麼我再用官方抽象的語句做一個總結：資料中臺是**企業級能力複用平臺**！企業級大資料通過系統化的方式實現統一共享的資料組織。其中**共享**包括資料、資訊、技術、業務的共享等。它以服務化的方式賦能前臺資料應用，穩定可靠、高效的支援上層業務的快速創新，為業務**快速賦能**。 # 第二問：資料中臺和資料平臺的區別 因為我們一直以來都是聽資料平臺這個詞聽得比較多，所以第二問我們還是要來說一下它們之間的差別。 資料平臺你可以把它看成是資料集，那麼資料中臺呢他就是**資料集API**,那麼它們之間就差在API這三個字母上，API我想應該不需要過多解釋呢，大家都知道，比如學JAVA的時候有了JAVA API你才知道怎麼使用，那麼資料中臺相當於在資料平臺的基礎上告訴你這些資料**怎麼使用**。 另外，**資料中臺是偏向於業務的，而資料平臺是偏技術的**  但是、資料中臺和資料平臺也有千絲萬縷的聯絡。資料中臺需要依賴大資料平臺，大資料平臺完成了資料研發的全流程覆蓋，而資料中臺增加了資料治理和資料服務化的內容。總的來說，資料中臺吸收了傳統資料倉庫、資料湖、大資料平臺的優勢，同時又解決了資料共享的難題，通過資料應用，實現資料價值的落地。 # 第三問：資料中臺有哪些價值 資料中臺的價值，我想用三個關鍵詞來概括：效率、協作、質量 - 效率：比如資料研發的效率、發現數據的效率。為什麼我們每開發一個報表都要改程式碼呢？為什麼資料有問題的問題的時候，我們要找很久才能發現是某某上游的問題呢。 - 協作：很多應用開發，其實不同的專案組需求大致相同。還是用開發報表來舉例，不同業務線專案組開發報表都一個套路，但因為是別的專案組維護的，所以就是得分別開發一遍。就不能協作共贏？ - 質量：比如資料的一致性、準確性、及時性以及完整性，有沒有一個通用的平臺來檢驗這些資料呢。 上面說的還是有一點兒抽象，其實要具體回答這個問題，你首先得大概知道資料中臺有哪些功能哪些模組。比如資料地圖、元資料管理、資料血緣、資料處理等等都屬於資料中臺。每個模組都有它的功能，所以它的作用並不是一言兩語可以說得清，這裡筆者再舉一些真實的例子來對比一下： 例一：沒有資料中臺之前，業務人員根本就不知道HIVE數倉有哪些表，不知道這些表的具體資訊(列資訊、索引資訊、分割槽資訊、責任人資訊)。他要出一張報表還要來問你:"hello 幫我看一下HIVE有沒有同步這張表吧？hello 幫我看一下這張表是不是分割槽表吧？"。這個表有問題了，他又要來問你"hello 這張表負責人是誰啊？" 有了資料中臺之後，完全不需要管了。(**這個是元資料管理給我們帶來的便捷**) 例二：沒有資料中臺之前，我們根本就不清楚表的來源和鏈路，尤其是一些複雜報表的結果表，來源非常複雜可能涉及到多個系統，涉及十幾個源表。等到上游業務表要做變更、都不知道會影響哪些報表，線上已經執行上千個報表了啊！要去揪出這些來實在是麻煩！有了資料中臺之後，10秒鐘就能解決這個問題。(**這個是資料血緣給我們帶來的便捷**) # 第四問：資料中臺架構 我們說資料中臺是服務於公司業務的，因此必須要從自己的業務角度去進行一個全域性的規劃和架構。不過你依舊可以參考一下典型的架構圖：  筆者認為可以分為幾大部分： - 資料採集匯聚(資料庫，日誌，前端埋點，爬蟲系統等) - 資料處理和開發(離線計算、實時流計算等) - 資料治理(元資料管理、資料血緣、資料質量、資料安全等) - 資料服務(智慧報表、標籤系統、推薦系統、大屏等) 其中、資料採集和資料處理開發，你也可以理解為是資料平臺的東西。由於篇幅問題，不對每一個模組作詳細說明。筆者將在個人公眾號【胖滾豬學程式設計】詳細分享各個模組的概念、功能、以及生產落地方案！ # 第五問：我們該做資料中臺嗎？ 首先一句話：千萬不要跟風。中臺不是你想做想做就能做。 因為要做起一個真正意義上的資料中臺，一定是站在公司的層面去看待，而不是某個業務部門自己玩玩過家家。因此需要非常大的投入，人力、物力的投入。而這些系統是否能夠匹配中臺建設的需求，還需要持續打磨。另外必須對公司的整體業務滾瓜爛熟，才能有這種全域性的視野去建設中臺。 那什麼情況下我們可以考慮建設中臺呢？ - 企業是否有大量的資料應用場景？資料中臺本身並不能直接產生業務價值，資料中臺的本質是支撐快速地孵化資料應用。所以當你的企業有較多資料應用的場景時（一般有3個以上就可以考慮） - 企業存在較多的業務資料的孤島，需要整合各個業務系統的資料，進行關聯的分析，此時，你需要構建一個數據中臺。比如在我們做電商的初期，倉儲、供應鏈、市場運營都是獨立的資料倉庫，當時資料分析的時候，往往跨了很多資料系統，為了消除這些資料孤島，就必須要構建一個數據中臺。 - 當你的團隊正在面臨效率、質量和成本的苦惱時，面對大量的開發，卻不知道如何提高效能，資料經常出問題而束手無策，老闆還要求你控制資料的成本，這個時候，資料中臺可以幫助你。 - 當你所在的企業面臨經營困難，需要通過資料實現精益運營，提高企業的運營效率的時候，你需要構建一個數據中臺，同時結合視覺化的Bl資料產品，實現資料從應用到中臺的完整構建。 - 企業規模也是必須要考慮的一個因素，資料中臺因為投入大，收益偏長線，所以更適合業務相對穩定的大公司，並不適合初創型的小公司。 # 第六問：資料中臺的參考資料 不得不承認一點，網上關於資料中臺的資料太少了，筆者去年中旬從0開始建設資料中臺的時候，花了大量時間蒐集資料。現在也願意與大家分享一下我收集到的資料。 **書籍推薦：資料中臺-讓資料用起來。**  **博文推薦：** [什麼是中臺，什麼不是中臺。所有的中臺都是業務中臺](https://mp.weixin.qq.com/s?__biz=MzIwNjg0NjU4OQ==&mid=2247483675&idx=1&sn=1160f90ab8ebfa9aea841aa1adba1de8&chksm=971a2e09a06da71ff0bcf319e5d139dfdfdc50eae8832a42b721f82f079d58d4fc8db198c480&scene=21#wechat_redirect) [到底啥是平臺，到底啥是中臺？](https://mp.weixin.qq.com/s/-2LrJ_s4djXo542BrIy70A) [在構建資料中臺之前，你需要知道的幾個趨勢](https://mp.weixin.qq.com/s/OD4MSmAjVUqFKItfJMdfKA) [火熱的資料中臺對企業的價值是什麼？](https://mp.weixin.qq.com/s/a_sJa8I8kefvq8KsTqenqg) [你真地需要一箇中臺嗎？](https://mp.weixin.qq.com/s/LZ6RVz-XkdhcCYyVjG9RHw) [阿里的中臺戰略其實是個偽命題](https://mp.weixin.qq.com/s/R15Iys1v79y_rmkvsbVkAA) [從平臺到中臺 | Elasticsearch 在螞蟻金服的實踐經驗](https://mp.weixin.qq.com/s/Dob6Kjm6v7gE4o7B1HhqLA) [七問七答，親歷者講阿里中臺落地的實踐我的一年中臺實戰錄](https://mp.weixin.qq.com/s?__biz=MzI3NTI5NDk4NA==&mid=2247483773&idx=1&sn=c0e1448c02b0ce4bd36e2f02a8dbb37c&chksm=eb07bf1adc70360c0cc81eb96d1c6705986b47a41e38d210aac2988b823a6a88b326db0a20e3#rd) [滴滴出行構建業務中臺應對軟體複雜度的具體對策與實踐](https://developer.51cto.com/art/201712/559758.htm) [10張圖解密阿里資料中臺 ](https://www.sohu.com/a/343227286_387904) **落地推薦** 可以參考阿里的DataWorks產品，上面有很多關於資料中臺的原型圖可以作為參考。 [DataWorks ](https://help.aliyun.com/document_detail/144463.html?spm=a2c4g.11186623.6.916.5b7e53acr4GQd2)  筆者也將在公眾號【胖滾豬學程式設計】上分享自己搭建資料中臺的親身經歷，不多說無用概念，直接把生產落地方案分享給你！ **最後總結：以使用者為中心，以願景為指引，從戰略入手，用科學有效的方法，步步為營沉澱企業級能力，付以必要的組織與系統架構調整，方得中臺。**  > 本文轉載自公眾號【胖滾豬學程式設計】 用漫畫讓程式設計so easy and interesting！歡迎關注！形象來源於微信表情包【胖滾家族】喜歡可以下載哦~