然而，數據存儲和計算、數據組織的運行都是有成本的。當數據消耗成本較小時，企業通過設立獨立預算的大數據項目即可應對。但是隨著越來越多的數據產生且被應用，數據成本急劇增加，發展數據業務就必須被提升到企業數字化轉型的高度，之前的應對策略便不足以應對。毋庸置疑，接下來，數據部門將作為一個業務部門長期存在，這就需要數據部門需要有盡量清晰的業務邊界，有可控的投入產出。

同樣的轉型歷程，奇點雲創始團隊在阿裏巴巴時也是親身經歷。2013年，當數據應用不再以BI（看數據）為主，而是為核心業務（數據支撐廣告投放更精準）服務時，存儲優化和計算優化，以及整體有序的大數據業務規劃便成為了當務之急。

過去三年，在幫助企業構建數據中臺的實踐中，我們提煉了企業數字化轉型最主要的三大挑戰（業務挑戰、技術挑戰、組織挑戰），或者說企業必然會面臨的三大困境，看看數據中臺如何為企業發揮價值。

業務挑戰：如何以大數據賦能，反哺業務精耕？

越是成功的企業，業務發展的痛點越難以單點解決，需要整體思考、科學決策、集體行動，在業務的創新中解決這些痛點。

比如，如何做好會員精細化運營？如何為門店挑選合適的商品且控制好庫存？如何動態打折以至不損傷毛利等等，是擺在企業前面的一個個難題，直接影響到企業的規模擴展或者利潤提升，也是企業迫切需要解決的問題。

這就需要構建數據中臺，通過大數據賦能業務。

相比傳統數據業務，大數據業務的優勢在於，通過整體規劃智能化的數據應用，來推動業務創新。

在奇點雲過去三年的數據中臺實踐中，我們發現這些業務智能模型遍布在整個零售產業上下遊。比如通過全方位的數據反饋並指導買手做好選品；又如通過商品的聚類，發現某類特征的商品，可以優化打折速度和幅度，以此提高整體的折扣率從而增加毛利等。再比如，通過門店和商品數據，通過最優算法，解決“什麽樣的店鋪類型應該鋪什麽商品”，以提升門店的顧客進店轉化率，從而提升效益。

業務智能模型需要數據和業務系統深度結合，在運營工作中直接產生效果，讓業務能夠自動化、高效地運轉起來。

技術挑戰：如何高效的數據治理，遠離數據“黑洞“？

要做好有價值的業務智能模型，離不開高質量、高可用的、全域的數據中臺，數據治理就顯得非常重要。“數據治理”是企業數字化轉型中典型的大數據技術問題。

數據治理，解決的是“業務越來越復雜而數據現狀的臟亂差”帶來的挑戰。如何合理規劃數據結構？如何規範定義數據？如何有效管理數據資產？如何安全分發使用數據？這都需要一套完善的數據治理體系，驅動企業數據化運營轉型。

數據治理是基礎，也制約了企業的數據智能化方向的發展，難以做到數據創新。從理念上來看，“治”不應只在事後，更應在事前，“理”考驗的是業務與技術能力的結合。從實際內容上來看，數據治理是一套方法體系+工具集，旨在幫助企業合理的架構數據、規範的定義與加工數據、清晰的管理數據、安全的應用數據，促使數據從成本中心變成價值中心，驅動企業數字化轉型。

奇點雲總結了“數據治理的七個要素”如下：

1、數據的標準定義：數據維度及指標需要清晰的、統一的、標準的定義，如“最近一天門店在線上渠道的下單金額”。

2、數據模型的標準設計：按業務領域拆解業務過程，根據業務過程設計數據模型，好的模型標準是高內聚低耦合，能支撐未來擴展。

3、數據的規範開發與測試：在一定的編碼規則下開發，確保代碼質量的穩定性。

4、元數據的合理管理：數據的存儲是需要成本的，需要合理的生命周期管理。

5、數據質量的保障：數據的可用性、可信度，均需數據質量保障，數據質量從上遊采集、中間的數據加工，下遊的數據服務都需要一套質量檢測工具來保障準確性、完整性。

6、數據的安全管控：數據是企業的核心資產，數據安全上升為企業安全。數據安全包含數據的分級、敏感數據脫敏、分行列控制、高危訪問實時告警、事後的安全審計等。

7、數據的合規使用：企業成立數據安全委員會，為數據的合規使用制定規範，必須在合規範圍內安全使用數據。

組織挑戰：如何深挖數據紅利，成為業務創新“能手“？

從解決業務挑戰和技術挑戰出發，企業必須把數字化轉型定義為戰略問題，從而推動“數據中臺”的落地，這也給企業帶來了組織上的挑戰。

一般來講，傳統的數倉解決方式有兩大問題：一方面從業務系統直接計算數據，非解耦架構對業務系統影響極大。一方面基於DB構建的數據倉庫，計算及查詢效率難以滿足業務數據膨脹的大趨勢要求。解決這些問題，已經不是藏在“IT部門”的數據小分隊這一組織形式所能夠解決的。

2018年7月，阿裏雲總結了過去的成功經驗，在業界大力推出“數據中臺”解決方案，很好地解決了這些問題。奇點雲提出的數據中臺架構與設計，其出發點是支撐復雜的、多系統的、數量巨大的、多應用場景的業務形態。在組織層面理順以下部門或團隊關系，來解決企業在組織落地戰略上的困惑：

1.與傳統IT業務之間的關系：業務和計算分離，業務和數據分離

·大數據業務應與業務系統解耦，采用T+1離線計算方法產出結果數據，不直接在業務系統上進行數據計算，實現了業務和計算的分離、業務和數據的分離。

·大數據部門的工作起點是滿足多種計算場景的需求。支持大數據計算，結合了多種計算引擎，針對不同的場景使用不同的計算引擎，如離線計算引擎、實時計算引擎、多維分析引擎、即席查詢引擎、實時搜索引擎。

2.與業務部門的關系：站在企業視角打通數據，支撐業務部門用數據

·支持各種異構數據源打通，提供了一套基於reader和writer的抽象化數據抽取插件，除了提供系統自帶的插件外，還支持自定義實現reader和writer插件，通過公共的管道，實現結構化和非結構化數據的互相傳輸，統一技術框架。

·支持業務部門的高並發多場景的實時查詢，數據中臺集成了基於分布式的KV查詢框架，可以支持海量級別的查詢請求，並且響應時間可以控制在毫秒級別。

·支持多場景的數據服務，靈活快速支撐業務需求，向導和自定義雙模式快速生成API，實時監控API調用情況。

·面向業務部門，為業務部門的數據分析、開發提供培訓和技術支持。

3.與合作夥伴的關系：找到數據部門的核心能力

·應該深入業務，影響業務效率。數據模型融合離散的業務數據，可借助數據中臺快速構建數據模型，建立全方位的數據視角，消滅信息孤島和數據差異，靈活支撐業務的變動。

·不應該在大數據平臺建設、在很難培養的團隊能力上下功夫（比如算法能力），盡量借用外腦。

某服飾K案例：

客戶背景：想要通過數據智能化應用，提升管理效率，從集團CEO到各部門經理到一線店長，經營效率需提升，運營過程需要數據支撐，一方面是數據產出速度，一方面是緩沖的精準度。以及優化當前的人員排班，避免客流不大時過於飽和人效較低，高峰期時人員不夠導致訂單損失。

數據中臺解決方案：構建集團/銷售總經理/門店店長三層駕駛艙，拉通數據中臺的建設，順勢統一指標標準、數據采集標準、建數據模型標準，驅動企業的數據上一個臺階，為後續的創新打下基礎。

統一管理：企業管理行為落地KPI體系，KPI數據反映管理與經營的效率；

統一視角：一站式數據服務，從集團總裁，到分公司總經理，甚至到門店店長，都在一個系統中透視KPI、逐層從上到下穿透，直至發現問題。

統一口徑：所有指標及維度必須標準化，包括命名規範、口徑統一、數據模型統一，從而為指標解讀有據可依。

智能排班：通過計算每人的績效，結合到門店計算人效，聚類區分幾類人效人群，得出中等人效即可服務號一般門店。同時預測門店未來的訂單量，擬合中等人效水平，計算未來一周內門店各時間段需要的人力情況。結合門店和人員的區域化情況，從而實現了智能排班系統。

實施效果：上線後第一個月開始，集團高管月會，開始使用管理駕駛艙梳理盤點診斷業務；數據中臺支撐的倉庫單據從原來的10分鐘降低到5秒，緩沖補貨時間從30分鐘降低到5分鐘以下；上線3個月，離線的Excel模版報表，從500個降低到250以下；基於數據中臺創新了智能排班系統、店鋪前臺商品推薦系統；技術人員從傳統的Oracle存儲過程過度到大數據平臺，成長了數據模型研發與算法能力。智能排班上線，整體人員下降了10%（自然淘汰人效最低的人員），從而為公司每年帶來大幾千萬的利潤。

某母嬰M案例：

客戶背景：在企業運營效率低下，無標準數據體系及系統支持的情況下，企業所運營的APP千人一面，所有運營活動需要手工調整，幾乎沒有數據化運營。基本靠經驗，影響用戶體驗，老客戶復購率低。

數據中臺解決方案：該項目分兩期實施，一期規範采集，打通日誌、交易、售後等數據，構建統一數據中臺，建立標準指標體系，構建業務分析BI系統及一系列運營報表，支撐運營日常數據工作效率提升，快速洞察業務，驅動高效運營決策；二期構建會員、商品、店鋪標簽體系，增加實時日誌采集，在購物主鏈路四個環節（首頁-搜索-購物車-支付）做千人千面推薦引擎，提升用戶發現感興趣和可能需要的商品，提升新客戶的轉化率與老會員的復購率。

實施效果：上線了平臺運營中心，支撐了所有運營日常數據工作；購物主鏈路個性化推薦，提升了新客戶50%的轉化率，提升了老客戶80%的復購率；

我們認為，在AI驅動下的數據中臺大有可為。所有的數據一定是基於數據中臺形成一個業務閉環，把數據賦能給新零售前端的應用，可以幫企業真真正正實現自身的數字化轉型。

數據中臺元年，企業數字化轉型面臨的三大挑戰