作者：DataPipeline CEO 陳誠

上週我們探討了資料的「資產負債表」與「現狀」，期間拋給大家一個問題：如果我們製作一個企業的“資料資產負債表”，到底會有多少資料是企業真正的資產？

資料出現問題並不僅僅是資料部門的原因，更多是組織架構及配合的問題。相較於追責某些工具，反而應該思考該用何種理念和方法來面對背後的“元問題”。基於此，我們提出應從DataOps入手。

一、DataOps理念

Gartner對於DataOps的定義
 

Data ops is the hub for collecting and distributing data, with a mandate to provide controlled access to systems of record for customer and marketing performance data, while protecting privacy, usage restrictions and data integrity.

該定義沒錯，不過我們解讀DataOps理念的宗旨在於以最快的速度用資料滿足業務發展需要，並保障其質量。 在業務發展日新月異，且資料、系統和團隊又重度分裂的情形下，我們應當用文化、流程和工具實現資料驅動業務的最佳實踐。 為能深入理解DataOps的理念，我們不妨先進行回顧：

過去很多企業投入資源踐行了DAMA（資料管理協會）的資料治理模式，也收到了很多效果，但在新時代的發展需求下，不同的經濟週期裡，我們逐漸看到了DAMA資料治理框架的一些侷限性和需要調整的地方。 DAMA提出的資料治理框架，非常詳細地闡述了在建設和使用資料過程中常見的問題，諸如組織、流程、角色和一些實踐原理。但最缺失的一點是，在競爭如此激烈的商業環境中，這樣大而全的模式很難嚴格按照配方從一而終地實踐下來，週期太長，見效太慢。

為此，DataOps借用了DAMA資料治理的基礎框架，且揉和了DevOps理念中敏捷快速、持續整合的關鍵點，強調通過調整文化、流程和使用的工具，在安全合規的前提下，快速提升業務價值。同時將持續迭代資料架構，不斷強化組織的資料思維作為核心理念。

接下來我們需要從企業所遭遇的資料困境和資料部門的困境兩個層面進行分析：

 企業的資料需求往往從以高層希望關注的業務指標（KPI）為起點，逐漸發展延伸為中層管理者被動或主動需要關注的指標（KPI），這些指標非常重要，因此很多人說：“凡是高管能看到的KPI指標都會提升。”這句話沒錯，但是隻使用這些描述性的指標就像開車時只能看後視鏡，如果以一個相對狹窄而固定的角度去看在企業發展歷程中發生的事，所能得到的結論也是有限的。

在經濟上行期，資料的價值很難被重視，因為有很多方式可以增加收入。而在橋水基金創始人Ray Dalio所描述的下行經濟週期中，大眾預期普遍悲觀，增長乏力，需要從粗放轉化到精細經營，而精細化的基礎就是資料。因此企業高管無不在思考，如何能使用資料讓企業儘快向前看，驅動新的增長點，產生更多新的業務價值。但高管們深知，這時只能去啟用一線業務使用者使用資料的思維和潛力。而要做到這點，面臨兩個挑戰：

1）讓資料使用安全合規，建立嚴格的許可權管控；
2）快速匹配業務部門相應的資料能力和資源。

這兩個重要問題，目前都沒有成熟有效的方法去實踐解決。很多高管希望通過資料建立與外部的連線，變革商業模式，增加收入。不可否認，願景是美好的，但當內部資料出現流轉使用效率低下、質量問題層出不窮等困境時，也只能望洋興嘆。 導致這種局面的本質原因，在於資料部門經常處於一種永遠竭盡全力滿足各種需求，卻始終得不到認可的狀態中。為何如此？

通常資料部門面臨人手不足的問題，因為整個企業，從前臺業務、市場，甚至到中後臺的財務、供應鏈、人力資源，都在向一個部門提需求，由一個部門承接。其資料的多樣性，業務的變化性，資料量的日益增長給系統穩定性帶來了不小挑戰。導致資料部門每天對外要理解業務資料需求的內涵，竭力排期滿足，對內要運維所使用的陳舊工具和系統，保證其正常執行，每天不堪重負，沒有時間和人力去思考如何自動化、智慧化地提高效率。這時，一旦出現數據質量、元資料等問題，就會被挑戰得體無完膚，甚至會升級到能力和信任的高度。

有些企業在業務線中放置業務分析師，希望藉助一些自助分析工具和框架，來分流和緩解資料部門的壓力，這是積極有效的嘗試。但會造成中心化的資料架構部分負載增加，運維難度和成本進一步上升。有時經常因無法說明這些新的開銷對於業務增長的意義，以及責權界限不清，收不到預期的效果。 長此以往，這種落後於時代的組織形式和技術視野會導致企業和資料部門無法真正做到快速響應業務需求。 因此，在這樣的大環境下，我們看到一個機會，一種變革，它包括了：

1）使用資料時，責權清晰的組織架構和規則流程，即DataOps理念，使資料思維在組織內深入人心；

2）將自動化、智慧化的現代基礎設施與資料管理體系組合起來賦能企業中的每一個人。用自上而下的信任和管控激發自下而上的自主和創新，從而打破資料組因長期過載而制約企業發展的局面，逐漸從只看後視鏡的困境中走向前後兼顧的未來轉型。

二、DataOps設計原則

因此，我們需要在此提出DataOps的五大設計原則：

1）安全合規
2）快速敏捷

3）開放協同

4）自助服務

5）自動智慧 

安全合規

首先，我們需要根據企業的業務屬性，確定極為清晰且安全合規的資料隱私和許可權管控標準。資料協同使用可以讓授權的業務使用者和第三方安全合規地使用企業資料，無需擔心資料的隱私和洩漏，這是一切後續的基礎。否則，就無法真正做到將資料賦能給一線的業務使用者。

快速敏捷

 其次，在合規的基礎上，將一切圍繞資料產生的價值提升到最大，這樣才能不錯失創收的機會。

開放協同 

將自上而下的描述性指標，轉為將資料開放給業務使用者，進行自下而上地探索和使用。因為業務使用者最瞭解創新所需要的資料應該如何應用，因此應該最大限度地發揮他們的主觀能動性，帶來業務創新。

業務使用者使用資料去探索，是階段性的。從只會用excel到看報表再到寫SQL直至會用python做資料探索，不同的發展階段，資料探索的能力也截然不同。而DataOps倡導的是每個人都應當學習去使用資料，資料不是某個人，某個小組的精英才能掌握的能力，它是一種文化。

自助服務 

通過自助式服務，將資料部門從日常資料使用的生命週期管理中解放出來，以提高資料的時效性。並且要計算使用資料資源的成本，讓資料資產負債的概念深入人心，而不是將資料資源當成免費的午餐，吃完還要“評頭論足”。

自動智慧 

讓資料部門全身心地投入到對於自動化、智慧化資料科技的實踐中，以最快地速度滿足資料多樣性，動態性，質量監控，系統穩定性的底層技術需求（後續會詳細描述）。 

繼上週交代了資料管理目前的現狀以及DataOps出現的背景之後，本篇主要介紹了DataOps理念及設計原則。接下來我們會探討由這些原則衍生出的具體組織架構、技術考量和實施步驟。

對上述問題感興趣的夥伴，請持續關注DataPipe