1. 程式人生 > >資料中臺和傳統數倉的區別

資料中臺和傳統數倉的區別

中臺系統把業務層同性的演算法能力,服務能力,業務能力高度整合,有效組織 ,動態規劃。更好的幫助上層業務。 今天就讓我們看看關於資料中臺的問答吧。


640?wx_fmt=gif1

 

Q : 什麼是資料中臺?

 

: 資料中臺是指通過資料技術,對海量資料進行採集、計算、儲存、加工,同時統一標準和口徑。資料中臺把資料統一之後,會形成標準資料,再進行儲存,形成大資料資產層,進而為客戶提供高效服務。這些服務跟企業的業務有較強的關聯性,是這個企業獨有的且能複用的,它是企業業務和資料的沉澱,其不僅能降低重複建設、減少煙囪式協作的成本,也是差異化競爭優勢所在。

 

640?wx_fmt=gif2

Q : 

為什麼要建立資料中臺

 

: 1、迴歸服務的本質-資料重用

    2、資料中臺需要不斷的業務滋養

    4、資料中臺是人才成長的搖籃

    3、資料中臺是培育業務創新的土壤

 

640?wx_fmt=gif3

 

Q : 資料中臺的建立的原則有什麼?

 

首先,企業的組織架構及機制需要順勢而變。比如以前負責資料的部門或團隊往往缺乏話語權,面對業務需求往往是被動的接受的角色,這讓一切資料中臺的想法化為泡影,需要為資料中臺團隊授權。

 

其次,要改變工作方式。現在很多企業的資料團隊的主要工作內容就是專案管理、需求管理等等,當一個專案完成後又投入到下一個專案,做好一個需求後又開始負責下一個需求,這樣的工作確實非常鍛鍊人的組織、協調能力,但這樣能力的提升與工作時間的長短並不是呈線性增長的,雖然增加了專案和需求管理經驗,但並不能在某一個專業領域得到知識和經驗的沉澱,隨著時間的流逝,越來越多的人會失去最初的工作積極性和創造性,事實上,資料人員只有深入的研究業務、資料和模型,端到端的去實踐,打造出資料中臺,才是最大的價值創造,才能使得持續創新成為可能。

第三,資料中臺的團隊要從傳統的支撐角色逐步向運營角色轉變。不僅在資料上,在業務上也要努力趕超業務人員,中臺人員要逐步建立起對於業務的話語權,不僅僅是接受需求的角色,更要能提出合理的建議,能為業務帶來新的增長點,比如精確營銷。

最後,中臺是適合公司特點的。最合適的中臺是當你深入瞭解業務、產品、系統、組織,而且不僅瞭解今天在哪裡,還要了解過去是怎麼演變而來,未來又會怎麼演化。只有當了解所有的東西之後,才能做出較好的中臺架構設計。

 

640?wx_fmt=gif4

 

 

Q : 資料中臺能幫企業解決哪些問題?

 

A : 構建資料中臺,本質上是構建資料共享能力的中心,幫助客戶解決資料儲存、計算、打通的問題。同時也解決了企業IT資訊化建設遺留下來的各個系統之間的互通問題,並在此基礎上構建資料智慧場景的應用創新。

 

640?wx_fmt=gif5

Q : 資料中臺和傳統數倉的區別是什麼?

 

A : 詳見下圖640?wx_fmt=png

伴隨著雲端計算、大資料、人工智慧等IT技術迅速發展及與傳統行業實現快速融合,一場由數字化和智慧化轉型帶來的產業變革正在孕育。

 

隨著企業規模不斷擴大、業務多元化——中臺服務架構的應運而生。“中臺”早期是由美軍的作戰體系演化而來的,技術上說的“中臺”主要是指學習這種高效、靈活和強大的指揮作戰體系。阿里在今年釋出“雙中臺+ET”數字化轉型方法論,“雙中臺”指的是數字中臺和業務中臺。

 

資料中臺是什麼

 

資料中臺是指通過資料技術,對海量資料進行採集、計算、儲存、加工,同時統一標準和口徑。資料中臺把資料統一之後,會形成標準資料,再進行儲存,形成大資料資產層,進而為客戶提供高效服務。這些服務跟企業的業務有較強的關聯性,是這個企業獨有的且能複用的,它是企業業務和資料的沉澱,其不僅能降低重複建設、減少煙囪式協作的成本,也是差異化競爭優勢所在。

 

廣義的資料中臺包括了資料技術,比如對海量資料進行採集、計算、儲存、加工的一系列技術集合,今天談到的資料中臺包括資料模型,演算法服務,資料產品,資料管理等等,和企業的業務有較強的關聯性,是企業獨有的且能複用的,比如企業自建的2000個基礎模型,300個融合模型,5萬個標籤。它是企業業務和資料的沉澱,其不僅能降低重複建設,減少煙囪式協作的成本,也是差異化競爭優勢所在。

 

建立資料中臺的原因

 

資料中臺和業務中臺相比,面臨的情況可能會更加複雜一點。建立資料中臺的原因:

 

  • 大資料可以告訴決策者一些潛在的規律,以資料來證明或判斷決策。以往我們會用資料來證明我們的決策對錯,現在我們用資料來引導我們做出對的決策。在大資料時代,樣本就是全體,大資料可以防止偽造和偏差。

  • 資料催生人工智慧。資料是人工智慧的根基,並且可以進行融合形成新的資料。資料給我們無限的創新,讓我們不停去嘗試。

  • 資料是機器人的指令,我們形成資料服務思維。資料是不斷變化的,讓機器智慧成為決策環節,運營就可以智慧化。

 

 

中臺的目標是提升效能、資料化運營、更好支援業務發展和創新,是多領域、多BU、多系統的負責協同。中臺是平臺化的自然演進,這種演進帶來“去中心化“的組織模式,突出對能力複用、協調控制的能力,以及業務創新的差異化構建能力。為什麼資料中臺如此重要呢,大致有以下四個原因:

 

1、迴歸服務的本質-資料重用

 

浙江移動已經將2000個基礎模型作為所有資料服務開發的基礎,這些基礎模型做到了“書同文,車同軌”,無論應用的 資料模型有多複雜,總是能溯源到2000張基礎表,這奠定了資料核對和認知的基礎,最大程度的避免了“重複資料抽取和維護帶來的成本浪費。”

曾經企業的資料抽取就有多份,報表一份,資料倉庫一份,地市集市一份,無論是抽取壓力、維護難度及資料一致性要求都很高。同時,統一的基礎模型將相關業務領域的資料做了很好的匯聚,解決了資料互通的訴求,這點的意義巨大,誰都知道資料1+1>2的意思。

 

2、資料中臺需要不斷的業務滋養

 

在企業內,無論是專題、報表或取數,當前基本是煙囪式資料生產模式或者是專案制建設方式,必然導致資料知識得不到沉澱和持續發展,從而造成模型不能真正成為可重用的元件,無法支撐資料分析的快速響應和創新。其實,業務最不需要的就是模型的穩定,一個數據模型如果一味追求穩定不變,一定程度就是故步自封,這樣的做法必然導致其他的新的類似的資料模型產生。

 

資料模型不需要“穩定”,而需要不斷的滋養,只有在滋養中才能從最初的欄位單一到逐漸成長為企業最為寶貴的模型資產。

 

以報表為例,企業報表成千上萬的原因往往也是沒有沉澱造成的,針對一個業務報表,由於不同的業務人員提出的角度不同,會幻化出成百上千的報表,如果有報表中臺的概念,就可以提出一些基準報表的原則,比如一個業務一張報表,已經有的業務報表只允許修改而不允許新增,自然老報表就會由於新的需求而不斷完善,從而能演化成企業的基礎報表目錄,否則就是一堆報表的堆砌,後續的資料一致性問題層出不窮,管理成本急劇增加,人力投入越來越多,這樣的事情在每個企業都在發生。

 

3、資料中臺是培育業務創新的土壤

 

企業的資料創新一定要站在巨人的肩膀上,即從資料中臺開始,不能總是從基礎做起,資料中臺是資料創新效率的保障。研究過機器學習的都知道,沒有好的規整資料,資料準備的過程極其冗長,這也是資料倉庫模型的一個核心價值所在,比如運營商中要獲取3個月的ARPU資料,如果沒有融合模型的支撐,得自己從賬單一層層彙總及關聯,速度可想而知。

 

在如今的網際網路時代,企業都在全力謀求轉型,轉型的關鍵是要具備跟網際網路公司一樣的快速創新能力,大資料是其中一個核心驅動力,但擁有大資料還是不夠的,資料中臺的能力往往最終決定速度,擁有速度意味著試錯成本很低,意味著可以再來一次。

 

4、資料中臺是人才成長的搖籃

 

原來新員工入職要獲得成長,一是靠人帶,二是找人問,三是自己登陸各種系統去看原始碼,這樣的學習比較支離破碎,其實很難了解全貌,無法知道什麼東西對於企業是最重要的,獲得的文件資料也往往也是過了時的。

 

現在有了資料中臺,很多成長問題就能解決,有了基礎模型,新人可以系統的學習企業有哪些基本資料能力,O域資料的增加更是讓其有更廣闊的視野,有了融合模型,新人可以知道有哪些主題域,從主題域切入去全域性的理解公司的業務概念,有了標籤庫,新人可以獲得前人的所有智慧結晶,有了資料管理平臺,新人能清晰的追溯資料、標籤和應用的來龍去脈,所有的知識都是線上的,最新的,意味著新人的高起點。

 

更為關鍵的是,資料中臺讓新人擺脫了在起步階段對於導師的過渡依賴,能快速的融入團隊,在前人的基礎上進行創新。資料中臺天然的統一,整合的特性,有可能讓新人打破點線的束縛,快速構築起自己的知識體系,成為企業資料領域的專家。

 

當然,資料中臺的建立不是一蹴而就的,每個企業都應該基於實際打造獨有的中臺能力,在這個過程中,需要遵循一些原則:

 

首先,企業的組織架構及機制需要順勢而變。比如以前負責資料的部門或團隊往往缺乏話語權,面對業務需求往往是被動的接受的角色,這讓一切資料中臺的想法化為泡影,需要為資料中臺團隊授權。

 

其次,要改變工作方式。現在很多企業的資料團隊的主要工作內容就是專案管理、需求管理等等,當一個專案完成後又投入到下一個專案,做好一個需求後又開始負責下一個需求,這樣的工作確實非常鍛鍊人的組織、協調能力,但這樣能力的提升與工作時間的長短並不是呈線性增長的,雖然增加了專案和需求管理經驗,但並不能在某一個專業領域得到知識和經驗的沉澱,隨著時間的流逝,越來越多的人會失去最初的工作積極性和創造性,事實上,資料人員只有深入的研究業務、資料和模型,端到端的去實踐,打造出資料中臺,才是最大的價值創造,才能使得持續創新成為可能。

 

第三,資料中臺的團隊要從傳統的支撐角色逐步向運營角色轉變。不僅在資料上,在業務上也要努力趕超業務人員,中臺人員要逐步建立起對於業務的話語權,不僅僅是接受需求的角色,更要能提出合理的建議,能為業務帶來新的增長點,比如精確營銷。

 

最後,中臺是適合公司特點的。最合適的中臺是當你深入瞭解業務、產品、系統、組織,而且不僅瞭解今天在哪裡,還要了解過去是怎麼演變而來,未來又會怎麼演化。只有當了解所有的東西之後,才能做出較好的中臺架構設計。

 

理解資料中臺:

目前資料倉庫或者資料平臺存在的問題:

效率問題:為什麼應用開發增加一個報表,就要十幾天時間?為什麼不能實時獲得使用者推薦清單?當業務人員對資料產生一點疑問的時候,需要花費很長的時間,結果發現是資料來源的資料變了,最終影響上線時間。

協作問題:當業務應用開發的時候,雖然和別的專案需求大致差不多,但因為是別的專案組維護的,所以資料還是要自己再開發一遍。

能力問題:資料的處理和維護是一個相對獨立的技術,需要相當專業的人來完成,但是很多時候,我們有一大把的應用開發人員,而資料開發人員很少。

 

這也是資料中臺解決的問題

 

 

 

Data API 是資料中臺的核心,它是連線前臺和後臺的橋樑,通過 API 的方式提供資料服務,而不是直接把資料庫給前臺、讓前臺開發自行使用資料。

至於產生 DataAPI 的過程,怎麼樣讓 DataAPI 產生得更快,怎麼樣讓 DATA API 更加清晰,怎麼樣讓 DATA API 的資料質量更好,這些是要圍繞資料中臺去構建的能力。

 

資料中臺和資料倉庫、資料平臺的關鍵區別?

概括地說,三者的關鍵區別有以下幾方面:

資料中臺是企業級的邏輯概念,體現企業 D2V(Data to Value)的能力,為業務提供服務的主要方式是資料 API;

資料倉庫是一個相對具體的功能概念,是儲存和管理一個或多個主題資料的集合,為業務提供服務的方式主要是分析報表;

資料平臺是在大資料基礎上出現的融合了結構化和非結構化資料的資料基礎平臺,為業務提供服務的方式主要是直接提供資料集;

資料中臺距離業務更近,為業務提供速度更快的服務;

資料倉庫是為了支援管理決策分析,而資料中臺則是將資料服務化之後提供給業務系統,不僅限於分析型場景,也適用於交易型場景;

資料中臺可以建立在資料倉庫和資料平臺之上,是加速企業從資料到業務價值的過程的中間層。

 

資料倉庫具有歷史性,其中儲存的資料大多是結構化資料,這些資料並非企業全量資料,而是根據需求針對性抽取的,

因此資料倉庫對於業務的價值是各種各樣的報表,但這些報表又無法實時產生。資料倉庫報表雖然能夠提供部分業務價值,但不能直接影響業務。

資料平臺的出現是為了解決資料倉庫不能處理非結構化資料和報表開發週期長的問題,所以先撇開業務需求、把企業所有的資料都抽取出來放到一起,成為一個大的資料集,其中有結構化資料、非結構化資料等。

當業務方有需求的時候,再把他們需要的若干個小資料集單獨提取出來,以資料集的形式提供給資料應用。

而資料中臺是在資料倉庫和資料平臺的基礎上,將資料生產為為一個個資料 API 服務,以更高效的方式提供給業務

 

在 ThoughtWorks 提出的精益資料創新體系中將企業所需要具備的資料能力概括為以下六種,具備了這六種能力,企業才具備成為資料驅動的智慧企業的基礎,而這些能力的承載平臺,就是資料中臺:

 

 

什麼是資料資產?

 

資料資產不等同於資料,資料資產是唯一的,能為業務產生價值的資