常見資料模型介紹 

1 ER模型

    資料倉庫之父Bill Inmon提出的建模方法，是從全企業的高度設計一個3NF模型，用實體關係（Entity Relationship，ER）模型描述企業業務。其具有以下幾個特點：

•    需要全面瞭解企業業務和資料
•    實施週期非常長
•    對建模型人員要求非常高

      採用ER模型建設資料倉庫的出發點是基於整合資料，將各個系統的資料以企業角度按主題進行組合和合並，並進行一致性處理，為資料分析決策服務，但是並不能直接用於分析決策。其建模步驟分為三個階段：

•    高層模型：一個高度抽象的模型，描述主題與主題之間的關係，用於描述企業的業務總體概況。
•    中層模型：在高層模型的基礎上，細化主題的資料項。
•    物理模型：在中層模型的基礎上，考慮物理儲存，同時基於效能和平臺特點進行物理屬性的設計，也可能做一些表的合併、分割槽表的設計等。

2 維度模型

    維度模型是資料倉庫的Ralph Kimball大師所倡導的，也是資料倉庫工程領域最流行 模型。維度建模是從分析決策的需求出發構建模型，為分析需求服務，因此它重點關注使用者如何更快速地完成分析，同時具有較好的大規模複雜查詢的響應效能。其典型的代表是星形模型和雪花模型。其設計步驟分為以下幾個步驟：

•    選擇需求進行決策的業務過程。業務過程可以是單個業務事件，比如交易的支付、退款等；也可以是某個事件的狀態，比如當前的賬戶餘額等；還可以是一系列相關業務事件組成的業務流程，具體需要看我們分析的是某些事件發生情況，還是當前狀態，或是事件流轉效率。
•    選擇粒度。預判所分析的資料需要細分到什麼程度，從而決定選擇哪個粒度。
•    識別維度。選擇好粒度，則圍繞粒度設計維度表，配置維度屬性用於分析資料時進行分組和篩選。
•    選擇事實。確定分析需要衡量的指標。
  

3 Data Vault模型

    Data Vault是Dan Linstedt發起建立的一種模型，它是ER模型的衍生。它強調建立一個可審計的基礎資料層，也就是強調資料的歷史性、可追溯性和原子性，而不要求對資料進行過度的一致性處理和整合；同時他基於主題概念將企業資料進行結構化組織，並引入了更進一步的發生處理來優化模型，以應對預案系統變更的擴充套件性。Data Vault模型由以下幾部分組成：

•     Hub:是企業的核心業務實體，由實體key、資料倉庫序列代理鍵、裝載時間、資料來源組成。
•     Link:代表Hub之間的關係。它可以描述1:1、1:n和n:n的關係。它由Hub的代理鍵、裝載時間、資料來源組成。
•     Satellite: 是Hub的詳細描述內容，一個Hub可以有多個Satellite。它由Hub的代理鍵、裝載時間、來源型別、詳細的Hub描述資訊組成。

    Data Vault模型比ER模型更容易設計和產出，它的ETL加工可實現配置化。Data Vault模型例項如下圖：

         

4 Anchor模型

    Anchor模型是對Data Vault模型做了進一步規範化處理，其核心思想是所有擴充套件只是新增而不是修改，因此將模型規範到6NF。但是這樣大大增加了查詢join操作，不太適合有比較多的join操作的資料倉庫。

5 阿里巴巴資料模型

    阿里巴巴為了滿足日益增長的資料，選擇了維度建模為核心理念的模型方法論，同時對其進行了一定的升級和擴充套件，構建了阿里巴巴集團的公共層模型資料架構體系。

    資料公共層建設的目的是著力解決資料儲存和計算的共享問題，其指導方法是一套統一化的集團資料整合及管理的方法體系（OneData），其包括一致性的指標定義體系、模型設計方法體系及配套工具。

阿里資料整合及管理體系

1 模型設計     目前，資料公共層設計最流行是維度建模。它分三層：操作資料層（ODS）、公共維度模型層（CDM）和應用資料層（ADS）。其中，CDM又分明細資料層（DWD）和彙總資料層（DWS）。     操作資料層：基於無差別同步資料來源表到資料倉庫，根據資料業務需求及稽核和審計要求保留歷史資料、清洗資料。     公共維度模型層：存放明細事實資料、維表資料及公共指標彙總資料，採用一些維度退化手段，將維度退化至事實表中，減少事實表和維表的關聯，提高明細資料表的易用性；同時在彙總資料層，加強指標的維度退化，採取更多的寬表化手段構建公共指標資料層，提升公共指標的複用性，減少重複加工。其主要功能如下：

•      組合相關和相似資料：採用明細寬表，複用關聯計算，減少資料掃描。
•      公共指標統一加工：構建命名規範、口徑一致和演算法統一的統計指標，為上層資料產品、應用服務提供公共指標；建立邏輯彙總寬表。
•      建立一致性維度：建立一致的資料分析維表，降低資料計算口徑、演算法不統一的風險。

    應用資料層：存放資料產品個性化的統計指標資料，根據CDM層和ODS層加工生成。

•    個性化指標加工：不公共性、複雜性（指標型、比值型、排名型指標）。
•    基於應用的資料組裝：大寬表集市、橫錶轉縱表、趨勢指標串。

2 基本原則     2.1 高內聚低耦合         主要從資料業務特性和訪問特性兩個角度來考慮：將業務相近或相關、粒度相同的資料設計為一個邏輯或物理模型；將高概率同時訪問的資料放在一起，降低概率同時訪問的資料分開儲存。     2.2 核心模型與擴充套件模型分離         避免破壞核心模型的架構簡潔性和可維護性。     2.3 公共處理邏輯下沉及單一        越是底層共用的處理邏輯越應該在資料排程依賴的底層進行封裝與實現，不要讓公用的處理邏輯暴露給應用實現，不要讓公用邏輯多處同時存在。     2.4 成本與效能平衡         適當的資料冗餘可換取查詢和重新整理效能，不宜過度冗餘和資料重複。     2.5 資料可回滾         處理邏輯不變，在不同時間多次執行資料結果確定不變。     2.6 一致性         具有相同含義的欄位在不同表的命名必須相同，必須使用規範定義中的名稱。     2.7 命名清晰、可理解 3 模型實施    3.1 指導方針         首先，進行充分的業務調研和需求分析。         其次，進行資料總體架構設計，主要是根據資料域對資料進行劃分；安裝維度建模理論，構建匯流排矩陣、抽象出業務過程和維度。         再次，對報表需求進行抽象整理出相關指標體系。        最後，程式碼研發和運維。    3.2 實施工作流