一、數據倉庫的架構

　　數據倉庫(Data Warehouse DW)是為了便於多維分析和多角度展現而將數據按特定的模式進行存儲所建立起來的關系型DataBase，它的數據基於OLTP源系統。數據倉庫中的數據是細節的、集成的、面向主題的，以OLAP 系統的分析需求為目的。

　　數據倉庫的架構模型包括了星型架構與雪花型架構兩種模式。星型架構的中間為事實表，四周為維度表，類似星星;而相比較而言，雪花型架構的中間為事實表，兩邊的維度表可以再有其關聯子表，從而表達了清晰的維度層次關系。

　　從OLAP 系統的分析需求和ETL的處理效率兩方面來考慮：星型結構聚合快，分析效率高;而雪花型結構明確，便於與OLTP 系統交互。因此，在實際項目中，將綜合運用星型架構與雪花型架構來設計數據倉庫。

　　那麽，下面就來看一看，構建企業級數據倉庫的流程。

二、構建企業級數據倉庫五步法

　　(一)、確定主題

　　即確定數據分析或前端展現的主題。例如：希望分析某年某月某一地區的啤酒銷售情況，這就是一個主題。主題要體現出某一方面的各分析角度(維度)和統計數值型數據(量度)之間的關系，確定主題時要綜合考慮。

　　可以形象的將一個主題想象為一顆星星：統計數值型數據(量度)存在於星星中間的事實表;分析角度(維度)是星星的各個角;將通過維度的組合，來考察量度。那麽，“某年某月某一地區的啤酒銷售情況”這樣一個主題，就要求通過時間和地區兩個維度的組合，來考察銷售情況這個量度。從而，不同的主題來源於數據倉庫中的不同子集，可以稱之為數據集市。數據集市體現了數據倉庫某一方面的信息，多個數據集市構成了數據倉庫。

　　(二)、確定量度

　　在確定了主題以後，將考慮要分析的技術指標，諸如年銷售額之類。它們一般為數值型數據。或者將該數據匯總，或者將該數據取次數、獨立次數或取最大最小值等，這樣的數據稱為量度。

　　量度是要統計的指標，必須事先選擇恰當，基於不同的量度可以進行復雜關鍵性能指標(KPI)等的設計和計算。

　　(三)、確定事實數據粒度

　　在確定了量度之後，要考慮到該量度的匯總情況和不同維度下量度的聚合情況。考慮到量度的聚合程度不同，將采用“最小粒度原則”，即將量度的粒度設置到最小。

　　例如：假設目前的數據最小記錄到秒，即DataBase中記錄了每一秒的交易額。那麽，如果可以確認，在將來的分析需求中，時間只需要精確到天就可以的話，就可以在ETL處理過程中，按天來匯總數據，此時，數據倉庫中量度的粒度就是“天”;反過來，如果不能確認將來的分析需求在時間上是否需要精確到秒，那麽，就需要遵循“最小粒度原則”，在數據倉庫的事實表中保留每一秒的數據，以便日後對“秒”進行分析。

　　在采用“最小粒度原則”的同時，不必擔心海量數據所帶來的匯總分析效率問題，因為在後續建立多維分析模型(CUBE)的時候，會對數據提前進行匯總，從而保障產生分析結果的效率。

　　(四)、確定維度

　　維度是指分析的各個角度。例如希望按照時間，或者按照地區，或者按照產品進行分析，那麽這裏的時間、地區、產品就是相應的維度。基於不同的維度，可以看到各量度的匯總情況，也可以基於所有的維度進行交叉分析。

　　這裏首先要確定維度的層次(HierarChy)和級別(Level)。在時間維度上，按照“年-季度-月”形成了一個層次，其中“年”、“季度”、“月”成為了這個層次的3個級別;同理，當建立產品維度時，可以將“產品大類-產品子類-產品”劃為一個層次，其中包含“產品大類”、“產品子類”、“產品”三個級別。

　　那麽，分析中所用到的這些維度，在數據倉庫中的存在形式是怎樣的呢?

　可以將3個級別設置成一張數據表中的3個字段，比如時間維度;也可以使用三張表，分別保存產品大類、產品子類、產品三部分數據，比如產品維度。

　　另外，值得一提的是，在建立維度表時要充分使用代理鍵。代理鍵是數值型的ID號碼(例如每張表的第一個字段)，它唯一標識了每一維度成員。更重要的是，在聚合時，數值型字段的匹配和比較，JOIN效率高，便於聚合。同時，代理鍵對緩慢變化維度有著重要的意義，在原數據主鍵相同的情況下，它起到了對新數據與歷史數據的標識作用。

　　在此，不妨談一談維度表隨時間變化的問題，這是經常會遇到的情況，稱其為緩慢變化維度。

　　比如增加了新的產品，或者產品的ID號碼修改了，或者產品增加了一個新的屬性，此時，維度表就會被修改或者增加新的記錄行。這樣，在ETL的過程中，就要考慮到緩慢變化維度的處理。對於緩慢變化維度，有三種情況：

　　1、緩慢變化維度第一種TYPE：

　　歷史數據需要修改。這種情況下，使用UPDATE方法來修改維度表中的數據。例如：產品的ID號碼為123，後來發現ID號碼錯了，需要改寫成456，那麽，就在ETL處理時，直接修改維度表中原來的ID號碼為456。

　　2、緩慢變化維度第二種TYPE：

　　歷史數據保留，新增數據也要保留。這時，要將原數據更新，將新數據插入，使用UPDATE / INSERT。比如：某一員工2005年在A部門，2006年時他調到了B部門。那麽在統計2005年的數據時就應該將該員工定位到A部門;而在統計2006年數據時就應該定位到B部門，然後再有新的數據插入時，將按照新部門(B部門)進行處理，這樣的做法是將該維度成員列表加入標識列，將歷史的數據標識為“過期”，將目前的數據標識為“當前的”。另一種方法是將該維度打上時間戳，即將歷史數據生效的時間段作為它的一個屬性，在與原始表匹配生成事實表時將按照時間段進行關聯，這種方法的好處是該維度成員生效時間明確。

　　3、緩慢變化維度第三種TYPE：

　　新增數據維度成員改變了屬性。例如：某一維度成員新加入了一列，該列在歷史數據中不能基於它瀏覽，而在目前數據和將來數據中可以按照它瀏覽，那麽此時需要改變維度表屬性，即加入新的字段列。那麽，將使用存儲過程或程式生成新的維度屬性，在後續的數據中將基於新的屬性進行查看。

　　(五)、創建事實表

　　在確定好事實數據和維度後，將考慮加載事實表。

　　在公司的大量數據堆積如山時，想看看裏面究竟是什麽，結果發現裏面是一筆筆生產記錄，一筆筆交易記錄… 那麽這些記錄是將要建立的事實表的原始數據，即關於某一主題的事實記錄表。

　　的做法是將原始表與維度表進行關聯，生成事實表。註意在關聯時有為空的數據時(數據源臟)，需要使用外連接，連接後將各維度的代理鍵取出放於事實表中，事實表除了各維度代理鍵外，還有各量度數據，這將來自原始表，事實表中將存在維度代理鍵和各量度，而不應該存在描述性信息，即符合“瘦高原則”，即要求事實表數據條數盡量多(粒度最小)，而描述性信息盡量少。

　　如果考慮到擴展，可以將事實表加一唯一標識列，以為了以後擴展將該事實作為雪花型維度，不過不需要時一般建議不用這樣做。

　　事實數據表是數據倉庫的核心，需要精心維護，在JOIN後將得到事實數據表，一般記錄條數都比較大，需要為其設置復合主鍵和索引，以呈現數據的完整性和基於數據倉庫的查詢性能優化。事實數據表與維度表一起放於數據倉庫中，如果前端需要連接數據倉庫進行查詢，還需要建立一些相關的中間匯總表或物化視，以方便查詢。

三、什麽是ETL

　　在數據倉庫的構建中，ETL貫穿於項目始終，它是整個數據倉庫的生命線，包括了數據清洗、整合、轉換、加載等各個過程。如果說數據倉庫是一座大廈，那麽ETL就是大廈的根基。ETL抽取整合數據的好壞直接影響到最終的結果展現。所以ETL在整個數據倉庫項目中起著十分關鍵的作用，必須擺到十分重要的位置。

　　ETL是數據抽取(ExtraCt)、轉換(Transform)、加載(Load )的簡寫，它是指：將OLTP 系統中的數據抽取出來，並將不同數據源的數據進行轉換和整合，得出一致性的數據，然後加載到數據倉庫中。

　　那麽，在這一轉換過程中，就完成了對數據格式的更正、對數據字段的合並、以及新增指標的計算三項操作。類似地，也可以根據其他需求，完善數據倉庫中的數據。

　　簡而言之，通過ETL，可以基於源系統中的數據來生成數據倉庫。ETL為搭建了OLTP 系統和OLAP 系統之間的橋梁。

四、項目實踐技巧

　　(一)、準備區的運用

　　在構建數據倉庫時，如果數據源位於一臺服務器上，數據倉庫在另一臺服務器端，考慮到數據源Server端訪問頻繁，並且數據量大，需要不斷更新，所以可以建立準備區DataBase。先將數據抽取到準備區中，然後基於準備區中的數據進行處理，這樣處理的好處是防止了在原OLTP 系統中頻繁訪問，進行數據計算或排序等操作。

　　例如可以按照天將數據抽取到準備區中，基於數據準備區，將進行數據的轉換、整合、將不同數據源的數據進行一致性處理。數據準備區中將存在原始抽取表、轉換中間表和臨時表以及ETL日誌表等。

　　(二)、時間戳的運用

　　時間維度對於某一事實主題來說十分重要，因為不同的時間有不同的統計數據信息，那麽按照時間記錄的信息將發揮很重要的作用。在ETL中，時間戳有其特殊的作用，在上面提到的緩慢變化維度中，可以使用時間戳標識維度成員;在記錄DataBase和數據倉庫的操作時，也將使用時間戳標識信息。例如：在進行數據抽取時，將按照時間戳對OLTP 系統中的數據進行抽取，比如在午夜0：00取前一天的數據，將按照OLTP 系統中的時間戳取GETDATE到GETDATE減一天，這樣得到前一天數據。

　　(三)、日誌表的運用

　　在對數據進行處理時，難免會發生數據處理錯誤，產生出錯信息，那麽如何獲得出錯信息並及時修正呢? 方法是使用一張或多張Log日誌表，將出錯信息記錄下來，在日誌表中將記錄每次抽取的條數、處理成功的條數、處理失敗的條數、處理失敗的數據、處理時間等等。這樣，當數據發生錯誤時，很容易發現問題所在，然後對出錯的數據進行修正或重新處理。

　　(四)、使用調度

　　在對數據倉庫進行增量更新時必須使用調度，即對事實數據表進行增量更新處理。在使用調度前要考慮到事實數據量，確定需要多長時間更新一次。比如希望按天進行查看，那麽最好按天進行抽取，如果數據量不大，可以按照月或半年對數據進行更新。如果有緩慢變化維度情況，調度時需要考慮到維度表更新情況，在更新事實數據表之前要先更新維度表。

　　調度是數據倉庫的關鍵環節，要考慮縝密。在ETL的流程搭建好後，要定期對其運行，所以調度是運行ETL流程的關鍵步驟。每一次調度除了寫入Log日誌表的數據處理信息外，還要使用發送Email或報警服務等，這樣也方便的技術人員對ETL流程的把握，增強了安全性和數據處理的準確性。

五、總結

　　構建企業級數據倉庫需要簡單的五步，掌握了這五步的方法，可以構建一個強大的數據倉庫。然而，每一步都有很深的內容需要研究與挖掘，尤其在實際項目中，要綜合考慮。例如：如果數據源的臟數據很多，在搭建數據倉庫之前首先要進行數據清洗，以剔除掉不需要的信息和臟數據。

　　ETL是OLTP 系統和OLAP 系統之間的橋梁，是數據從源系統流入數據倉庫的通道。在數據倉庫的項目實施中，它關系到整個項目的數據質量，所以馬虎不得，必須將其擺到重要位置，將數據倉庫這一大廈的根基築牢。

數據倉庫建模技巧