維度模型資料倉庫（十五） —— 多重星型模式

阿新 • • 發佈：2019-01-14

（五）進階技術
10. 多重星型模式
從（五）進階技術1. “增加列”開始，已經通過增加列和表擴充套件了資料倉庫，在（五）進階技術5. “快照”裡增加了第二個事實表，month_end_sales_order_fact表。這之後資料倉庫模式就有了兩個事實表（第一個是在開始建立資料倉庫時建立的sales_order_fact表）。有了這兩個事實表的資料倉庫就是一個正式的雙星型模式。
本篇將在現有的維度資料倉庫上增加一個新的星型結構。與現有的與銷售關聯的星型結構不同，新的星型結構關注的是產品業務領域。新的星型結構有一個事實表和一個維度表，用於儲存資料倉庫中的產品資料。

一個新的星型模式
圖（五）- 10-1 顯示了擴充套件後的資料倉庫模式。模式中有三個星型結構。sales_order_fact表是第一個星型結構的事實表，與其相關的維度表是customer_dim、product_dim、date_dim和sales_order_attribute_dim表。month_end_sales_order_fact表是第二個星型結構的事實表。product_dim和month_dim是其對應的維度表。第一個和第二個星型結構共享product_dim維度表。第二個星型結構的事實表和月份維度資料分別來自於第一個星型結構的事實表和date_dim維度表。它們不從源資料獲得資料。第三個星型模式的事實表是新建的production_fact表。它的維度除了儲存在已有的date_dim和product_dim表，還有一個新的factory_dim表。第三個星型結構的資料來自源資料。

圖（五）- 10-1
執行清單（五）- 10-1裡的指令碼建立第三個星型模式中的新表和對應的源資料表。

USE dw;
CREATE TABLE factory_dim (
    factory_sk INT NOT NULL AUTO_INCREMENT PRIMARY KEY,
    factory_code INT,
    factory_name VARCHAR(30),
    factory_street_address VARCHAR(50),
    factory_zip_code INT(5),
    factory_city VARCHAR(30),
    factory_state VARCHAR(2),
    version int,
    effective_date DATE,
    expiry_date DATE
);

CREATE TABLE production_fact (
  product_sk INT
, production_date_sk INT
, factory_sk INT
, production_quantity INT
);

ALTER TABLE production_fact ADD FOREIGN KEY (factory_sk) 
REFERENCES factory_dim(factory_sk)  ON DELETE CASCADE ON UPDATE CASCADE ;
ALTER TABLE production_fact ADD FOREIGN KEY (product_sk) 
REFERENCES product_dim(product_sk)  ON DELETE CASCADE ON UPDATE CASCADE ;
ALTER TABLE production_fact ADD FOREIGN KEY (production_date_sk) 
REFERENCES date_dim(date_sk)  ON DELETE CASCADE ON UPDATE CASCADE ;

USE source;
CREATE TABLE factory_master (
    factory_code INT,
    factory_name CHAR(30),
    factory_street_address CHAR(50),
    factory_zip_code INT(5),
    factory_city CHAR(30),
    factory_state CHAR(2)
);

清單（五）- 10-1
向新的星型結構表中匯入資料
假設factory_dim表儲存工廠資訊，並且從稱為factory_master的MySQL表獲得資料。可以使用清單（五）- 10-2裡的指令碼初始裝載工廠資料。

USE dw;
INSERT INTO factory_dim
SELECT
  NULL
, factory_code
, factory_name
, factory_street_address
, factory_zip_code
, factory_city
, factory_state
, 1
, CURRENT_DATE
, '2200-01-01'
FROM source.factory_master;
COMMIT;

清單（五）- 10-2
使用Kettle轉換初始裝載工廠資料只需要一個表輸入和一個表輸出步驟即可，如圖（五）- 10-2到圖（五）- 10-4所示。

圖（五）- 10-2

圖（五）- 10-3

圖（五）- 10-4
工廠的資訊很少改變，所以可能希望在一個CSV檔案裡提供任何關於工廠的最新資訊。在/root/data-integration/factory.csv檔案中有一些示例工廠資訊。就像其它CSV原始檔，需要一個過渡表裝載factory.csv檔案。執行清單（五）- 10-3裡的指令碼建立過渡表。

USE dw;
CREATE TABLE factory_stg (
    factory_code INT,
    factory_name VARCHAR(30),
    factory_street_address VARCHAR(50),
    factory_zip_code INT(5),
    factory_city VARCHAR(30),
    factory_state VARCHAR(2)
);

清單（五）- 10-3
第三個星型結構中的production_fact事實表，從源資料庫的daily_production表獲取資料。執行清單（五）- 10-4裡的指令碼建立這個表。

USE source;
CREATE TABLE daily_production (
    product_code INT,
    production_date DATE,
    factory_code INT,
    production_quantity INT
);

清單（五）- 10-4 可以使用清單（五）- 10-5裡的指令碼定期裝載工廠維度表和產品事實表。注意對factory_dim表的所有列都應用SCD1。該指令碼每天執行，裝載前一天的產品資料。
說明：腳本里沒有使用cdc_time表，是出於簡化測試的目的。實際生產環境每天定期裝載應該共用一個排程，也即應該把清單（五）- 10-5裡的指令碼併入每天定期裝載指令碼中，並且針對使用cdc_time表做相應的修改。

USE dw;

-- 設定SCD的截止時間和生效時間
SET @pre_date = SUBDATE(CURRENT_DATE,1) ;

TRUNCATE factory_stg;
LOAD DATA INFILE '/root/data-integration/factory.csv'
INTO TABLE factory_stg
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY ""
LINES TERMINATED BY '\n'
IGNORE 1 LINES
( factory_code
, factory_name
, factory_street_address
, factory_zip_code
, factory_city
, factory_state );

/* SCD1                                                         */
UPDATE
  factory_dim a
, factory_stg b
SET
  a.factory_name = b.factory_name
, a.factory_street_address = b.factory_street_address
, a.factory_zip_code = b.factory_zip_code
, a.factory_city = b.factory_city
, a.factory_state = b.factory_state
WHERE a.factory_code = b.factory_code;

/* add new factory                                              */
INSERT INTO factory_dim
SELECT
  NULL
, factory_code
, factory_name
, factory_street_address
, factory_zip_code
, factory_city
, factory_state
, 1 
, @pre_date
, '2200-01-01'
FROM factory_stg
WHERE factory_code NOT IN (
SELECT y.factory_code
FROM factory_dim x, factory_stg y
WHERE x.factory_code = y.factory_code );

INSERT INTO production_fact
SELECT
  b.product_sk
, c.date_sk
, d.factory_sk
, production_quantity
FROM
  source.daily_production a
, product_dim b
, date_dim c
, factory_dim d
WHERE
    production_date = @pre_date
AND a.product_code = b.product_code
AND a.production_date >= b.effective_date
AND a.production_date <= b.expiry_date
AND a.production_date = c.date
AND a.factory_code = d.factory_code ;

COMMIT ;

清單（五）- 10-5
Kettle定期裝載工廠維度表和產品事實表如圖（五）- 10-5到圖（五）- 10-22所示。

圖（五）- 10-5

圖（五）- 10-6

圖（五）- 10-7

圖（五）- 10-8

圖（五）- 10-9

圖（五）- 10-10

圖（五）- 10-11

圖（五）- 10-12

圖（五）- 10-13

圖（五）- 10-14

圖（五）- 10-15

圖（五）- 10-16

圖（五）- 10-17

圖（五）- 10-18

圖（五）- 10-19

圖（五）- 10-20

圖（五）- 10-21

圖（五）- 10-22 測試
到目前為止已經討論了第三個星型結構裡的所有表，現在做一些測試。首先需要一些工廠資訊。執行清單（五）- 10-6裡的指令碼向源資料庫的factory_master表中裝載四個工廠資訊。執行完清單（五）- 10-5裡的指令碼以後，需要把系統日期設定成任意晚於上一篇“雜項維度”設定的日期。這裡設定系統日期為2015年3月18日。之後，執行清單（五）- 10-2裡的指令碼或對應的Kettle初始裝載轉換向factory_dim表裝載factory_master表裡的四個工廠資訊。

USE source;
INSERT INTO factory_master VALUES
  ( 1, 'First Factory', '11111 Lichtman St.', 17050,
       'Mechanicsburg', 'PA' )
, ( 2, 'Second Factory', '22222 Stobosky Ave.', 17055, 'Pittsburgh',
       'PA' )
, ( 3, 'Third Factory', '33333 Fritze Rd.', 17050, 'Mechanicsburg',
       'PA' )
, ( 4, 'Fourth Factory', '44444 Jenzen Blvd.', 17055, 'Pittsburgh',
       'PA' );

COMMIT ;

清單（五）- 10-6
執行下面的語句查詢factory_dim表，確認裝載正確。查詢結果顯示如下。
mysql> select * from factory_dim\G
*************************** 1. row ***************************
factory_sk: 1
factory_code: 1
factory_name: First Factory
factory_street_address: 11111 Lichtman St.
factory_zip_code: 17050
factory_city: Mechanicsburg
factory_state: PA
version: 1
effective_date: 2015-03-18
expiry_date: 2200-01-01
*************************** 2. row ***************************
factory_sk: 2
factory_code: 2
factory_name: Second Factory
factory_street_address: 22222 Stobosky Ave.
factory_zip_code: 17055
factory_city: Pittsburgh
factory_state: PA
version: 1
effective_date: 2015-03-18
expiry_date: 2200-01-01
*************************** 3. row ***************************
factory_sk: 3
factory_code: 3
factory_name: Third Factory
factory_street_address: 33333 Fritze Rd.
factory_zip_code: 17050
factory_city: Mechanicsburg
factory_state: PA
version: 1
effective_date: 2015-03-18
expiry_date: 2200-01-01
*************************** 4. row ***************************
factory_sk: 4
factory_code: 4
factory_name: Fourth Factory
factory_street_address: 44444 Jenzen Blvd.
factory_zip_code: 17055
factory_city: Pittsburgh
factory_state: PA
version: 1
effective_date: 2015-03-18
expiry_date: 2200-01-01
4 rows in set (0.00 sec)

執行清單（五）- 10-7裡的指令碼向源資料庫的daily_production表匯入資料。

USE source;
INSERT INTO daily_production VALUES
  (1, CURRENT_DATE, 4, 100 )
, (2, CURRENT_DATE, 3, 200 )
, (3, CURRENT_DATE, 2, 300 )
, (4, CURRENT_DATE, 1, 400 )
, (1, CURRENT_DATE, 1, 400 )
, (2, CURRENT_DATE, 2, 300 )
, (3, CURRENT_DATE, 3, 200 )
, (4, CURRENT_DATE, 4, 100 );

COMMIT;

清單（五）- 10-7
現在已經做好了測試產品定期裝載的準備。先把系統日期設定為2015年3月19日，然後執行清單（五）- 10-5裡的指令碼或對應的Kettle定期裝載作業。使用下面的SQL語句查詢production_fact表，確認每天產品資料的定期裝載是正確的。查詢結果顯示如下。

mysql> select * from production_fact;

+------------+--------------------+------------+---------------------+
| product_sk | production_date_sk | factory_sk | production_quantity |
+------------+--------------------+------------+---------------------+
| 1 | 5556 | 4 | 100 |
| 2 | 5556 | 3 | 200 |
| 4 | 5556 | 2 | 300 |
| 5 | 5556 | 1 | 400 |
| 1 | 5556 | 1 | 400 |
| 2 | 5556 | 2 | 300 |
| 4 | 5556 | 3 | 200 |
| 5 | 5556 | 4 | 100 |
+------------+--------------------+------------+---------------------+
8 rows in set (0.00 sec)

為了確認工廠維度上成功應用了SCD1，使用下面的語句查詢factory_dim表。查詢結果顯示如下。

mysql> select * from factory_dim\G

*************************** 1. row ***************************
factory_sk: 1
factory_code: 1
factory_name: First Factory
factory_street_address: 11111 Lichtman St.
factory_zip_code: 17050
factory_city: Mechanicsburg
factory_state: PA
version: 1
effective_date: 2015-03-18
expiry_date: 2200-01-01
*************************** 2. row ***************************
factory_sk: 2
factory_code: 2
factory_name: Second Factory
factory_street_address: 24242 Bunty La.
factory_zip_code: 17055
factory_city: Pittsburgh
factory_state: PA
version: 1
effective_date: 2015-03-18
expiry_date: 2200-01-01
*************************** 3. row ***************************
factory_sk: 3
factory_code: 3
factory_name: Third Factory
factory_street_address: 37373 Burbank Dr.
factory_zip_code: 17050
factory_city: Mechanicsburg
factory_state: PA
version: 1
effective_date: 2015-03-18
expiry_date: 2200-01-01
*************************** 4. row ***************************
factory_sk: 4
factory_code: 4
factory_name: Fourth Factory
factory_street_address: 44444 Jenzen Blvd.
factory_zip_code: 17055
factory_city: Pittsburgh
factory_state: PA
version: 1
effective_date: 2015-03-18
expiry_date: 2200-01-01
4 rows in set (0.00 sec)

注意第二和第三個工廠已經正確修改了地址。

維度模型資料倉庫（十五） —— 多重星型模式

維度模型資料倉庫（十五） —— 多重星型模式

維度模型資料倉庫（十二） —— 多路徑和參差不齊的層次

維度模型資料倉庫（十四） —— 雜項維度

維度模型資料倉庫（十九） —— 維度合併

維度模型資料倉庫（二） —— 維度模型基礎

資料結構（十五）排序

資料結構（十五）最小生成樹

資料結構（十五）

python/pandas資料分析（十五）-聚合與分組運算例項

Java資料結構（十五）—— 多路查詢樹

雲端計算設計模式（十五）——管道和過濾器模式

設計模式（十五）：職責鏈模式

Java設計模式（十二）之結構型模式：享元模式

Java設計模式（十六）之行為型模式：迭代子模式

輕量ORM-SqlRepoEx （十五）最佳實踐之資料對映(Map)

大資料（十五）：Hadoop資料壓縮與壓縮/解壓縮例項

Python資料處理之（十五）Pandas 合併concat

Go語言基礎（十五）—— Go語言實現json資料檔案讀取與儲存

大資料WEB階段（十五）JavaEE三大核心技術之過濾器

MYSQL學習筆記（十五）資料插入

維度模型資料倉庫（十五） —— 多重星型模式

相關推薦