1. 程式人生 > >TPC-H資料匯入Hive方案

TPC-H資料匯入Hive方案

參考博文:

https://blog.csdn.net/haoxiaoyan/article/details/53033870    -->在這篇博文中,前面步驟對我有很大幫助,但後面將tpc-h生成的資料匯入到hive的步驟,我沒用看懂,我會在後面介紹另外一種方案匯入資料。

https://github.com/maomao1994/TPC-H/blob/master/Hive-HiveQL/Hive-HiveQL.md    -->我使用了該作者提供的原始碼,實現了往hive中匯入tpc-h測試集資料。

https://www.ibm.com/support/knowledgecenter/STXKQY_BDA_SHR/bl1bda_tpch.htm    -->ibm介紹的關於將tpch資料匯入hive方案。

使用系統:centos 7

 

 

正文:

1:下載TPC-H原始碼,用來生成測試資料:

      地址:http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp  -->選擇下載tpc-h那欄.zip格式的檔案。

 

2:將下載好的.zip檔案解壓到一個資料夾下:

      最好將該解壓資料夾放到一個儲存空間大的資料夾下,別放在根目錄下。

我起初放在了一個小資料夾下,最後生成測試集資料後,啟動hive報錯。

      錯誤型別如下,最後更改了存放位置,就OK啦。

    Resources are low on NN. Please add or free up more resources then turn off safe mode manually.

 

 

3:進入該解壓資料夾下,進入dbgen目錄:(我的資料夾名字為:tpc-h,解壓到了home目錄下)

    cd /home/tpc-h/dbgen

       找到一個名字叫makefile.suite的檔案,用vim開啟並修改:

    vi makefile.suite

       在makefile.suite檔案裡更改如下加紅的內容:

     CC      = gcc

     # Current values for DATABASE are: INFORMIX, DB2, TDAT (Teradata)  

     #                                  SQLSERVER, SYBASE  

     # Current values for MACHINE are:  ATT, DOS, HP, IBM, ICL, MVS, 

     #                                  SGI, SUN, U2200, VMS, LINUX, WIN32   

     # Current values for WORKLOAD are:  TPCH 

     DATABASE= SQLSERVER  

     MACHINE = LINUX  

     WORKLOAD = TPCH

      更改完畢,儲存檔案。在當前目錄下,更改makefile.suite檔案為makefile.程式碼如下:(目的是為了後面使用make命令)

     mv  makefile.suite  makefile

     檢查你的系統是否含有gcc編譯器,若沒有,則需要安裝。程式碼如下:

     yum install gcc

 

4:修改dbgen資料夾下的tpcd.h檔案:

     vi tpcd.h

 在該檔案裡,找到SQLSERVER段落,修改為下面內容:

     #ifdef  SQLSERVER
     #define GEN_QUERY_PLAN        "EXPLAIN;"
     #define START_TRAN                "START TRANSACTION;\n"
     #define END_TRAN                "COMMIT;\n"
     #define SET_OUTPUT                ""
     #define SET_ROWCOUNT                "limit %d;\n"
     #define SET_DBASE                "use %s;\n"
     #endif

 

 5:執行make命令,鍵入如下程式碼:

     make

 對,在命令列輸入make四個字母就可以了,接著會出現很多.o格式的檔案。

 

6:鍵入如下程式碼,生成測試集資料(要在dbgen目錄下執行):

    ./dbgen -s 1

 程式碼解釋:-s為資料規模因子,1代表1G,如果改為10就表示10G。看你要多少。執行完畢後你會發現在當前目錄下,出現了8個.tbl檔案。這就是生成的資料。

 

7:將tpc-h資料匯入hive:

     7.1 輸入如下命令,啟動hive:(下面的命令均在hive裡進行)   

    hive

 

    7.2 先建立一個數據庫:

    CREATE DATABASE tpch;
USE tpch;

 

    7.3 建立8張資料表,名字和我們之前生成的8個.tbl檔案的名字保持相同。程式碼如下:(程式碼來自於參考博文之第2篇)

 

   Create external table lineitem (L_ORDERKEY INT, L_PARTKEY INT,L_SUPPKEY INT,L_LINENUMBER INT,L_QUANTITY DOUBLE,L_EXTENDEDPRICE DOUBLE,L_DISCOUNT DOUBLE,L_TAX DOUBLE,L_RETURNFLAG STRING,L_LINESTATUS STRING,L_SHIPDATE STRING,L_COMMITDATE STRING,L_RECEIPTDATE STRING,L_SHIPINSTRUCT STRING,L_SHIPMODE STRING,L_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/lineitem';

   Create external table nation (N_NATIONKEY INT,N_NAME STRING,N_REGIONKEY INT,N_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/nation';

   Create external table region (R_REGIONKEY INT,R_NAME STRING,R_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/region';

   Create external table part (P_PARTKEY INT , P_NAME STRING , P_MFGR STRING, P_BRAND  STRING, P_TYPE STRING , P_SIZE INT , P_CONTAINER  STRING, P_RETAILPRICE DOUBLE, P_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/part';

   Create external table supplier (S_SUPPKEY INT , S_NAME STRING ,S_ADDRESS STRING , S_NATIONKEY  INT , S_PHONE  STRING, S_ACCTBAL DOUBLE, S_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/supplier';

   Create external table partsupp (PS_PARTKEY INT , PS_SUPPKEY INT , PS_AVAILQTY INT , PS_SUPPLYCOST DOUBLE, PS_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/partsupp';

   Create external table customer (C_CUSTKEY INT , C_NAME STRING , C_ADDRESS STRING , C_NATIONKEY  INT , C_PHONE  STRING , C_ACCTBAL DOUBLE , C_MKTSEGMENT STRING , C_COMMENT STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/customer';

   Create external table orders (O_ORDERKEY INT , O_CUSTKEY INT ,O_ORDERSTATUS STRING,O_TOTALPRICE DOUBLE, O_ORDERDATE DATE , O_ORDERPRIORITY STRING, O_CLERK  STRING,  O_SHIPPRIORITY  INT ,  O_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/orders';

 

     7.4 將資料匯入hive,程式碼如下:(下面 /home/mao/tpch_workplace/tpc_h_tool,應替換你測試集所在的實際地址)

   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/region.tbl' INTO TABLE region;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/nation.tbl' INTO TABLE nation;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/part.tbl'   INTO TABLE part;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/supplier.tbl' INTO TABLE supplier;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/partsupp.tbl' INTO TABLE partsupp;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/customer.tbl' INTO TABLE customer;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/orders.tbl' INTO TABLE orders;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/lineitem.tbl' INTO TABLE lineitem;

 

     7.5 完畢,可以使用SQL查詢語句,看資料表中是否有資料。匯入過程耗時:10G資料大概6分鐘。     7.6 除了這種匯入資料的方案,還有其他幾種方案,移步文章開頭介紹的參考博文:第一篇博文和第三篇博文。