一、HAWQ基本安裝自帶gpfdist協議

gpfdist是HAWQ支援的外部表訪問協議之一，這是hawq自帶的一個簡單的整合http服務命令。

在我的前述安裝hawq之後，gpfdist命令位於hawq的bin目錄之中。/opt/gpadmin/apache-hawq/bin/gpfdist

gpfdist使用說明很簡單，且看：

[[email protected] ~]# /opt/gpadmin/apache-hawq/bin/gpfdist --help
gpfdist -- file distribution web server

usage: gpfdist [--ssl <certificates_directory>] [-d <directory>] [-p <http(s)_port>] [-l <log_file>] [-t <timeout>] [-v | -V] [-m <maxlen>][-c file
 
]

       gpfdist [-? | --help] | --version

        -?, --help : print this screen
        -v         : verbose mode
        -V         : more verbose
        -p port    : port to serve HTTP(S), default is 8080
        -d dir     : serve files under the specified directory,  default is '.'
        -l logfn   : log filename
        
 
-t tm      : timeout in seconds 
        -m maxlen  : max data row length expected, in bytes. default is 32768
        --ssl dir  : start HTTPS server. Use the certificates from the specified directory
        -c file    : configuration file for transformations
        --version  : print version information

這裡我只關心-d和-p兩個命令列引數

二、gpfdist服務簡單使用

1，啟動gpfdist服務

gpfdist不像pxf協議那麼麻煩，由於他只是服務於本機目錄，所以只要在資料目錄所在的主機上啟動gpfdist，hawq即可訪問了。

[[email protected] ~]# /opt/gpadmin/apache-hawq/bin/gpfdist -p8809 -d/var/data/ext
Serving HTTP on port 8809, directory /var/data/ext

2，準備資料檔案

1)建立本地路徑/var/data/ext/yxbw

2)路徑放置從hdfs檔案系統中複製過來的用sqoop從其他資料庫系統的資料表匯入的資料檔案，並且匯入時啟用了--compress引數，所以資料檔案是gz壓縮格式，這個gpfdist協議可以直接訪問。

[[email protected] pxf]# hdfs dfs -copyToLocal /var/data/ext/table1/* /var/data/ext/table1/. 
[[email protected] pxf]# ll /var/data/ext/table1/
總用量 152
-rw-r--r--. 1 root root 69503 9月  10 09:45 part-m-00000.gz
-rw-r--r--. 1 root root 41334 9月  10 09:45 part-m-00001.gz
-rw-r--r--. 1 root root 24035 9月  10 09:45 part-m-00002.gz
-rw-r--r--. 1 root root 14345 9月  10 09:45 part-m-00003.gz
-rw-r--r--. 1 root root     0 9月  10 09:45 _SUCCESS

3，建立hawq外部表

注意，gpfdist路徑中的table1路徑是相對於gpfdist服務啟動時通過引數"-d"指定的資料路徑的。

create external table ext.table1 (occur_time date, ......) location ('gpfdist://ep-bd01:8081/table1') format 'text'(delimiter ',' null '');    

4，訪問外部表

epbd=> select count(*) from ext.table1;
 count 
-------
  6288
(1 row)

Time: 258.015 ms