2. 程式人生 > >Hawq學習筆記 --- 構建於HDFS之上的Greenplum（實時查詢引擎）

Hawq學習筆記 --- 構建於HDFS之上的Greenplum（實時查詢引擎）

阿新 • • 發佈：2019-01-09

2. HAWQ 結構

  HAWQ在結構仍然是Master-Slave的主從模式，典型的部署方式仍然是在Master伺服器上部署：HAWQ Master， HDFS Master， YARN ResouceManager， 在每一個SLAVE機器上部署： HAWQ segment， DataNode， NodeManager。具體結構看圖： 


下面是一張HAWQ的軟體元件圖： 


可以看出HAWQ包含了好幾個重要的元件，分別是： 
1. HAWQ Master 
  HAWQ Master是整個系統的介面，它負責接收客戶端查詢請求，解析SQL,優化查詢，分發和協調查詢的執行。當然作為老大，任務肯定不是這麼簡單的，它還得負責global system catalog

的管理工作。 
2. HAWQ Segment 
  Segments是並行處理資料的單元。每一個Slave機器上部署的HAWQ程式叫作物理Segment，而且第一臺Slave上只能部署一個物理Segment。一個物理Segment上可以執行多個虛擬Segment（一個查詢解析後的並行分片就是虛擬Segment).虛擬Segment的數量決定了一個查詢的並行度。 
3. HAWQ Interconnect 
  Segment之間的高速通訊網路，預設採用UDP協議，並且HAWQ軟體提供了針對UDP額外的資料包驗證。使其可靠性接近於TCP，但效能和可擴充套件性又比TCP好。HAWQ也可以使用TCP進行通訊，但有最大1000個Segment的限制。而使用UDP則沒有該限制。 
4. HAWQ Resource Manager 
  HAWQ資源管理用於從YARN獲取資源並響應資源請求。同時HAWQ會快取資源用於低延遲的查詢請求。除了使用YARN來管理資源外，HAWQ還可以使用自帶的資源管理器，而不需要YARN. 
5. HAWQ Catalog Service 
  元資料服務存在於HAWQ Master中。作用肯定就是用於儲存metadata.比如UDF,表資訊等。以及提供元資料的查詢服務。 
6. HAWQ Fault Tolerance Service 
  容錯服務自然就是針對各個Segment節點的狀態監控和失敗處理等工作。 
7. HAWQ Dispatcher 
  HAWQ分發器是則是分發查詢到指定的Segment上和coordinates上進行執行。

3. HAWQ 安裝


  如果你安裝過Greenplum，那麼你會發現HAWQ的安裝過程與Greenplum是極期相似，必竟它們兩可以說是不同儲存的版本。而整個安裝過程相對其它實時元件來說，還是比較繁瑣的。同時也可以看出來HAWQ是基於HDFS的獨立資料庫。而不像其它實時查詢元件除了HDFS，可能還需要依賴於其它Hadoop元件。 
  本文的測試環境為基於CDH 5.5的Hadoop叢集環境的安裝和測試。HAWQ的版本為：2.0.0, 另外HAWQ還可以使用Ambari圖形介面安裝。發竟安裝過程請看：


 1. 設定系統引數，更改檔案/etc/sysctl.conf,增加內容:

kernel.shmmax
 
 = 1000000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 0
net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 200000
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ip_local_port_range = 1281 65535
net.core.netdev_max_backlog = 200000
vm.overcommit_memory = 50
fs.nr_open = 3000000
kernel.threads-max = 798720
kernel.pid_max = 798720
# increase network
net.core.rmem_max=2097152
net.core.wmem_max=2097152
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24

   然後使用命令sysctl -p生效 
 2. 更改檔案/etc/security/limits.conf，增加內容：

* soft nofile 2900000
* hard nofile 2900000
* soft nproc 131072
* hard nproc 131072
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
rpm -ivh epel-release-latest-6.noarch.rpm
  • 1
  • 1

 4. 選擇一臺伺服器上，配置HAWQ安裝的YUM源

#啟動httpd 服務，如果沒有安裝使用yum安裝並啟動：
service httpd start

#解壓hdb 包:
tar -xzvf hdb-2.0.0.0-22126.tar.gz
cd hdb-2.0.0.0 #進到解壓後的目錄
./setup_repo.sh #執行指令碼建立YUM源

#將生成的/etc/yum.repos.d/HDB.repo原始檔拷由到每臺叢集節點上
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

 5. 先只在主節點上安裝HAWQ：

yum install hawq
  • 1
  • 1

 6. 在主節點上建立主機名檔案

建立檔案 hostfile包含叢集所有主機（包含MASTER），如:
[root@master hzh]# cat hostfile 
master
slave2
slave3
slave4
5.建立檔案僅包含seg（Slave)主機，如：
[root@master hzh]# cat seg_hosts 
slave2
slave3
slave4
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

 7. 打通各主機root使用者ssh

source /usr/local/hawq/greenplum_path.sh
hawq ssh-exkeys -f hostfile  #這裡的hostfile就是上面建立的那個檔案
  • 1
  • 2
  • 1
  • 2

 8. 然後在每個節點上安裝hawq:

source /usr/local/hawq/greenplum_path.sh
hawq ssh -f hostfile -e "yum install -y epel-release"
hawq ssh -f hostfile -e "yum install -y hawq"
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

 9. 在每個節點上增加gpadmin使用者,並設定密碼

hawq ssh -f hostfile -e '/usr/sbin/useradd gpadmin'
hawq ssh –f hostfile -e 'echo -e "changeme\changeme" | passwd gpadmin'
  • 1
  • 2
  • 1
  • 2

 10. 在主節點上切換到gpadmin 使用者，打通每個節點的ssh

su - gpadmin
source /usr/local/hawq/greenplum_path.sh
hawq ssh-exkeys -f hostfile
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

 11. 檢查安裝是否完成，在gpadmin使用者下執行：

hawq ssh -f hostfile -e "ls -l $GPHOME" #如有輸出目錄檔案則安裝成功
  • 1
  • 1

 12. 建立hawq的資料儲存目錄：

hawq ssh -f hostfile -e 'mkdir -p /hawq/master' #主節點目錄資料存放位置
hawq ssh -f hostfile -e 'mkdir -p /hawq/segment' #segment 節點資料存放目錄
hawq ssh -f hostfile -e 'mkdir -p /hawq/tmp' #spill臨時資料存放目錄，每臺伺服器可以建多個
hawq ssh -f hostfile -e 'chown -R gpadmin /hawq'
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

 13.編輯hawq-site.xml檔案在 $GP_HOME/etc/, 如果檔案不存在，直接從template-hawq-site.xml複製一個出來就是，屬性設定包括：

<property>
        <name>hawq_dfs_url</name>
        <value>localhost:8020/hawq</value> # hdfs的URL， 也可以設定成HDFS HA： <value>hdpcluster/hawq</value>
                                #注意前面不要帶hdfs://字首
        <description>URL for accessing HDFS.</description>
    </property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

另外還要包括屬性：

Property Example Value
hawq_master_address_host mdw
hawq_master_address_port 5432
hawq_standby_address_host smdw
hawq_segment_address_port 40000
hawq_master_directory /data/master
hawq_segment_directory /data/segment
hawq_master_temp_directory /data1/tmp,/data2/tmp
hawq_segment_temp_directory /data1/tmp,/data2/tmp
hawq_global_rm_type none

* 注意如果你需要安裝HAWQ在 secure mode (Kerberos-enabled),則需要設定hawq_global_rm_type為none,來避開已知的安裝問題。 這裡設定為none，就是沒有采用YARN來作資源管理，而使用了自帶的標準模式。

 14. 建立HDFS /hawq資料目錄

hadoop fs -mkdir /hawq
hadoop fs -chown gpadmin /hawq
  • 1
  • 2
  • 1
  • 2

 15. 建立 $GPHOME/etc/slaves檔案包含所有segment機器的主機名，如：

[root@master etc]# cat slaves 
slave2
slave3
slave4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

 16.如果HDFS是使用的HA模式，則需要在${GPHOME}/etc/hdfs-client.xml下配置一個hdfs-client.xml檔案。幸好這裡是單機，少配一個.

 17. 將以上的hawq-site.xml slaves hdfs-client.xml檔案拷貝到叢集的每個節點上。

 18. 準備工作終於作完了，接下來開始幹正事了，初始化HAWQ

chown -R gpadmin /usr/local/hawq-2.0.0.0  #先要給安裝目錄授權,在每一臺
#僅在主節點上，使用gpadmin 使用者執行：
hawq init cluster
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

  初始後後，HAWQ就安裝完成啦，你可以使用以下命令檢查叢集狀態：

[gpadmin@master ~]$ hawq state
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:--HAWQ instance status summary
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:------------------------------------------------------
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:--   Master instance                                = Active
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:--   No Standby master defined                           
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:--   Total segment instance count from config file  = 3
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:------------------------------------------------------ 
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:--   Segment Status                                    
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:------------------------------------------------------ 
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:--   Total segments count from catalog      = 3
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:--   Total segment valid (at master)        = 3
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:--   Total segment failures (at master)     = 0
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:--   Total number of postmaster.pid files missing   = 0
20161122:23:46:07:120722 hawq_state:master:gpadmin-[INFO]:--   Total number of postmaster.pid files found     = 3

4. 使用HAWQ

  在HAWQ的使用上跟Greenplum基本就一樣一樣的了。比如： 
 1. 建立表空間

#選建立filespace,生成配置檔案
[gpadmin@master ~]$ hawq filespace -o hawqfilespace_config
Enter a name for this filespace
> hawqfs
Enter replica num for filespace. If 0, default replica num is used (default=3)
> 0

Please specify the DFS location for the filespace (for example: localhost:9000/fs)
location> master:8020/fs
#執行建立
[gpadmin@master ~]$ hawq filespace --config ./hawqfilespace_config 
Reading Configuration file: './hawqfilespace_config'

CREATE FILESPACE hawqfs ON hdfs 
('slave2:8020/fs/hawqfs')
20161121:11:26:25:122509 hawqfilespace:master:gpadmin-[INFO]:-Connecting to database
20161121:11:27:38:122509 hawqfilespace:master:gpadmin-[INFO]:-Filespace "hawqfs" successfully created

#再建立表空間
[gpadmin@master ~]$ psql template1
psql (8.2.15)
Type "help" for help.

template1=# 
template1=# CREATE TABLESPACE hawqts FILESPACE hawqfs;
CREATE TABLESPACE
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26

 2. 建立資料庫

template1=# CREATE DATABASE testdb WITH TABLESPACE=hawqts; #指定儲存表空間為hawqts
CREATE DATABASE
  • 1
  • 2
  • 1
  • 2

 3. 建立表到新的資料庫中

[[email protected] ~]$ psql testdb  //這裡指定連線到新的資料庫中
testdb=# create TABLE books( 
testdb(#   id integer
testdb(#   , isbn varchar(100)
testdb(#   , category varchar(100)
testdb(#   , publish_date TIMESTAMP
testdb(#   , publisher varchar(100)
testdb(#   , price money 
testdb(# ) DISTRIBUTED BY (id);  #指定表的資料打雜湊 
CREATE TABLE
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

  建立的表預設都建立在了public schema中，也就是所有使用者都可以訪問，但可以在建表時指定schema. 如： testschema.books 
 4. 載入資料檔案到表中

testdb=# COPY books(id,isbn,category,publish_date,publisher,price) 
testdb-# FROM '/tmp/books'
testdb-# WITH
testdb-# DELIMITER AS '|'
testdb-# ;
COPY 15970428
Time: 41562.606 ms
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

  載入速度達到了 380248條/秒. 還是不錯的 
 5. 查詢表, HAWQ作為主用於資料倉庫的資料庫在SQL支援方面非常豐富，在標準SQL基礎上，還支援OLAP的視窗函式，視窗函式等。

testdb=# SELECT COUNT(*) FROM books;
  count   
----------
 15970428
(1 row)

Time: 4750.786 ms
//求每個類別下的最高價，最低價
testdb=# SELECT category, max(price) max_price, min(price) min_price
testdb-# FROM books
testdb-# group by category
testdb-# LIMIT 5;
    category    | max_price | min_price 
----------------+-----------+-----------
 COMPUTERS      |   $199.99 |     $5.99
 SELF-HELP      |   $199.99 |     $5.99
 COOKING        |   $199.99 |     $5.99
 SOCIAL-SCIENCE |   $199.99 |     $5.99
 SCIENCE        |   $199.99 |     $5.99
(5 rows)

Time: 4755.163 ms
//求每類別下的最高，最小价格，及對應的BOOK ID
testdb=# SELECT category
testdb-#  , max(case when desc_rn = 1 then id end) max_price_id, max(case when desc_rn = 1 then id end) max_price
testdb-#  , max(case when asc_rn = 1 then id end) min_price_id, max(case when asc_rn = 1 then id end) min_price
testdb-# FROM (
testdb(#  SELECT id, category, price
testdb(#   , row_number() over(PARTITION BY category ORDER BY price desc) desc_rn
testdb(#   , row_number() over(PARTITION BY category ORDER BY price asc) asc_rn
testdb(#  FROM books
testdb(# ) t
testdb-# WHERE desc_rn = 1 or asc_rn = 1
testdb-# GROUP BY category
testdb-# limit 5;
    category    | max_price_id | max_price | min_price_id | min_price 
----------------+--------------+-----------+--------------+-----------
 CRAFTS-HOBBIES |        86389 |   $199.99 |      7731780 |     $5.99
 GAMES          |      5747114 |   $199.99 |     10972216 |     $5.99
 STUDY-AIDS     |      2303276 |   $199.99 |     13723321 |     $5.99
 ARCHITECTURE   |      9294400 |   $199.99 |      7357451 |     $5.99
 POETRY         |      7501765 |   $199.99 |       554714 |     $5.99
(5 rows)

Time: 23522.772 ms

5. 使用HAWQ查詢HIVE資料

  HAWQ是一個基於HDFS的一個獨立的資料庫系統，若需要訪問

相關推薦

Hawq學習筆記 --- 構建於HDFS之上的Greenplum（實時查詢引擎）

2. HAWQ 結構   HAWQ在結構仍然是Master-Slave的主從模式，典型的部署方式仍然是在Master伺服器上部署：HAWQ Master， HDFS Master， YARN ResouceManager， 在每一個SLAVE機器上部署： HAWQ segment， DataNode，

Hawq學習筆記 --- MPP(大規模並行處理)架構（Massively Parallel Processing）

MPP是 Massively Parallel Processing的縮寫。        MPP 是將任務並行的分散到多個伺服器和節點上，在每個節點上計算完成後，將各自部分的結果彙總在一起得到最終的結果。 　　首先MPP 必須消除手工切分資料的工作量。 這是MySQL

構建於HDFS之上的Greenplum： HAWQ

1. HAWQ 是什麼   如果你知道Greenplum是什麼，那麼你就能很簡單的明白HAWQ是什麼。Greenplum是一個關係型的分散式MPP資料庫，同樣運行於X86架構的基礎之上，具有查詢、載入效率高，支援TB/PB級大資料量的OLAP應用， Green

機器學習筆記 1 LMS和梯度下降（批梯度下降） 20170617

temp eas 理解 import 樣本 alt mes show 超過 # 概念 LMS(least mean square)：（最小均方法）通過最小化均方誤差來求最佳參數的方法。 GD(gradient descent) : （梯度下降法）一種參數更新法則。可以作為L

梓益C語言學習筆記之常用字符串操作（sscanf & strtok）

C語言 字符串操作 梓益C語言學習筆記之常用字符串操作（sscanf & strtok）一、sscanf int sscanf(const char *buf,const char *format, …); \\從buf指定的內存區域中讀入信息 例： int a, b, c; ssc

STM32學習筆記：讀寫內部Flash（介紹+附程式碼）

原文地址::https://www.cnblogs.com/pertor/p/9484663.html 相關文章 1、STM32學習筆記：讀寫內部Flash----https://blog.csdn.net/qq_33559992/article/details/77676716 2、S

《Oracle大資料解決方案》學習筆記4——選擇Appliance的理由（Why an Appliance?）

雖然這章的內容有點像Oracled的市場宣傳資料，但也因此學習了一些大資料相關硬體的知識。 1. Oracle大資料機（Big Data Appliance）X3-2硬體規格（全機架配置，18個節點） 2. Oracle大資料機全機架配置環境規格 3. Orac

資料結構學習筆記——線性表之順序表（c語言實現）

1.概念 順序表即線性表的順序儲存結構 ，指的是用一段地址連續的儲存單元依次儲存線性表資料元素。線上性表中，每個資料元素的型別都相同，一般可以用一維陣列來實現順序儲存結構。 2.實現 （1）建立順序表的結構 利用c語言結構體來建立順序表的結構，順序表結構體中

資料結構學習筆記-棧的鏈式儲存（C語言實現）

棧是一個特殊的線性表，後進先出，既然是線性表，就會分為順序儲存和鏈式儲存，下面就是棧的鏈式儲存部分，也稱作鏈棧。單鏈表是有頭指標頭節點的，通常鏈棧的棧頂就相當於頭指標，因為初始化的鏈棧是空的，即top=

資料結構學習筆記-佇列的鏈式儲存（C語言實現）

佇列是一種先進先出的線性表。是線性表就會有鏈式儲存，因為先進先出，鏈佇列就是在鏈尾進鏈頭出，這樣一來，定義鏈佇列時就需要定義兩個指標，分別指向佇列的隊頭（相當於頭指標）、隊尾。如果隊頭等於隊尾，則該鏈佇

學習筆記——單鏈表的基本操作（C語言實現）

線性表的儲存結構有順序儲存結構（順序表）和鏈式儲存結構（連結串列）兩種。順序表在之前的部落格有介紹過，不明白的朋友可檢視：靜態分配順序表的基本操作及動態分配順序表的基本操作。相對於順序表來說，連結串列稍微難一些，本人花了兩天的時間認真查看了一些資料，終於大致明白了一些東西。現

機器學習框架ML.NET學習筆記【8】目標檢測（採用YOLO2模型）

一、概述 本篇文章介紹通過YOLO模型進行目標識別的應用，原始程式碼來源於：https://github.com/dotnet/machinelearning-samples 實現的功能是輸入一張圖片，對圖片中的目標進行識別，輸出結果在圖片中通過紅色框線標記出來。如下：  YOLO簡介

1-1 maven 學習筆記構

成功 衍生 服務 自動下載 其他 搜索 一個 自動 構建 一.基礎概念 1.Maven作為Apache組織中頗為成功的開源項目，主要服務於基於Java平臺的項目構建，依賴管理和項目信息管理。從清理，編譯，測試到生成報告，到打包部署，自動化構建過程。 還可以跨平臺，對外提供了

大資料學習筆記之Hadoop-HDFS

HDFS的Shell操作 基本語法 bin/hadoop fs 具體命令 OR bin/hdfs dfs 具體命令 dfs是fs的實現類。 命令大全 bin/hadoop fs [-appendToFile <localsrc> ... <d

Spark學習筆記：基於HDFS的實時計算WordCount

基於HDFS的實時計算WordCount 基於HDFS檔案的實時計算，其實就是監控一個HDFS目錄，只要有新檔案出現就實時處理 StreamingContext.fileStream(dataDirectory)方法可以從多種檔案系統的檔案中讀取資料，然後建立一個DStre

Hawq學習筆記 --- postgresql中的資料型別

wechat:812716131 ------------------------------------------------------ 技術交流群請聯絡上面wechat ----------------------------------------------

Hadoop學習筆記4之HDFS常用命令

1.檢視${Hadoop_HOME}/bin/hadoop指令碼的hadoop命令幫助資訊列印可知：hadoop  version   //檢視版本hadoop fs        //檔案系統客戶端hadoop  jar    //執行jar包hadoop classpat

Hawq學習筆記 --- postgresql 資料庫匯入匯出

匯入整個資料庫 psql -U postgres(使用者名稱)  資料庫名(預設時同用戶名) < /data/dum.sql 匯出整個資料庫 pg_dump -h localhost -U postgres(使用者名稱) 資料庫名(預設時同用戶名)   &

Oracle學習筆記—oracle體系架構及狀態（nomount、mount和open）簡介

位置 正常 處理 管理 共享服務器 體系 操作記錄 sysdba png oracle體系架構簡介 先來簡要了解一下Oracle數據庫體系架構以便於後面深入理解，Oracle Server主要由實例（instance）和數據庫（database）組成。實例（instance

JavaSE 學習筆記之網絡編程（二十三）

-c 可能 nbsp blog col accept 接收 存儲 pri 端口： 物理端口： 邏輯端口：用於標識進程的邏輯地址，不同進程的標識；有效端口：0~65535，其中0~1024系統使用或保留端口。 java 中ip對象：InetAddress. import