基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫03 —— 安裝HAWQ 2.3.0.0
一、 HAWQ2.3.0環境準備【全部主機節點】:
1, vim /etc/sysctl.conf,編輯如下內容:
kernel.shmmax= 1000000000 kernel.shmmni= 4096 kernel.shmall= 4000000000 kernel.sem= 250 512000 100 2048 kernel.sysrq= 1 kernel.core_uses_pid= 1 kernel.msgmnb= 65536 kernel.msgmax= 65536 kernel.msgmni= 2048 net.ipv4.tcp_syncookies= 0 net.ipv4.ip_forward= 0 net.ipv4.conf.default.accept_source_route= 0 net.ipv4.tcp_tw_recycle= 1 net.ipv4.tcp_max_syn_backlog= 200000 net.ipv4.conf.all.arp_filter= 1 net.ipv4.ip_local_port_range= 1281 65535 net.core.netdev_max_backlog= 200000 vm.overcommit_memory= 2 fs.nr_open= 3000000 kernel.threads-max= 798720 kernel.pid_max= 798720 #increase network net.core.rmem_max=2097152 net.core.wmem_max=2097152
儲存退出後,使用命令“sysctl -p” 使之生效:
sysctl -p
2, vim /etc/security/limits.conf 編輯如下內容:
* soft nofile 2900000 * hard nofile 2900000 * soft nproc 131072 * hard nproc 131072
重新登入以使配置生效,或者使用命令臨時設定一下:
ulimit -n 10240
3, 新增gpadmin使用者(greeplum admin縮寫),使用/opt/gpadmin作為主目錄
useradd --home=/opt/gpadmin/ --no-create-home --comment "HAWQ admin" gpadmin echo gpadmin | passwd --stdin gpadmin mkdir /opt/gpadmin chown gpadmin:gpadmin /opt/gpadmin
2,新增gpadmin到/etc/sudoers,編輯該檔案,新增如下行
gpadmin ALL=(ALL) NOPASSWD:ALL
3, 配置gpadmin使用者的ssh【免密互訪】
4, 準備軟體包依賴項:
libgsasl is needed by apache-hawq-2.3.0.0-el7.x86_64
protobuf >= 2.5.0 is needed by apache-hawq-2.3.0.0-el7.x86_64
net-snmp-libs is needed by apache-hawq-2.3.0.0-el7.x86_64
thrift >= 0.9.1 is needed by apache-hawq-2.3.0.0-el7.x86_64
boost >= 1.53.0 is needed by apache-hawq-2.3.0.0-el7.x86_64
其中gcc gcc-c++ protobuf net-snmp-libs boots可直接安裝。而安裝libgsasl需要新增一個包含libgsasl庫的源:新建/etc/yum.repos.d/fedora.repo檔案,新增如下內容:
[epel-repo] name=epel baseurl=http://dl.fedoraproject.org/pub/epel/6/x86_64/ enabled=1 gpgcheck=0
執行安裝:
yum install gcc gcc-c++ -y yum install protobuf -y yum install net-snmp-libs -y yum install boost -y yum install libgsasl-devel -y
C)下載安裝thrift 0.9.1
wget http://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/t/thrift-0.9.1-15.el7.x86_64.rpm rpm -ivh thrift-0.9.1-15.el7.x86_64.rpm
二、 下載安裝包apache-hawq-rpm-2.3.0.0-incubating.tar.gz,並解壓縮
cd downloads wget http://mirrors.tuna.tsinghua.edu.cn/apache/incubator/hawq/2.3.0.0-incubating/apache-hawq-rpm-2.3.0.0-incubating.tar.gz tar -zxvf apache-hawq-rpm-2.3.0.0-incubating.tar.gz
三、 安裝服務端
1, 安裝
rpm -ivh --prefix=/opt/gpadmin apache-hawq-2.3.0.0-el7.x86_64.rpm
#在其他主機中依次執行上面安裝
**移除安裝
yum remove apache-hawq -y
2 HAWQ的引數配置
0) 切換使用者gpadmin
[[email protected] apache-hawq]# su - gpadmin
編輯使用者gpadmin啟動檔案.bash_proifile
source /opt/gpadmin/apache-hawq/greenplum_path.sh
執行命令
source /opt/gpadmin/apache-hawq/greenplum_path.sh
配置HAWQ的叢集及其它引數
1) vi /opt/gpadmin/apache-hawq/etc/slaves
# 新增叢集主機列表
ep-bd01 ep-bd02 ep-bd03 ep-bd04 ep-bd05 ep-bd06
2) vi hawq-site.xml
# 修改如下引數
引數名 值
hadoop.security.authentication simple hawq_master_address_host ep-bd01 hawq_dfs_url ep-bd01:8020/hawq hawq_rm_memory_limit_perseg 64GB hawq_rm_yarn_address ep-bd01:8032 hawq_dfs_url ep-bd01:8020/hawq hawq_global_rm_type yarn hawq_rm_yarn_scheduler_address ep-bd01:8030 hawq_acl_type standalone hawq_master_directory /opt/gpadmin/data/masterdd hawq_segment_directory /opt/gpadmin/data/segmentdd
vi yarn-site.xml
# 修改如下引數
引數名 值
hadoop.security.authentication simple
2, 建立dfs/hawq
sudo -u hdfs hdfs dfs -mkdir /hawq sudo -u hdfs hdfs dfs -chown gpadmin:gpadmin /hawq
3, 建立data目錄(全部節點)
sudo -u gpadmin mkdir -p /opt/gpadmin/data/masterdd /opt/gpadmin/data/segmentdd
4, 複製配置檔案到其他節點
su - gpadmin gpscp -f slaves slaves =:/opt/gpadmin/apache-hawq/etc
gpscp -f slaves hawq-site.xml =:/opt/gpadmin/apache-hawq/etc
gpscp -f slaves hdfs-client.xml =:/opt/gpadmin/apache-hawq/etc
gpscp -f slaves yarn-client.xml =:/opt/gpadmin/apache-hawq/etc
5,初始化cluster【注意,這裡必須進入/opt/gpadmin/apache-hawq/bin】
su - gpadmin cd /opt/gpadmin/apache-hawq/bin source ../greenplum_path.sh ./hawq init cluster
# 初始化cluster失敗,調整之後,再次執行初始化之前需要
#刪除dfs目錄中內容:
sudo -u hdfs hdfs dfs -rm -r -f /hawq/*
#刪除資料目錄中內容
ssh ep-bd01 rm -rf /opt/gpadmin/data/masterdd/* ssh ep-bd01 rm -rf /opt/gpadmin/data/segmentdd/* ssh ep-bd02 rm -rf /opt/gpadmin/data/masterdd/* ssh ep-bd02 rm -rf /opt/gpadmin/data/segmentdd/* ssh ep-bd03 rm -rf /opt/gpadmin/data/masterdd/* ssh ep-bd03 rm -rf /opt/gpadmin/data/segmentdd/* ssh ep-bd04 rm -rf /opt/gpadmin/data/masterdd/* ssh ep-bd04 rm -rf /opt/gpadmin/data/segmentdd/* ssh ep-bd05 rm -rf /opt/gpadmin/data/masterdd/* ssh ep-bd05 rm -rf /opt/gpadmin/data/segmentdd/* ssh ep-bd06 rm -rf /opt/gpadmin/data/masterdd/* ssh ep-bd06 rm -rf /opt/gpadmin/data/segmentdd/*
# 啟動停止重啟hawq
hawq stop/restart/start cluster
相關推薦
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫03 —— 安裝HAWQ 2.3.0.0
一、 HAWQ2.3.0環境準備【全部主機節點】: 1, vim /etc/sysctl.conf,編輯如下內容: kernel.shmmax= 1000000000 kernel.shmmni= 4096 kernel.shmall= 4000000000 kernel.sem= 250 512000
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫04 —— 安裝HAWQ外掛PXF3.3.0.0
一、 安裝PXF3.3.0.0,這裡所安裝的pxf的包檔案都包含在apache-hawq-rpm-2.3.0.0-incubating.tar.gz裡面下面步驟都是以root身份執行這裡注意,pxf外掛要用到tomcat服務,必須使用安裝包裡面的7.0.62, 不能安裝或升級為 tomcat8,這會造成依賴的
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫 —— MariaDB 安裝配置
一、安裝並使用MariaDB作為Ambari、Hive、Hue的儲存資料庫。 yum install mariadb-server mariadb 啟動、檢視狀態,檢查mariadb是否成功安裝 systemctl start mariadb systemctl status mariadb 二、配置
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ數據倉庫之一 —— MariaDB 安裝配置
ola http iad com grant stop drive 數據庫 commit 一、安裝並使用MariaDB作為Ambari、Hive、Hue的存儲數據庫。 yum install mariadb-server mariadb 啟動、查看狀態,檢查mariad
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】HAWQ資料倉庫 使用之 gpfdist協議
一、HAWQ基本安裝自帶gpfdist協議 gpfdist是HAWQ支援的外部表訪問協議之一,這是hawq自帶的一個簡單的整合http服務命令。 在我的前述安裝hawq之後,gpfdist命令位於hawq的bin目錄之中。/opt/gpadmin/apache-hawq/bin/gpfdist gpfdist
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫02 ——使用ambari-server安裝HDP
本文記錄使用ambari-server安裝HDP的過程,對比於使用cloudera-manager安裝CDH,不得不說ambari的易用性差的比較多~_~,需要使用者介入的過程較多,或者說可定製性更高。 首先、安裝之前,在每個主機節點上執行下面命令,已清除快取,避免一些repo原因導致的安裝失敗。 yum
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫01 —— 準備環境,搭建本地倉庫,安裝ambari
一、叢集軟硬體環境準備: 作業系統: centos 7 x86_64.1804 Ambari版本:2.7.0 HDP版本:3.0.0 HAWQ版本:2.3.05臺PC作為工作站: ep-bd01 ep-bd02 ep-bd03 ep-bd04 ep-bd05
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫——安裝配置OPEN-SSH,設定主機節點之間免密互訪
配置root使用者免密互訪(為了方便,各臺系統中使用統一的證書檔案)一、安裝Open-SSH 1,查詢系統中是否安裝了openssh [[email protected]]# opm -qa |grep ssh 如已安裝,則列出下面類似的軟體包 openssh-server-7.4p1-16.
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫——作業系統配置,安裝必備軟體
注意未經說明,所有本文中所有操作都預設需要作為root使用者進行操作。 一、安裝zmodem,用於遠端上傳下載檔案,安裝gedit,方便重定向到遠端windows上編輯檔案(通過xlanuch) [[email protected]]# yum install lrzsz -y [[email
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫——安裝配置NTP服務,保證叢集時間保持同步
一、所有節點上使用yum安裝配置NTP服務yum install ntp -y 二、選定一臺節點作為NTP server, 192.168.58.11修改/etc/ntp.conf vim /etc/ntp.conf 1,註釋掉restrict 127.0.0.1 ,修改為: restrict 192
MonkeyRunner環境搭建配置步驟(1.安裝jdk,2.安裝python,3.安裝android sdk)
img ads 系統 windows info beans android-s monk bean 前言:需要安裝jdk、python、android sdk 第一步:JDk的安裝以及配置 jdk下載地址:http://www.oracle.com/technetwork/
從零開始搭建大資料平臺系列之(2.1)—— Apache Hadoop 2.x 偽分散式環境搭建
JDK 版本:jdk 1.7.0_67 Apache Hadoop 版本:Hadoop 2.5.0 1、安裝目錄準備 ~]$ cd /opt/ opt]$ sudo mkdir /opt/modules opt]$ sudo chown beifeng:b
一次資料倉庫報表測試(2)
1.背景 最近終於將這個專案測試結束了,之前寫過一篇文章,寫的是測試過程中遇到的問題,感興趣的同學可有先去看看上一篇文章。 2.目的 專案結束後問題也沒有得到根本解決。寶路由此引發了一些
【CentOS-7+ Ambari 2.7.0 + HDP 3.0+HAWQ2.3.00】遭遇問題及解決記錄
一、zookeeper超出最大連線限制:ambari server檢測到critical錯誤, zookeeper server on ep-bd01:2181 連線被積極拒絕,翻看主機上zookeeper的日誌 tail -n200 zookeeper-zookeeper-server-ep-bd01.ou
CentOS 7.4 安裝 Ambari 2.6.0 + HDP 2.6.3 搭建Hadoop叢集
1.安裝環境說明 三臺機器安裝好CentOS-7-x86_64-Minimal-1708.iso 下載地址:https://www.centos.org/download/ 最好在安裝時設定好IP和HOSTNAME 三臺機器的IP和HOSTNAME下載如下 主
【Redis】2、CentOS 7 上安裝 redis3.2.3安裝與配置
sync 倉庫 ace /var/ 發現 wan sudo base str 一、redis源碼安裝 【更正】現在最新穩定的版本已經到了3.2.8 截至到2016.8.11,redis最新穩定版本為3.2.3.本篇文章我們就以此版本為基礎,進行相關的講解。 下載redis源
【python】python版本升級2.6.6到2.7.3(CentOS release 6.2)
configure pac packages 應該 zxvf 修改 figure oca nbsp 一、 升級python到2.7.3 wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz tar -z
CentOS 7.0 下 Python 2.7 升級到 Python 3.5
sqli qlite entos bin prefix 默認 2.7 dir bzip2 前段因為時間工作需要,要把 Centos 7.0 默認安裝的 Python 2.7 升級到 Python 3.5。 具體操作如下: # 安裝 gcc gcc-c++ 等編譯工具軟件
CentOS安裝python-2.7+安裝pip-10.0.0
files 預裝 path packages 編譯 onf block -s wget 註:以下所有操作均在CentOS 6.8 x86_64位系統下完成。 首先查看當前系統預裝的python版本: # whereis python python2: /usr
Linux(CentOS 7)+ Nginx(1.10.2)+ Mysql(5.7.16)+ PHP(7.0.12)完整環境搭建
首先安裝Linux系統,我以虛擬機器安裝來做示例,先去下載 VitualBox,這是一款開源的虛擬機器軟體,https://www.virtualbox.org 官網地址。或者是VMware,www.vmware.com,不過這個軟體是收費的。當然同時還要去下載一個Linux