1. 程式人生 > >基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫——作業系統配置,安裝必備軟體

基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫——作業系統配置,安裝必備軟體

注意未經說明,所有本文中所有操作都預設需要作為root使用者進行操作。

一、安裝zmodem,用於遠端上傳下載檔案,安裝gedit,方便重定向到遠端windows上編輯檔案(通過xlanuch)

[[email protected]]# yum install lrzsz -y
[[email protected]]# yum install gedit -y

二、關閉防火牆

[[email protected]]# systemctl disable firewalld
[[email protected]]# systemctl stop firewalld

三、關閉SELinux

在系統執行狀態暫時關閉(重啟後失效):

setenforce  0

編輯設定檔案/etc/sysconfig/selinux,關閉SELinux(重啟生效)

備註:已發現,如果不關閉,導致HUE的load-balance服務啟動報許可權錯誤!

vim   /etc/sysconfig/selinux

設定SELINUX為disabled,如下所示:

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing 
- SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. #SELINUX=enforcing SELINUX=disabled # SELINUXTYPE= can take one of these two values: # targeted - Targeted processes are protected, # mls - Multi Level Security protection. SELINUXTYPE
=targeted

儲存退出後複製到各個節點,或者在每個節點上重複設定。

四、解除安裝系統中已安裝的openjdk,安裝oracle jdk發行版

1,查詢系統中的openjdk軟體包:

[[email protected] ~]# rpm -qa|grep openjdk -i
java-1.7.0-openjdk-headless-1.7.0.181-2.6.14.8.el7_5.x86_64

2,根據查詢到的結果,解除安裝openjdk,軟體包名稱要一致。

[[email protected] ~]# yum remove java-1.7.0-openjdk-headless-1.7.0.181-2.6.14.8.el7_5.x86_64

3,下載最新 Oracle JDK 8.181 centos,用rpm命令安裝:

[[email protected] ~]# rpm -ivh jdk-8u181-linux-x64.rpm

五、設定系統執行引數:

1 ,設定swappiness

echo 10 > /proc/sys/vm/swappiness

2, 禁用 透明大頁面壓縮

** 執行時設定:

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

同樣新增上面2行到/etc/rc.local以便重啟是執行

 【注意,為使/etc/rc.local開機可以執行,必須給/etc/rc.d/rc.local新增執行許可權】

chmod +x /etc/rc.d/rc.local

六、配置使用者免密互訪:

七、設定DNS,便於叢集主機互訪。

1,編輯主節點/etc/hosts檔案,新增叢集節點地址

192.168.58.11 ep-bd01
192.168.58.12 ep-bd02
192.168.58.13 ep-bd03
192.168.58.14 ep-bd04
192.168.58.15 ep-bd05

2,分發/etc/hosts檔案,scp複製到其他節點或者各個主機節點單獨編輯。

scp /etc/hosts ep-bd02:/etc/.
scp /etc/hosts ep-bd03:/etc/.
scp /etc/hosts ep-bd04:/etc/.
scp /etc/hosts ep-bd05:/etc/.

八、HAWQ2.30所需系統環境設定【全部主機節點】:

1, vim /etc/sysctl.conf,編輯如下內容:

kernel.shmmax= 1000000000
kernel.shmmni= 4096
kernel.shmall= 4000000000
kernel.sem= 250 512000 100 2048
kernel.sysrq= 1
kernel.core_uses_pid= 1
kernel.msgmnb= 65536
kernel.msgmax= 65536
kernel.msgmni= 2048
net.ipv4.tcp_syncookies= 0
net.ipv4.ip_forward= 0
net.ipv4.conf.default.accept_source_route= 0
net.ipv4.tcp_tw_recycle= 1
net.ipv4.tcp_max_syn_backlog= 200000
net.ipv4.conf.all.arp_filter= 1
net.ipv4.ip_local_port_range= 1281 65535
net.core.netdev_max_backlog= 200000
#java程式多時,設成2會導致很多服務不能去啟動! #vm.overcommit_memory= 2
vm.overcommit_memory=0 fs.nr_open= 3000000 kernel.threads-max= 798720 kernel.pid_max= 798720 #increase network net.core.rmem_max=2097152 net.core.wmem_max=2097152

儲存退出後,使用命令“sysctl -p” 使之生效:

sysctl -p

2,修改/etc/security/limits.conf,設定開啟檔案數限制:

vim /etc/security/limits.conf

編輯如下內容:

* soft nofile 2900000
* hard nofile 2900000
* soft nproc 131072
* hard nproc 131072

重新登入以使配置生效,或者使用命令臨時設定一下:

ulimit -n 10240

3, 新增gpadmin使用者(greeplum admin縮寫),使用/opt/gpadmin作為主目錄

useradd --home=/opt/gpadmin/ --no-create-home --comment "HAWQ admin" gpadmin 
echo gpadmin | passwd --stdin gpadmin 
mkdir /opt/gpadmin
chown gpadmin:gpadmin /opt/gpadmin

2,新增gpadmin到/etc/sudoers

vim /etc/sudoers 編輯新增如下行

gpadmin ALL=(ALL) NOPASSWD:ALL

3, 配置gpadmin使用者的ssh【免密互訪】

參照上面root使用者的設定進行。

九、 準備HAWQ2.3.0依賴軟體包

1,hawq2.3.0所需必備軟體包如下:

libgsasl is needed by apache-hawq-2.3.0.0-el7.x86_64
protobuf >= 2.5.0 is needed by apache-hawq-2.3.0.0-el7.x86_64
net-snmp-libs is needed by apache-hawq-2.3.0.0-el7.x86_64
thrift >= 0.9.1 is needed by apache-hawq-2.3.0.0-el7.x86_64
boost >= 1.53.0 is needed by apache-hawq-2.3.0.0-el7.x86_64

其中gcc gcc-c++ protobuf net-snmp-libs boots可直接安裝。而安裝libgsasl需要新增一個包含libgsasl庫的源。

2,新建/etc/yum.repos.d/fedora.repo檔案,新增如下內容: 

[epel-repo]
name=epel
baseurl=http://dl.fedoraproject.org/pub/epel/6/x86_64/
enabled=1
gpgcheck=0

3,安裝各個軟體包:

yum install gcc gcc-c++ -y
yum install protobuf -y
yum install net-snmp-libs -y
yum install boost -y 
yum install libgsasl-devel -y
yum install libevent -y

4,thrift 0.9.1需要下載安裝包並使用rpm進行安裝

wget http://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/t/thrift-0.9.1-15.el7.x86_64.rpm
rpm -ivh thrift-0.9.1-15.el7.x86_64.rpm

相關推薦

基於CentOS-7+ Ambari 2.7.0 + HDP 3.0搭建HAWQ資料倉庫——作業系統配置安裝必備軟體

注意未經說明,所有本文中所有操作都預設需要作為root使用者進行操作。 一、安裝zmodem,用於遠端上傳下載檔案,安裝gedit,方便重定向到遠端windows上編輯檔案(通過xlanuch) [[email protected]]# yum install lrzsz -y [[email

基於CentOS-7+ Ambari 2.7.0 + HDP 3.0搭建HAWQ資料倉庫04 —— 安裝HAWQ外掛PXF3.3.0.0

一、 安裝PXF3.3.0.0,這裡所安裝的pxf的包檔案都包含在apache-hawq-rpm-2.3.0.0-incubating.tar.gz裡面下面步驟都是以root身份執行這裡注意,pxf外掛要用到tomcat服務,必須使用安裝包裡面的7.0.62, 不能安裝或升級為 tomcat8,這會造成依賴的

基於CentOS-7+ Ambari 2.7.0 + HDP 3.0搭建HAWQ資料倉庫02 ——使用ambari-server安裝HDP

本文記錄使用ambari-server安裝HDP的過程,對比於使用cloudera-manager安裝CDH,不得不說ambari的易用性差的比較多~_~,需要使用者介入的過程較多,或者說可定製性更高。 首先、安裝之前,在每個主機節點上執行下面命令,已清除快取,避免一些repo原因導致的安裝失敗。 yum

基於CentOS-7+ Ambari 2.7.0 + HDP 3.0搭建HAWQ資料倉庫01 —— 準備環境搭建本地倉庫安裝ambari

一、叢集軟硬體環境準備: 作業系統:  centos 7 x86_64.1804 Ambari版本:2.7.0 HDP版本:3.0.0 HAWQ版本:2.3.05臺PC作為工作站: ep-bd01 ep-bd02 ep-bd03 ep-bd04 ep-bd05

基於CentOS-7+ Ambari 2.7.0 + HDP 3.0搭建HAWQ資料倉庫——安裝配置OPEN-SSH設定主機節點之間免密互訪

配置root使用者免密互訪(為了方便,各臺系統中使用統一的證書檔案)一、安裝Open-SSH 1,查詢系統中是否安裝了openssh [[email protected]]# opm -qa |grep ssh 如已安裝,則列出下面類似的軟體包 openssh-server-7.4p1-16.

基於CentOS-7+ Ambari 2.7.0 + HDP 3.0搭建HAWQ資料倉庫03 —— 安裝HAWQ 2.3.0.0

一、 HAWQ2.3.0環境準備【全部主機節點】: 1, vim /etc/sysctl.conf,編輯如下內容: kernel.shmmax= 1000000000 kernel.shmmni= 4096 kernel.shmall= 4000000000 kernel.sem= 250 512000

基於CentOS-7+ Ambari 2.7.0 + HDP 3.0搭建HAWQ資料倉庫——安裝配置NTP服務保證叢集時間保持同步

一、所有節點上使用yum安裝配置NTP服務yum install ntp -y 二、選定一臺節點作為NTP server, 192.168.58.11修改/etc/ntp.conf vim /etc/ntp.conf 1,註釋掉restrict 127.0.0.1 ,修改為: restrict 192

基於CentOS-7+ Ambari 2.7.0 + HDP 3.0搭建HAWQ資料倉庫 —— MariaDB 安裝配置

一、安裝並使用MariaDB作為Ambari、Hive、Hue的儲存資料庫。 yum install mariadb-server mariadb 啟動、檢視狀態,檢查mariadb是否成功安裝 systemctl start mariadb systemctl status mariadb 二、配置

基於CentOS-7+ Ambari 2.7.0 + HDP 3.0搭建HAWQ數據倉庫之一 —— MariaDB 安裝配置

ola http iad com grant stop drive 數據庫 commit 一、安裝並使用MariaDB作為Ambari、Hive、Hue的存儲數據庫。 yum install mariadb-server mariadb 啟動、查看狀態,檢查mariad

基於CentOS-7+ Ambari 2.7.0 + HDP 3.0HAWQ資料倉庫 使用之 gpfdist協議

一、HAWQ基本安裝自帶gpfdist協議 gpfdist是HAWQ支援的外部表訪問協議之一,這是hawq自帶的一個簡單的整合http服務命令。 在我的前述安裝hawq之後,gpfdist命令位於hawq的bin目錄之中。/opt/gpadmin/apache-hawq/bin/gpfdist gpfdist

CentOS-7+ Ambari 2.7.0 + HDP 3.0+HAWQ2.3.00遭遇問題及解決記錄

一、zookeeper超出最大連線限制:ambari server檢測到critical錯誤, zookeeper server on ep-bd01:2181 連線被積極拒絕,翻看主機上zookeeper的日誌 tail -n200 zookeeper-zookeeper-server-ep-bd01.ou

Centos升級Python 2.7安裝pip、ipython

info bin ssl ber .cn update .com space rap https://www.cnblogs.com/technologylife/p/6242115.html Centos系統一般默認就安裝有Python2.6.6版本,不少軟件需要2.7以

基於ambari 2.4.1 HDP-2.5.0 構建安全的hive資料庫

基於ambari 2.4.1 HDP-2.5.0 構建安全的hive資料庫 基本條件: 1. 利用ambari 啟用kerberos 基本原理: hadoop 代理機制:hadoop 可以使用"超級"使用者,偽裝為其他使用者提交程式。且可以通過配置對被偽裝的使用者限定使用

ambari 2.7 編譯與安裝

1.環境準備 安裝好JDK,maven,ant,postgresql,以及nodejs,npm和bower。參見博主的相關部落格。注意部分元件的下載需要科學上網。 安裝rpm,rpm-build,git sudo yum install rpm sudo

編譯 ambari 2.7.3

com 這一 options .tar.gz 分享圖片 popd max test oca 官方給的教程比較簡單,需要事先安裝的工具也是這裏列一點,那裏列一點。在此記錄一下編譯要點(在 centos 7 下)。 1. 事先需要安裝的工具 yum install

nginx + tomcat 8.5 優化配置安裝nginxcentos6、7

第一步安裝 軟體 1.1 依賴包 # yum -y install gcc # yum install expat-devel # sudo yum install  zlib-devel 到http://apr.apache.org/download.cgi#apr1這

File Cabinet Pro for Mac(Mac選單欄檔案管理器) V6.7.1(2.7.9)破解版

File Cabinet Pro for Mac是Mac平臺上一款非常簡潔的Mac選單欄檔案管理器,File Cabinet Pro Mac破解版不僅僅是一個選單欄檔案管理軟體,它還內建了文字編輯器、pdf檢視器、影象檢視器和媒體播放器等小功能,功能非常的強大。 File Cabinet Pro

MTK phonebook vCard 2 1 和vCard 3 0 有何不同

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!        

註解框架AndroidAnnotations4.5.2在android Studio 3.0之後的配置

注意:這是android Studio 3.0之後的配置(關於 android studio 即可檢視版本) 在module的build.gradle中根據以下紅色字型來進行配置 第一步:1.新增下面這一段到defaultConfig下面 javaCompileOp

Jedis 2.9.1、2.10.03.0.0 釋出Redis 的 Java 客戶端

   Jedis 2.9.1、2.10.0 與 3.0.0 釋出了,Jedis 是 Redis 的 Java 客戶端,它易於使用,與 Redis 2.8.x 和 3.x.x 完全相容。 2.9.1 與 2.10.0 更新: JedisCluster 掃描 bug 修復&nb