基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫——作業系統配置,安裝必備軟體
注意未經說明,所有本文中所有操作都預設需要作為root使用者進行操作。
一、安裝zmodem,用於遠端上傳下載檔案,安裝gedit,方便重定向到遠端windows上編輯檔案(通過xlanuch)
[[email protected]]# yum install lrzsz -y
[[email protected]]# yum install gedit -y
二、關閉防火牆
[[email protected]]# systemctl disable firewalld [[email protected]]# systemctl stop firewalld
三、關閉SELinux
在系統執行狀態暫時關閉(重啟後失效):
setenforce 0
編輯設定檔案/etc/sysconfig/selinux,關閉SELinux(重啟生效)
備註:已發現,如果不關閉,導致HUE的load-balance服務啟動報許可權錯誤!
vim /etc/sysconfig/selinux
設定SELINUX為disabled,如下所示:
# This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing- SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. #SELINUX=enforcing SELINUX=disabled # SELINUXTYPE= can take one of these two values: # targeted - Targeted processes are protected, # mls - Multi Level Security protection. SELINUXTYPE=targeted
儲存退出後複製到各個節點,或者在每個節點上重複設定。
四、解除安裝系統中已安裝的openjdk,安裝oracle jdk發行版
1,查詢系統中的openjdk軟體包:
[[email protected] ~]# rpm -qa|grep openjdk -i java-1.7.0-openjdk-headless-1.7.0.181-2.6.14.8.el7_5.x86_64
2,根據查詢到的結果,解除安裝openjdk,軟體包名稱要一致。
[[email protected] ~]# yum remove java-1.7.0-openjdk-headless-1.7.0.181-2.6.14.8.el7_5.x86_64
3,下載最新 Oracle JDK 8.181 centos,用rpm命令安裝:
[[email protected] ~]# rpm -ivh jdk-8u181-linux-x64.rpm
五、設定系統執行引數:
1 ,設定swappiness
echo 10 > /proc/sys/vm/swappiness
2, 禁用 透明大頁面壓縮
** 執行時設定:
echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled
同樣新增上面2行到/etc/rc.local以便重啟是執行
【注意,為使/etc/rc.local開機可以執行,必須給/etc/rc.d/rc.local新增執行許可權】
chmod +x /etc/rc.d/rc.local
六、配置使用者免密互訪:
七、設定DNS,便於叢集主機互訪。
1,編輯主節點/etc/hosts檔案,新增叢集節點地址
192.168.58.11 ep-bd01 192.168.58.12 ep-bd02 192.168.58.13 ep-bd03 192.168.58.14 ep-bd04 192.168.58.15 ep-bd05
2,分發/etc/hosts檔案,scp複製到其他節點或者各個主機節點單獨編輯。
scp /etc/hosts ep-bd02:/etc/. scp /etc/hosts ep-bd03:/etc/. scp /etc/hosts ep-bd04:/etc/. scp /etc/hosts ep-bd05:/etc/.
八、HAWQ2.30所需系統環境設定【全部主機節點】:
1, vim /etc/sysctl.conf,編輯如下內容:
kernel.shmmax= 1000000000 kernel.shmmni= 4096 kernel.shmall= 4000000000 kernel.sem= 250 512000 100 2048 kernel.sysrq= 1 kernel.core_uses_pid= 1 kernel.msgmnb= 65536 kernel.msgmax= 65536 kernel.msgmni= 2048 net.ipv4.tcp_syncookies= 0 net.ipv4.ip_forward= 0 net.ipv4.conf.default.accept_source_route= 0 net.ipv4.tcp_tw_recycle= 1 net.ipv4.tcp_max_syn_backlog= 200000 net.ipv4.conf.all.arp_filter= 1 net.ipv4.ip_local_port_range= 1281 65535 net.core.netdev_max_backlog= 200000
#java程式多時,設成2會導致很多服務不能去啟動! #vm.overcommit_memory= 2
vm.overcommit_memory=0 fs.nr_open= 3000000 kernel.threads-max= 798720 kernel.pid_max= 798720 #increase network net.core.rmem_max=2097152 net.core.wmem_max=2097152
儲存退出後,使用命令“sysctl -p” 使之生效:
sysctl -p
2,修改/etc/security/limits.conf,設定開啟檔案數限制:
vim /etc/security/limits.conf
編輯如下內容:
* soft nofile 2900000 * hard nofile 2900000 * soft nproc 131072 * hard nproc 131072
重新登入以使配置生效,或者使用命令臨時設定一下:
ulimit -n 10240
3, 新增gpadmin使用者(greeplum admin縮寫),使用/opt/gpadmin作為主目錄
useradd --home=/opt/gpadmin/ --no-create-home --comment "HAWQ admin" gpadmin echo gpadmin | passwd --stdin gpadmin mkdir /opt/gpadmin chown gpadmin:gpadmin /opt/gpadmin
2,新增gpadmin到/etc/sudoers
vim /etc/sudoers 編輯新增如下行
gpadmin ALL=(ALL) NOPASSWD:ALL
3, 配置gpadmin使用者的ssh【免密互訪】
參照上面root使用者的設定進行。
九、 準備HAWQ2.3.0依賴軟體包
1,hawq2.3.0所需必備軟體包如下:
libgsasl is needed by apache-hawq-2.3.0.0-el7.x86_64 protobuf >= 2.5.0 is needed by apache-hawq-2.3.0.0-el7.x86_64 net-snmp-libs is needed by apache-hawq-2.3.0.0-el7.x86_64 thrift >= 0.9.1 is needed by apache-hawq-2.3.0.0-el7.x86_64 boost >= 1.53.0 is needed by apache-hawq-2.3.0.0-el7.x86_64
其中gcc gcc-c++ protobuf net-snmp-libs boots可直接安裝。而安裝libgsasl需要新增一個包含libgsasl庫的源。
2,新建/etc/yum.repos.d/fedora.repo檔案,新增如下內容:
[epel-repo] name=epel baseurl=http://dl.fedoraproject.org/pub/epel/6/x86_64/ enabled=1 gpgcheck=0
3,安裝各個軟體包:
yum install gcc gcc-c++ -y yum install protobuf -y yum install net-snmp-libs -y yum install boost -y yum install libgsasl-devel -y
yum install libevent -y
4,thrift 0.9.1需要下載安裝包並使用rpm進行安裝
wget http://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/t/thrift-0.9.1-15.el7.x86_64.rpm rpm -ivh thrift-0.9.1-15.el7.x86_64.rpm
相關推薦
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫——作業系統配置,安裝必備軟體
注意未經說明,所有本文中所有操作都預設需要作為root使用者進行操作。 一、安裝zmodem,用於遠端上傳下載檔案,安裝gedit,方便重定向到遠端windows上編輯檔案(通過xlanuch) [[email protected]]# yum install lrzsz -y [[email
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫04 —— 安裝HAWQ外掛PXF3.3.0.0
一、 安裝PXF3.3.0.0,這裡所安裝的pxf的包檔案都包含在apache-hawq-rpm-2.3.0.0-incubating.tar.gz裡面下面步驟都是以root身份執行這裡注意,pxf外掛要用到tomcat服務,必須使用安裝包裡面的7.0.62, 不能安裝或升級為 tomcat8,這會造成依賴的
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫02 ——使用ambari-server安裝HDP
本文記錄使用ambari-server安裝HDP的過程,對比於使用cloudera-manager安裝CDH,不得不說ambari的易用性差的比較多~_~,需要使用者介入的過程較多,或者說可定製性更高。 首先、安裝之前,在每個主機節點上執行下面命令,已清除快取,避免一些repo原因導致的安裝失敗。 yum
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫01 —— 準備環境,搭建本地倉庫,安裝ambari
一、叢集軟硬體環境準備: 作業系統: centos 7 x86_64.1804 Ambari版本:2.7.0 HDP版本:3.0.0 HAWQ版本:2.3.05臺PC作為工作站: ep-bd01 ep-bd02 ep-bd03 ep-bd04 ep-bd05
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫——安裝配置OPEN-SSH,設定主機節點之間免密互訪
配置root使用者免密互訪(為了方便,各臺系統中使用統一的證書檔案)一、安裝Open-SSH 1,查詢系統中是否安裝了openssh [[email protected]]# opm -qa |grep ssh 如已安裝,則列出下面類似的軟體包 openssh-server-7.4p1-16.
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫03 —— 安裝HAWQ 2.3.0.0
一、 HAWQ2.3.0環境準備【全部主機節點】: 1, vim /etc/sysctl.conf,編輯如下內容: kernel.shmmax= 1000000000 kernel.shmmni= 4096 kernel.shmall= 4000000000 kernel.sem= 250 512000
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫——安裝配置NTP服務,保證叢集時間保持同步
一、所有節點上使用yum安裝配置NTP服務yum install ntp -y 二、選定一臺節點作為NTP server, 192.168.58.11修改/etc/ntp.conf vim /etc/ntp.conf 1,註釋掉restrict 127.0.0.1 ,修改為: restrict 192
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫 —— MariaDB 安裝配置
一、安裝並使用MariaDB作為Ambari、Hive、Hue的儲存資料庫。 yum install mariadb-server mariadb 啟動、檢視狀態,檢查mariadb是否成功安裝 systemctl start mariadb systemctl status mariadb 二、配置
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ數據倉庫之一 —— MariaDB 安裝配置
ola http iad com grant stop drive 數據庫 commit 一、安裝並使用MariaDB作為Ambari、Hive、Hue的存儲數據庫。 yum install mariadb-server mariadb 啟動、查看狀態,檢查mariad
基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】HAWQ資料倉庫 使用之 gpfdist協議
一、HAWQ基本安裝自帶gpfdist協議 gpfdist是HAWQ支援的外部表訪問協議之一,這是hawq自帶的一個簡單的整合http服務命令。 在我的前述安裝hawq之後,gpfdist命令位於hawq的bin目錄之中。/opt/gpadmin/apache-hawq/bin/gpfdist gpfdist
【CentOS-7+ Ambari 2.7.0 + HDP 3.0+HAWQ2.3.00】遭遇問題及解決記錄
一、zookeeper超出最大連線限制:ambari server檢測到critical錯誤, zookeeper server on ep-bd01:2181 連線被積極拒絕,翻看主機上zookeeper的日誌 tail -n200 zookeeper-zookeeper-server-ep-bd01.ou
Centos升級Python 2.7並安裝pip、ipython
info bin ssl ber .cn update .com space rap https://www.cnblogs.com/technologylife/p/6242115.html Centos系統一般默認就安裝有Python2.6.6版本,不少軟件需要2.7以
基於ambari 2.4.1 HDP-2.5.0 構建安全的hive資料庫
基於ambari 2.4.1 HDP-2.5.0 構建安全的hive資料庫 基本條件: 1. 利用ambari 啟用kerberos 基本原理: hadoop 代理機制:hadoop 可以使用"超級"使用者,偽裝為其他使用者提交程式。且可以通過配置對被偽裝的使用者限定使用
ambari 2.7 編譯與安裝
1.環境準備 安裝好JDK,maven,ant,postgresql,以及nodejs,npm和bower。參見博主的相關部落格。注意部分元件的下載需要科學上網。 安裝rpm,rpm-build,git sudo yum install rpm sudo
編譯 ambari 2.7.3
com 這一 options .tar.gz 分享圖片 popd max test oca 官方給的教程比較簡單,需要事先安裝的工具也是這裏列一點,那裏列一點。在此記錄一下編譯要點(在 centos 7 下)。 1. 事先需要安裝的工具 yum install
nginx + tomcat 8.5 優化配置,安裝nginx【centos6、7】
第一步安裝 軟體 1.1 依賴包 # yum -y install gcc # yum install expat-devel # sudo yum install zlib-devel 到http://apr.apache.org/download.cgi#apr1這
File Cabinet Pro for Mac(Mac選單欄檔案管理器) V6.7.1(2.7.9)破解版
File Cabinet Pro for Mac是Mac平臺上一款非常簡潔的Mac選單欄檔案管理器,File Cabinet Pro Mac破解版不僅僅是一個選單欄檔案管理軟體,它還內建了文字編輯器、pdf檢視器、影象檢視器和媒體播放器等小功能,功能非常的強大。 File Cabinet Pro
MTK phonebook vCard 2 1 和vCard 3 0 有何不同
分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!  
註解框架AndroidAnnotations4.5.2在android Studio 3.0之後的配置
注意:這是android Studio 3.0之後的配置(關於 android studio 即可檢視版本) 在module的build.gradle中根據以下紅色字型來進行配置 第一步:1.新增下面這一段到defaultConfig下面 javaCompileOp
Jedis 2.9.1、2.10.0 與 3.0.0 釋出,Redis 的 Java 客戶端
Jedis 2.9.1、2.10.0 與 3.0.0 釋出了,Jedis 是 Redis 的 Java 客戶端,它易於使用,與 Redis 2.8.x 和 3.x.x 完全相容。 2.9.1 與 2.10.0 更新: JedisCluster 掃描 bug 修復&nb