2. 程式人生 > >大資料叢集：CDH 6.0.X 完整版 安裝

大資料叢集：CDH 6.0.X 完整版 安裝

阿新 • • 發佈：2018-12-13

CDH 6.0.x 安裝步驟

前沿

由於最近工作需要對CDH6進行技術調研，這個大版本的升級更加的也同樣升級了hadoop生態圈的元件版本，支援的更加完善了，功能也增強了很多，下面做個簡單的介紹

一CDH6新功能介紹

1、 cdh 6 版本的新功能

1.打包整合Solr7，更好的應對無論是結構化資料還是非結構化資料。Solr7支援直接使用SQL查詢，並且通過SQL介面可以將對非結構化資料的查詢對接到傳統BI工具。Cloudera Enterprise 6.0支援新的 JSON Facet Module以及Nested Documents，對於Solr7的新的查詢介面UI也在6.x的Roadmap中。
2.Hive2的向量化（vectorization ）進一步提升分析效能，帶來20％-80％的效能提升。YARN可以在帶有GPU的專有硬體上排程作業，對於深度學習用例的效能提升在5倍到10倍。
3.通過全自動的wire encryption（TLS）以及對於Cloudera Manager使用者的更加細粒度對每個叢集訪問的控制，提升Cloudera Manager的叢集管理效率，並保護敏感資料以及對基礎架構的訪問。從而使管理員可以在幾分鐘之內部署超過2500個節點的多個叢集，同時管理開銷最小。

2、cdh6 使用的元件版本詳情

Cloudera Enterprise 6.0中的主要元件的升級：
SDX
Cloudera Manager 6.0
Cloudera Director 6.0
Cloudera Navigator 6.0
Cloudera Navigator Key Trustee 6.0
Apache Sentry 2.0
Apache Kafka 1.0
Analytics and Machine Learning Workloads
Apache Solr 7.0
Apache Spark 2.3
Core Platform
Apache Hadoop 3.0
Apache Hive 2.1
Apache HBase 2.0
Apache Oozie 5.0
Apache Avro 1.8
Apache Parquet 1.9

3、升級或者安裝前置：

CDH
只支援從CDH5.7或以上版本升級到C6，所以如果你在使用CDH5.7以下版本，建議你至少先升級到5.7.
外部資料庫支援：
MySQL 5.7或更高
MariaDB 5.5或更高
PostgreSQL 8.4或更高
Oracle 12c或更高JDK
Oracle JDK1.8，將不再支援JDK1.7
作業系統支援
RHEL 6.8或更高
RHEL 7.2或更高
SLES 12 SP2或更高
Ubuntu 16或更高

二：下面開始進行CDH6安裝前的準備工作：

1、配置主機名和hosts解析(所有節點)

編輯/etc/hostname，修改主機名，並使用命令hostname使其立刻生效。
編輯檔案/etc/hosts，增加如下內容。
10.10.2.22 cdh22
10.10.2.21 cdh21
10.10.2.24 cdh24

2、關閉防火牆

systemctl stop firewalld.service
systemctl disable firewalld.service

3、關閉SELinux

sed -i ‘s#SELINUX=enforcing#SELINUX=disabled#g’ /etc/selinux/config
setenforce 0

4、新增定時任務

echo “$((RANDOM%60)) $((RANDOM%24)) * * * /usr/sbin/ntpdate time1.aliyun.com” >> /var/spool/cron/root

5、禁用透明大頁面壓縮

CDH配置需要
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
並將上面的兩條命令寫入開機自啟動/etc/rc.local。

6、優化交換分割槽

echo “vm.swappiness = 10” >> /etc/sysctl.conf
sysctl -p

三：安裝 CM 和 CDH

CDH6.0.x安裝 ：根據自己伺服器版本進行下載
需要提前安裝的server 和 agent ：根據自己伺服器版本進行下載

1、配置 Cloudera Manager 倉庫 yum源(所有節點)

wget https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/

2、配置倉儲以及驗證祕鑰

rpm --import https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPM-GPG-KEY-cloudera

使用倉庫安裝會比較慢，建議先把需要的rpm下載下來，進行離線安裝或者建私有倉庫，主要下面的三個軟體包：

cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm
cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
cloudera-manager-daemons 是 server 和 agent 必須安裝的。

3、配置 JDK (所有節點)

配置自己的jdk即可，建議吧jdk的環境變數路徑更改成
[[email protected] ~]# echo $JAVA_HOME
/usr/java/jdk1.8.0_152/

4、安裝 CM Server 和 Agent

  • namenode01：這邊安裝的時候，之前下載 rpm安裝包，直接安裝rpm包即可，網速快的可以直接安裝
    yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
    網速慢的可以安裝下載完的 yum install cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
  • datanode0[1-3]：
    yum install cloudera-manager-daemons cloudera-manager-agent

5、安裝資料庫(namenode01) mysql

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
–yum update 可以不更新
yum install mysql-server
systemctl start mysqld
systemctl enable mysqld
初始化Mysql 複製下面的命令直接執行回車即可，然後設定密碼 初始化選項
/usr/bin/mysql_secure_installation
[…]
Enter current password for root (enter for none):
OK, successfully used password, moving on…
[…]
Set root password? [Y/n] Y
New password:
Re-enter new password:
Remove anonymous users? [Y/n] Y
[…]
Disallow root login remotely? [Y/n] N
[…]
Remove test database and access to it [Y/n] Y
[…]
Reload privilege tables now? [Y/n] Y
All done!

mysql配置檔案

vim /etc/my.cnf
官方推薦配置檔案配置
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
symbolic-links = 0
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
#log_bin should be on a disk with enough free space.
#Replace ‘/var/lib/mysql/mysql_binary_log’ with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log
#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

安裝 MySQL JDBC 驅動(所有節點)

用於各節點連線資料庫，可以使用scp複製過去
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
tar xf mysql-connector-java-5.1.46.tar.gz
mkdir -p /usr/share/java/
cd mysql-connector-java-5.1.46
cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar
scp /usr/share/java/mysql-connector-java.jar cdh22:/usr/share/java/

6、為 Cloudera 各軟體建立資料庫

使用root登陸資料庫，建立以下資料庫和賬號。 這邊的資料庫名字，在後面cloudera叢集安裝的時候，需要輸入

給CDH各元件建立的使用者賬戶密碼，在後面初始化組建的時候會用到

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO ‘scm’@’%’ IDENTIFIED BY ‘密碼’;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO ‘amon’@’%’ IDENTIFIED BY ‘密碼’;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO ‘rman’@’%’ IDENTIFIED BY ‘密碼’;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO ‘hue’@’%’ IDENTIFIED BY ‘密碼’;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO ‘hive’@’%’ IDENTIFIED BY ‘密碼’;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO ‘sentry’@’%’ IDENTIFIED BY ‘密碼’;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO ‘nav’@’%’ IDENTIFIED BY ‘密碼’;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO ‘navms’@’%’ IDENTIFIED BY ‘密碼’;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO ‘oozie’@’%’ IDENTIFIED BY ‘密碼’;

7、設定 Cloudera Manager 資料庫

[[email protected] ~]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
Enter SCM password:
JAVA_HOME=/usr/java/jdk1.8.0_162
Verifying that we can write to /etc/cloudera-scm-server
Creating SCM configuration file in /etc/cloudera-scm-server
Executing: /usr/java/jdk1.8.0_162/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:/opt/cloudera/cm/schema/…/lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[ main] DbCommandExecutor INFO Successfully connected to database.
All done, your SCM database is configured correctly!

8、安裝 CDH

配置CDH的軟體包 parcels(所有節點)
需要下載的是這三個檔案：
CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel
CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel.sha256
CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel.sha
manifest.json manifest.json

CM安裝成功之後，接下來我們就可以通過CM安裝CDH的方式構建企業大資料平臺。所以首先需要把CDH的parcels包下載到CM主伺服器上。
同樣的，我們為了加速我們的安裝，我們可以把需要下載的軟體包提前下載下來，也可以建立CDH私有倉庫。

這邊之前我們下載的安裝包直接放入 /opt/cloudera/parcel-repo 目錄下即可 提前下載也ok
[[email protected] ~]# cd /opt/cloudera/parcel-repo

wget https://archive.cloudera.com/cdh6/6.0.1/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel
wget https://archive.cloudera.com/cdh6/6.0.1/parcels/manifest.json

在manifest.json檔案中，找到對應版本的祕鑰，複製到.sha檔案中。
echo “2e650f1f1ea020a3efc98a231b85c2df1a50b030” > CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha
修改屬主屬組。
chown cloudera-scm.cloudera-scm /opt/cloudera/parcel-repo/*
啟動 Cloudera Manager Server
[[email protected] ~]# systemctl start cloudera-scm-server
如果啟動中有什麼問題，可以檢視日誌。
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

四、初始化 Cloudera Manager

  • 瀏覽器開啟http://10.10.2.21:7180，使用者名稱和密碼預設都是admin。
    在這裡插入圖片描述

  • 接收許可
    在這裡插入圖片描述

  • 繼續這裡我們選擇免費版，收費版請自行選擇，然後進行安裝
    在這裡插入圖片描述

五、叢集安裝（由於已經安裝完成在寫教程，這邊圖片為借鑑）

在這裡插入圖片描述

  • 指定要新增的節點。如果這邊搜尋到的叢集節點無法連線上 ssh不通 可以考慮是不是防火牆 或者 ssh被禁掉了
    在這裡插入圖片描述

  • 選擇儲存庫，之前我們已經在 CM Server 節點配置好了。
    在這裡插入圖片描述

  • 到安裝jdk的時候 不進行勾選，選擇我們自己安裝的 JDK。

  • 提供 SSH 登入憑據， root登入
    在這裡插入圖片描述

  • 安裝 agents，因為之前我們已經安裝了，所以這裡速度會很快。
    在這裡插入圖片描述

  • 安裝選定的Parcel，之前我們已經下載好，並配置好放在的 CM Server 節點的/opt/cloudera/parcel-repo。
    在這裡插入圖片描述

  • 檢查主機正確性。
    在這裡插入圖片描述

六、叢集設定

  • 選擇要安裝的服務，可以根據自己的需求進行軟體安裝。
    在這裡插入圖片描述

  • 自定義角色分配，這邊角色分配可以參照 官網的說明https://www.cloudera.com/documentation/enterprise/6/6.0/topics/configure_cm_repo.html
    在這裡插入圖片描述

  • 資料庫設定，這邊的資料就是之前初始化的時候建立的各個元件的資料庫賬戶密碼
    在這裡插入圖片描述

  • 首次執行
    在這裡插入圖片描述

  • 安裝完成

七、管理叢集

至此，CDH6.X就安裝完成
Cloudera Manger首頁管理： http://cdh21:7180
這邊由於在整合kerberos，所有服務沒有全部啟動，後面會有整合kerberos介紹
報黃是由於網路介面速度不太好，主機報黃是由於安裝的CDH元件服務角色太多，導致記憶體分配不夠導致的

在這裡插入圖片描述

相關推薦

大資料叢集：CDH 6.0.X 完整版 安裝

CDH 6.0.x 安裝步驟 前沿 一CDH6新功能介紹 二：下面開始進行CDH6安裝前的準備工作： 1、配置主機名和hosts解析(所有節點) 2、關閉防火牆 3、關閉SELinux 4、新增定時任務 5、禁用

大資料學習--使用Hadoop2.6.0遇到的相關問題

學習和使用Hadoop Yarn已有半年多，其中遇到了一些常見問題，在網上搜索基本可以找到答案，出處已找不到，我只是對自己遇到的問題做個總結，也感謝解決這些問題的大神們，原諒我已經忘記到底從哪裡獲得的答案o(╯□╰)o。我目前使用的Hadoop版本是2.6.0。

我的Hadoop大資料叢集搭建經歷 (Hadoop 2.6.0 & VMWare WorkStation 11)

centos 6.6 i386 dvd ; basic server installation ; not enable static ip ; not disable ipv6 vmware net model is NAT , subNet Ip : 192.168.5

CDH大資料叢集安全風險彙總

一，風險分為內部和外部 首先內部： CDH大資料叢集部署過程中會自動建立以服務命名的使用者，如圖所示 使用者名稱(login_name)：口令位置(passwd)：使用者標識號(UID)：使用者組標識號(GID)：註釋性描述(users)：主目錄(home_directory)：登陸shell(Shel

CentOS5/6/7系統下搭建安裝Amabari大資料叢集時出現SSLError: Failed to connect. Please check openssl library versions.錯誤的解決辦法（圖文詳解）

      　　不多說，直接上乾貨！         ========================== Creating target directory... ======================

CDH 6.0.1 叢集搭建 「Process」

這次搭建我使用的機器 os 是 Centos7.4 RH 系的下面以流的方式紀錄搭建過程以及注意事項   Step1: 配置域名相關，因為只有三臺機器組叢集，所以直接使用了 hosts 的方法： 修改主機名 hostnamectl set-hostname ryze-1.bigdata

CDH 6.0.1 叢集搭建 「After install」

叢集搭建完成之後其實還有很多配置工作要做，這裡我列舉一些我去做的一些。 首先是去把 zk 的角色重新分配一下，不知道是不是我在配置的時候遺漏了什麼在啟動之後就有報警說目前只能檢查到一個節點。去將 zk 角色調整到三個節點。 上一張目前的角色圖 下面我將分別列出各應用的各個簡寫代表的意義： Hbas

大資料學習之---CDH叢集版本部署

1、軟體環境和IP規劃 RHEL6 角色 jdk-8u45apache-maven-3.3.9 hive-1.1.0-cdh5.7.1-src.tar.gz  hadoop-2.8.1.tar.gz mysql-connector-java-6.0.6.tar.gz

大資料處理框架: Flume + Redis4.0.11 叢集

上一篇文章關於Storm kafka Zookeeper 叢集、本次加入Flume Redis 的叢集 Apache Flume是一個分散式，可靠且可用的系統，用於高效地收集，彙總和將來自多個不同源的大量日誌資料移動到集中式資料儲存。 Apache Flume的使用不僅限於日誌資料聚合。

三方流通平臺：中國大資料區塊鏈開啟web5.0時代

蔡維德教授在天德科技帶領團隊開發了世界第一個大資料版的區塊鏈，第一個分散式異構鏈網模型——金絲猴模型、第一個分散式同質鏈網模型——熊貓模型以及第一個基於區塊鏈的產業沙盒。　　以下是蔡教授對區塊鏈開啟的價值網際網路時代，也即web5.0時代的深刻見解的精編摘選：　　記者：201

大資料叢集安裝系列2：Hadoop HA 模式安裝

1,基本環境配置：依賴zookeeper， 2,hadoop HA 模式安裝 2.1，下載相應的hadoop 安裝包，本文是2.7.2， 放到伺服器目錄下，解壓，類似如下： [[email protected] /opt/bigd

基於cm+cdh搭建大資料叢集

1、網路配置 vim /etc/sysconfig/network-scripts/ifcfg-ens32  service network restart vim /etc/hosts 192.168.15.121 node1 192.168.15.122 node2 192.168.15.

《呂鑫：VC++6.0就業培訓寶典之MFC視頻教程》學習筆記 -- 第二章 MFC原理介紹

第一個 寶典 數據類型 對話 視頻 資源管理 bsp 程序開發 第二章 第二章 MFC原理介紹 2.1 第一個Win32軟件 2.2 Win32對話框程序開發 2.3 程序資源管理和Windows數據類型 2.4 Win32環境下的多對話框管理 2.5 初步學習MFC軟件

大資料學習：抓不住業務痛點，談什麼技術價值

在很多大資料公司裡，不論大資料專案的大小，技術部門和業務部門總有或多或少的矛盾。本文由科多大資料的張老師分享。 我們深知：技術服務於業務，業務驅動技術去發展，兩者密不可分。換句話來說，技術幫助業務去解決問題，業務給技術一個機會去證明價值，兩者相輔相成。不過在大多數公司裡，技術的存在感會弱於業務，

資源管理（大資料）：Zookeeper、 Yarn簡介、原理

https://blog.csdn.net/wzk646795873/article/details/79583218 Zookeeper Zookeeper是一個分散式協調服務，一個leader，多個follower組成的叢集，就是為使用者的分散式應用程式提供協調服務。 Zookeep

記一次hadoop大資料叢集生產事故

陸續對原有的hadoop、hbase叢集做了擴容，增加了幾個節點，中間沒有重啟過，今天早上發現一個hregionserver服務停止了，就先啟動服務，沒想到啟動之後一直有訪問資料的出錯，嘗試對整個hbase叢集進行重啟出現了下面的錯誤： $ start-hbase.sh master running

CDH 6.0.1 集群 prepare 以及一些需要註意的地方

詳情 dex 獲得 管理 con mapreduce role html 如果 從這一篇文章開始會有三篇文章依次介紹集群搭建 「Before install」 「process」 「after install」 繼上一篇使用 docker 部署單機 CDH 的文章，當我們使

CDH 6.0.1 集群搭建 「Process」

驗證 centos7.4 repo 開始 aliyun tables lock network host 這次搭建我使用的機器 os 是 Centos7.4 RH 系的下面以流的方式紀錄搭建過程以及註意事項 Step1: 配置域名相關，因為只有三臺機器組集群，所以直接使

CDH 6.0.1 集群搭建 「After install」

ice man pub ins oozie 不知道 6.0 調整 ports 集群搭建完成之後其實還有很多配置工作要做，這裏我列舉一些我去做的一些。 首先是去把 zk 的角色重新分配一下，不知道是不是我在配置的時候遺漏了什麽在啟動之後就有報警說目前只能檢查到一個節點。去將

網路配置、防火牆 （大資料叢集環境）Linux防火牆

網路配置、防火牆 1.大資料叢集環境，形成叢集區域網，使用機器名替代真實IP，如何完成IP地址與機器名的對映？ 1）修改機器名 在CenterOS7，使用hostname命令，修改當前機器名，如果重啟節點機器名失效；修改/etc/hostname配置檔案（內容：自定義機器名 例：p