1. 程式人生 > >1.大資料指CDH叢集搭建詳細步驟(一)

1.大資料指CDH叢集搭建詳細步驟(一)

1.使用CDH,其中CDH表示的意思是Cloudera’s Distribution Including Apache Hadoop,簡稱“CDH”)

基於web的使用者介面,支援大多數的hadoop元件,包括了HDFS,MapReduce以及HIve和Pig

Hbase以及Zookeeper以及Sqoop,簡化了大資料平臺的安裝以及使用的難度

首先第一步,關閉防火牆,具體的linux命令如下所示;

擴充套件:防火牆命令相關基本設定如下所示:

1、firewalld的基本使用
啟動: systemctl start firewalld
關閉: systemctl stop firewalld
檢視狀態: systemctl status firewalld 
開機禁用  : systemctl disable firewalld
開機啟用  : systemctl enable firewalld
 

然後使用linux命令進行相關的驗證一下:

然後去更改主機名:

使用命令如下所示:

使用命令hostnamectl status

展示結果如下所示:

展示hostanme的狀態:

將主機名的名稱進行更改相關的引數如下所示:

我是將hostname的名稱改成了cm-server

setenforce 0
設定SELinux 成為permissive模式 臨時關閉selinux的

更改過後,然後檢視以下相關的狀態,執行一下相關的linux命令進行相關的檢視具體命令如下所示:

使用ssh的主節點訪問子節點時候的節點免密去訪問:

記錄:主節點訪問子節點的時候ssh是沒有認證以及admin的認證的:

相關部分的的配置如圖所示;:

下一步在cm-server也就是當前ssh登陸所使用上安裝資料庫

相關的操作步驟如下所示:

安裝過程如下所示:

 

下載完成過後如下所示:

讀入y進行相關的安裝包的安裝;

在cm-server上安裝mariadb上,其目的是用於後期資料儲存

完成之後展示過程如下所示:

完畢過後,顯示如下所示:

 

之後進行相關配置的更改,過程如下所示:

linux下在該配置檔案下更改目錄,詳細目錄如下所示:

本人機器的目錄如下所示:

 

將onboot改成如下所示:

之前將主機名更改成如下所示:

顯示結果如下所示:

為了使用ifconfig檢視網路:

顯示結果如下所示:

安裝JDK(每臺機器,分散式的機器都需要,每一臺),首先解除安裝原有的openjdk

linux下解除安裝jdk相關教程,如下所示:

將機器中原始的JDK刪除,裝上帶有rpm字尾的新的JDK

 

在該資料夾下更改相關的配置,如下圖所示:

修改每臺伺服器的有關配置hostname,selinux關閉,防火牆關閉,hostname修改,分別對三臺都進行更改,並且注意每臺名稱

和ip.每臺都要配上hosts,下面以cdh1為例

三個叢集之間網路同步:

ntp伺服器配置:

目的用於3個節點之間實現時間同步: