1. 程式人生 > >分享知識-快樂自己:Liunx-大資料(Hadoop)初始化環境搭建

分享知識-快樂自己:Liunx-大資料(Hadoop)初始化環境搭建

大資料初始化環境搭建:

一):大資料(hadoop)初始化環境搭建

二):大資料(hadoop)環境搭建

三):執行wordcount案例

四):揭祕HDFS

五):揭祕MapReduce

六):揭祕HBase

七):HBase程式設計

-----------------------------------------------------------------

1):需要準備三個虛擬機器環境(建立方式:可以單獨建立三個虛擬機器:點我檢視如何安裝虛擬機器、也可以通過克隆方式:點我檢視克隆詳情

2):NET 網路設定(點我檢視網路設定

3):分別關閉所有虛擬機器防火牆

firewall-cmd --state    檢視防火牆狀態

systemctl stop firewalld.service    臨時關閉防火牆(重啟後生效)

systemctl disable firewalld.service    設定防火牆開機不啟動

4):分別修改三臺虛擬機器的 主機名 與 對應的IP 。分別如下:

主機器: admin    192.168.31.206

子機器:admin-01  192.168.31.207

子機器:admin-02  192.168.31.208

【可根據實際情況,約束 主機名稱 與 IP】

例如:修改 admin (參考主機修改方式 修改子機器)

//永久修改主機名稱
hostnamectl --static set-hostname admin

//修改 hosts 檔案
vim /etc/hosts

5):免密登入(分別修改三臺虛擬機器的  /etc/hosts 檔案) 分別加入其它兩臺虛擬機器的 域登入名。

在主機上(admin)生成金鑰:

ssh-keygen -t rsa

檢視當前目錄下的所有檔案(包含隱藏檔案 .ssh)

ll -a

 

進入 .ssh 目錄:

把本機生成的id_rsa.pub複製到另外兩個子機器中,重新命名為authorized_keys

//需要先遠端建立(.ssh目錄)
ssh [email protected] "mkdir ~/.ssh/"

//將id_rsa.pub進行遠端拷貝
scp id_rsa.pub [email protected]:~/.ssh/authorized_keys

//admin-01:為主機名

分別在兩個子機器中把authorized_keys 檔案的許可權改為600:

chmod 600 authorized_keys

在admin節點使用下面命令:(把id_rsa.pub追加到授權的key裡面去)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

在所有機器上使用下面命令(修改SSH配置檔案"/etc/ssh/sshd_config")

vim /etc/ssh/sshd_config

RSAAuthentication yes    # 啟用 RSA 認證
PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式
AuthorizedKeysFile .ssh/authorized_keys # 公鑰檔案路徑(和上面生成的檔案同)

6):所有虛擬機器安裝JDK(點我檢視安裝步驟

 主機安裝成功後可以通過複製操作,拷貝到子機器上(每臺虛擬機器的路徑最好保持一致 方便統一管理)

scp  -r   /opt/jdk   [email protected]:/opt/jdk

scp  -r   /opt/jdk   [email protected]:/opt/jdk

把 admin 中的profile檔案複製到其他兩個機器中:

scp /etc/profile [email protected]:/etc/profile

scp /etc/profile [email protected]:/etc/profile

之後讓兩個子機器中的profile檔案生效,分別在兩個子機器中執行:

source   /etc/profile

 

 點我進行下一步的操作(大資料 Hadoop 環境搭建)