1. 程式人生 > >hadoop叢集安裝前環境的配置

hadoop叢集安裝前環境的配置

1.1增加hadoop使用者

一)建立一個admin使用者

[[email protected] home]# adduser hadoop


沒輸出?沒有輸出在linux下就是操作正確

(二)為admin使用者設定密碼

[[email protected] home]# passwd hadoop
Changing password for user admin.
New password: 
Retype new password: 
passwd: all authentication tokens updated successfully.


(三)對新hadoop使用者進行sudo操作的授權

因為sudo命令是在sudoers檔案中的,我們看一下sudoers檔案

[[email protected] home]# sudoers
-bash: sudoers: command not found


(四) 查詢sudoers檔案所在

[[email protected] home]# whereis sudoers
sudoers: /etc/sudoers /etc/sudoers.d /usr/share/man/man5/sudoers.5.gz


(五)檢視一下檔案的許可權

[[email protected]
home]# ls -l /etc/sudoers -r--r----- 1 root root 3938 Sep  6  2017 /etc/sudoers


可以看到只有只讀的許可權,這時候我們要加入一個可寫的(w)的許可權

(六)加入可寫的許可權

[[email protected] home]# chmod -v u+w /etc/sudoers
mode of ‘/etc/sudoers’ changed from 0440 (r--r-----) to 0640 (rw-r-----)


(七)把hadoop使用者新增到sudoers中

[[email protected]
home]# vi /etc/sudoers

 

## Allow root to run any commands anywher  
root    ALL=(ALL)       ALL  
hadoop ALL=(ALL)       ALL  #新增hadoop使用者


(八)wq儲存,然後把sudoers檔案許可權改回去,畢竟這是一個重要的檔案

[[email protected] home]# chmod -v u-w /etc/sudoers
mode of ‘/etc/sudoers’ changed from 0640 (rw-r-----) to 0440 (r--r-----)


(九)測試新使用者admin進行登陸,使用su admin操作:

[[email protected] admin]# su admin
[[email protected] ~]$ 


--------------------- 
作者:xudailong_blog 
來源:CSDN 
原文:https://blog.csdn.net/xudailong_blog/article/details/80518266 
版權宣告:本文為博主原創文章,轉載請附上博文連結!

1.2同步時間

[[email protected] root]$ date
Mon Oct 22 15:28:57 CST 2018

檢視後沒問題,跳過

1.3修改主機名稱(另外兩臺相同方法設定)

(1)檢視本機的主機名,使用如下三個命令中任意一個即可

# hostname
# uname -n
# cat /proc/sys/kernel/hostname


使用 vi 編輯器開啟 /etc/hostname 檔案

# vi /etc/hostname


刪除檔案中原有內容,新增內容主機名:hdp-node-01,儲存退出


(2).設定主機名及IP對映

使用 vi 編輯器開啟 /etc/hosts 檔案

# vi /etc/hosts


在檔案尾部新增內容,格式:IP地址 主機名(中間用空格分隔),儲存退出

192.168.242.130 hdp-node-01


設定完成後,重啟網路服務

# systemctl restart network


使用 ping 命令 ping 主機名

# ping hdp-node-02


如果可以ping 通,表示設定成功
--------------------- 
作者:HG_Harvey 
來源:CSDN 
原文:https://blog.csdn.net/HG_Harvey/article/details/74216759 
版權宣告:本文為博主原創文章,轉載請附上博文連結!

1.4配置ssh免密登陸(以hdp-node-01免密登陸hdp-node-02為例)

(1)在hadoop01機器上生成公私鑰

執行以下命令後,如果提示,就一直按“Enter”鍵,直至生成公鑰

1.在root使用者下生成祕鑰  
su root       
ssh-keygen -t rsa

  

執行完成後會生成兩個檔案id_rsa、id_rsa.pub

(2)把公鑰複製到需要免密登入的伺服器hadoop2

id_rsa.pub檔案就是公鑰,執行命令複製到hadoop2

 

scp id_rsa.pub [email protected]:/root/.ssh/authorized_keys_from_hadoop1

hadoop2上/root/.ssh/authorized_keys_from_hadoop1檔案的內容就是id_rsa.pub的內容

(3)將公鑰加到hadoop2的authorized_keys檔案中

1. 登入到hadoop02伺服器進入./ssh目錄  
   cd root/.ssh  
2. 將客戶端傳送來的公鑰檔案進行合併  
   cat authorized_keys_from_hadoop1 >> authorized_keys
   說明:如果authorized_keys不存在就會自動建立,如果存在就會追加 

(4)驗證

 
 配置免登入完成後,在本機中輸入“ssh hadoop2” 或者 “ssh [email protected]” 。  
    * 如果無需輸入密碼,則表示配置免登入成功。  
    * 如果仍需要輸入密碼,則可能是.ssh目錄和檔案許可權需要修改。

1.5安裝配置jdk

(1)先去官網下jdk檔案到你的Windows系統,因為wget命令無法用。(注意你的linux是64位還是32位)

 

(2)上傳檔案有很多種方法,我們這裡採用最簡單的 lrzsz 

首先linux上安裝lrzsz

yum install lrzsz

上傳檔案,輸入命令執行後彈框裡選擇要上傳的檔案,上傳的檔案在當前目錄下

#rz 

解壓檔案

tar -zxvf jdk-linux-x64.tar.gz

配置環境變數

vim /etc/profile

新增如下內容:JAVA_HOME根據實際目錄來
export JAVA_HOME=/usr/java/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin

最後應用改變並測試安裝

#source /etc/profile

#java -version

1.6安裝配置hadoop

(1)下載上傳hadoop二進位制檔案到   /user  目錄下

下載地址

(2)解壓並重命名

tar -zxvf hadoop-2.7.7.tar.gz 

mv hadoop-2.7.7 hadoop

(3)配置java環境hadoop-env.sh檔案

nano /usr/hadoop/etc/hadoop/hadoop-env.sh

(4).配置core-site.xml檔案

nano /usr/hadoop/etc/hadoop/core-site.xml
新增

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop-01:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop</value>
</property>
</configuration>

(5)配置hdfs-site.xml檔案

nano /usr/hadoop/etc/hadoop/hdfs-site.xml

配置以下內容

<configuration>
<property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop-02:50090</value>
</property>
<property>
 <name>dfs.namenode.secondary.https-address</name>
 <value>hadoop-02:50091</value>
</property>
</configuration>

(6)配置datenode(主節點)

cd /usr/hadoop/etc/hadoop/
nano slaves

刪除 localhost  增加以下內容

hadoop-02
hadoop-03

(7)在/usr/hadoop/etc/hadoop/下新建masters檔案

nano masters

新增以下內容

hadoop-01

(8)刪除/usr/hasoop/share/doc/內容

rm -rf /usr/hadoop/share/doc/

(9)配置完畢的hadoop資料夾copy到其節點

scp -r /usr/hadoop [email protected]:/usr/
scp -r /usr/hadoop [email protected]:/usr/

(10)格式化namenode節點

nano /etc/profile

結尾處新增

export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

儲存檔案後,使環境生效

source /etc/profile
hdfs namenode -format

1.7啟動hadoop叢集

(1)在namenode節點啟動hdfs

bash start-all.sh

(2)檢視相關程序

hadoop-01節點
hadoop-01節點程序
hadoop-02節點
hadoop-02節點程序
hadoop-03節點
hadoop-03節點程序

9、網頁驗證

ECS例項安全組開飯50070埠許可權(由於使用阿里雲ECS)
在瀏覽器輸入如下:
http://namenodeIP地址:50070
測試1
測試2