1. 程式人生 > >ubuntu18.04搭建hadoop

ubuntu18.04搭建hadoop

1 安裝ssh環境

首先進入root許可權

su 

關閉防火牆

systemctl stop firewalld.service

開機不啟動防火牆

systemctl disable firewalld.service

檢視防火牆狀態

ufw status

配置root使用者遠端連線
如果沒有安裝ssh-server,先安裝:

apt-get install openssh-server

修改sshd_config

gedit /etc/ssh/sshd_config

找到

# Authentication:
LoginGraceTime 2
m PermitRootLogin without passwd StrictModes yes

改成

# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes

然後重啟即可。
設定ssh localhost免密登入

ssh localhost
exit

輸入密碼進去後,然後退出來。
在進行了初次登陸後,會在當前家目錄使用者下有一個.ssh資料夾,進入該資料夾下:

cd ~/.ssh/

使用rsa演算法生成金鑰和公鑰對

ssh-keygen -t rsa

在這裡插入圖片描述
執行後一路回車就行,其中第一個是要輸入祕鑰和公鑰對的儲存位置,預設是在:.ssh/id_rsa


然後把公鑰加入到授權中:

cat ./id_rsa.pub >> ./authorized_keys

再次ssh localhost時就不用密碼登入了。

2 安裝並配置JDK

請看教程ubuntu18.04安裝jdk

3 hadoop安裝包下載

在apache官網找到並下載hadoop2.9.2安裝包
在這裡插入圖片描述

4 解壓hadoop

先在/usr/local/下建立一個hadoop資料夾,用來存放hadoop檔案。
sudo mkdir /usr/local/hadoop
在這裡插入圖片描述
解壓hadoop壓縮包
tar -zxvf hadoop-2.9.2.tar.gz
在這裡插入圖片描述
解壓完成後,移動hadoop-2.9.2檔案

/usr/local/hadoop下:
mv -v hadoop-2.9.2 /usr/local/hadoop

5 為當前使用者設定許可權

sudo chown -R 當前使用者名稱 ./hadoop

6 配置hadoop

為hadoop設定環境變數

sudo vi /etc/profile

在末尾新增

JAVA_HOME=/usr/local/java/jdk1.8.0_191
HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/sbin:$PATH
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2

別忘了寫hadoop和jdk安裝路徑!!
新增好後,更新環境變數

source /etc/profile

檢測hadoop

hadoop version

如果配置成功,將出現以下其內容:
在這裡插入圖片描述

7 修改配置檔案

在路徑/usr/local/hadoop/hadoop-2.9.2/etc/hadoop下有一個core-site.xml檔案
在這裡插入圖片描述
在該檔案中新增:

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>

在這裡插入圖片描述
在相同路徑下修改hdfs-site.xml檔案,在該檔案中新增:

<configuration>
	<property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

仍然在相同路徑下修改hadoop-env.sh,新增:export JAVA_HOME=/usr/local/java/jdk1.8.0_191
在這裡插入圖片描述

8 測試 啟動

格式化namenode

hadoop namenode -format

在這裡插入圖片描述
啟動hdfs

stall.sh

在這裡插入圖片描述
檢視相應程序

jps

在這裡插入圖片描述
網頁檢視5個程序(http://localhost:50070/dfshealth.html#tab-overview)
在這裡插入圖片描述
參考:Ubuntu 18.04 安裝 Hadoop系統環境