hadoop2.9.0 hdfs環境搭建(偽分散式)
搭建hadoop2.9.0偽分散式步驟
使用了centos7,jdk1.8,hadoop2.9.0 版本算是很新的了.沒有使用什麼古老的版本.
1. 檢視自帶的jdk,解除安裝centos中自帶的jdk
檢視:
rpm -qa |grep java
解除安裝:
Yum –y remove jdk___
2. 臨時關閉防火牆
systemctl stop firewalld
3. 安裝jdk
解壓下載好的jdk,配置環境變數/etc/profile
因為我都是root在操作,其實是為了偷懶,隨意就放在root下面了,不要學我(捂臉)
exportJAVA_HOME=/root/soft/jdk1.8.0_151
exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
exportPATH=$PATH:$JAVA_HOME/bin
重新載入,source /etc/profile
Java 進行安裝完成的驗證
4. 解壓下載完成的hadoop2.9
進入解壓完成的hadoop2.9 資料夾中.(其幫助文件在hadoop-2.9.0\share\doc\hadoop\index.html這裡的,可以檢視)
因為處於學習階段,所以使用了比較新的版本,但是,只是搭建了偽分散式的hadoop
因為我們使用的centos,預設安裝了ssh的,所以不管那麼多了.
1. 配置hadoop中的java位置,配置的檔案是在:
etc/hadoop/hadoop-env.sh 中的export JAVA_HOME=/usr/java/latest 後面的位置修改成自己現在jdk所在的目錄就可以儲存了
2. 驗證上一步的配置完成
bin/hadoop
看到了其中的文件就說明配置沒有問題,可以繼續了.
3. 配置免密碼登陸,首先ssh localhost 檢視登陸是否需要密碼,需要的進行如下的操作(只針對本機的操作):
ssh-keygen-t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
chmod 0600~/.ssh/authorized_keys
執行完後再進行ssh localhost的驗證.
4. 配置hdfs
hadoop使用hdfs作為其分散式檔案系統，首先要對hdfs做相關配置。hadoop使用xml作為其配置檔案的格式。
首先在etc/hadoop/core-site.xml這個檔案裡作如下配置：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
5. etc/hadoop/hdfs-site.xml檔案裡作如下配置：這裡配置的是datanode的個數,因為是偽分散式的,所以只能是一個
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
6. 格式化檔案系統
bin/hdfs namenode -format
7. 啟動namenode 和datanode
sbin/start-dfs.sh
成功的的話就能看到效果了,這就是最簡單的hadoop hdfs檔案系統的偽分散式搭建了.
暫時就先寫這麼多,後面在寫.
下週就可以收到我家的小可愛寄給我的香腸了,真是期待.感謝.還有23天回家.真是一種煎熬啊!!!
https://item.taobao.com/item.htm?spm=a1z10.1-c.w4004-18045781879.2.33c5236bZlPDUM&id=569353717228
深入理解Java虛擬機器（jvm效能調優+記憶體模型+虛擬機器原理） 很不錯的虛擬機器視訊教程.