linux搭建單機版和偽分散式hadoop
前提:我使用的window作業系統，然後下載的VMware建立虛擬機器，然後在xshell中進行操作，並使用filezilla進行檔案的上傳。這些可以自行百度搜索下載。
單機版hadoop環境搭建
首先我們用VMware建立一個新的虛擬機器。建立過程不在細說了。
建立完成後，useradd hadoop新增使用者，並新增密碼。
然後ip addr查詢一下ip在xshell和filezilla上連線一下。
然後在/home/hadoop下將jdk和hadoop的壓縮包上傳。不上傳也可以使用wget+網址直接下載。
然後在xshell下使用hadoop 使用者登入解壓。
tar -xvf jdk-8u181-linux-x64.tar.gz
tar -xvf hadoop-2.7.3.tar.gz
解壓完成後需要配置環境變數。
我們想在hadoop使用者下進行配置 /etc/profile就需要獲得許可權。
那麼首先
su
到root使用者下
visudo
:set nu
會在第92行找到root ALL=(ALL) ALL
我們需要在下面新增一個 hadoop ALL=(ALL) ALL
:wq儲存退出 exit退出切換到hadoop使用者
然後就可以在hadoop使用者下使用 sudo vi /etc/profile 編輯了。
然後將JAVA_HOME和HADOOP_HOME和PATH配置好。
然後我這是配完的。
配完後。
先執行以下 /etc/profile檔案
使用java -version和hadoop version檢視版本號。
然後這是我的版本。
然後可以測試以下單機版hadoop是否搭建成功。我們可以使用/home/hadoop/hadoop2.7.3/share/hadoop/mapreduce下的hadoop-mapreduce-examples-2.7.3.jar包測試以下。
首先mkdir ~/input
touch ~/input/test.txt
vi ~/input/test.txt 下隨便編輯幾個單詞。
儲存退出。
然後執行
hadoop jar ~/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input/ ~/output
最後檢視一下輸出
這樣單機版的hadoop就搭建成功啦。
偽分散式版hadoop搭建
前提:關閉防火牆,並搭建了單機版的hadoop
首先
cd /home/hadoop/hadoop-2.7.3/etc/hadoop
然後ls 檢視一下指令
開始修改配置
(1)hadoop-env.sh
vi hadoop-env.sh
①($JAVA_HOME路徑設定成/home/hadoop/jdk1.8.0_181)即你配置的JAVA_HOME路徑
(2)core-site.xml
vi core-site.xml
①fs.defaultFS：
1)預設是本地檔案系統file:///
2)使用URL統一資源定位符的格式設定成hdfs://192.168.15.135:9000
②hadoop.tmp.dir:存放hadoop臨時檔案的檔案目錄
(3)hdfs-site.xml:
①dfs.namenode.name.dir：namenode所在路徑(該路徑需要允許當前登入的使用者具有寫的許可權)
②dfs.datanode.data.dir：datanode所在路徑(該路徑需要允許當前登入的使用者具有寫的許可權)
vi hdfs-site.xml
(4)yarn-site.xml
①yarn.nodemanager.aux-services：使用mapreduce_shuffle機制
(5)Mapred-site.xml（cp Mapred-site.xml.templete）
①Mapreduce.framework.name：yarn
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
這樣就改好配置了。
格式化HDFS
hadoop namenode -format
當你在最後10行左右看到Storage:…successfully那麼就已經成功啦。
最後啟動一下服務檢視一下
start-all.sh
一直yes和輸入密碼就行了
完成後輸入jps
當你出現如下圖則表示偽分散式hadoop搭建成功啦。
最後輸入192.168.15.135:50070（你的ip:50070）就可以訪問啦
