1. 程式人生 > >hadoop測試環境搭建2

hadoop測試環境搭建2

最近正在學習大資料相關知識,以下是我總結的自己安裝haddop的具體步驟。

hadoop偽分散式安裝配置圖解【基礎環境配置請參考:http://blog.csdn.net/liaoguolingxian/article/details/70503885、http://blog.csdn.net/liaoguolingxian/article/details/68941723】

1、下載hadoop,去官網直接下載即可;解壓

2、配置haddop

2.1、配置   hadoop-2.7.2/etc/hadoop/hadoop-env.sh   配置jdk

                

2.2、配置  hadoop-2.7.2/etc/hadoop/core-site.xml


             

2.3、配置  hadoop-2.7.2/etc/hadoop/hdfs-site.xml


     

 2.4配置  hadoop-2.7.2/etc/hadoop/mapred-site.xml  預設是沒有這個檔案的,講mapred-site.xml.template重新命名為mapred-site.xml即可


2.5配置 hadoop-2.7.2/etc/hadoop/yarn-site.xml


          

 2.6講hadoop新增到環境變數中

export HADOOP_HOME=/home/trs/soft/hadoop-2.7.2

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

3、格式化namenode(是對namenode進行初始化)

     hdfs namenode -format hadoop namenode -format 這種方式已經過時】

4、啟動hadoop
先啟動HDFS
sbin/start-dfs.sh

再啟動YARN
sbin/start-yarn.sh

5、驗證是否啟動成功
使用jps命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.18.101:50070 (HDFS管理介面)
http://192.168.18.101:8088 (MR管理介面)



    

6、提交經典的wordcount做mapreduce驗證



任務執行結果: