Hadoop入門之Hadoop偽分散式環境搭建
阿新 • • 發佈：2019-01-24
在配置Hadoop環境前，應該在Linux環境中先配置JAVA環境變數，SSH免密登入。如果沒有SSH免密登入，在分散式環境下，就會重複很多次輸入密碼的動作。
1.在Hadoop包根目錄下，編輯檔案 etc/hadoop/hadoop-env.sh，更改：
hadoop-senior.ibeifeng.com
(3)配置SecondaryNode
4.接下來進行測試
(1)格式化檔案系統
bin/hdfs namenode -format
(2)啟動NN節點和DN節點的程序 sbin/start-dfs.sh
(3)建立執行MapReduce任務的檔案目錄 bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/<username>
(4)將輸入檔案複製到分散式檔案系統中 bin/hdfs dfs -put etc/hadoop input
(5)執行一個測試用例 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
export JAVA_HOME=/usr/java/latest
2.然後使用 bin/hadoop 測試hadoop命令是否可用
3.配置HDFS
(1)配置NameNode
在檔案etc/hadoop/core-site.xml中(2)配置DataNodes 在檔案etc/hadoop/slaves中
hadoop-senior.ibeifeng.com
(3)配置SecondaryNode
4.接下來進行測試
(1)格式化檔案系統
bin/hdfs namenode -format(2)啟動NN節點和DN節點的程序 sbin/start-dfs.sh
(3)建立執行MapReduce任務的檔案目錄 bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/<username>
(4)將輸入檔案複製到分散式檔案系統中 bin/hdfs dfs -put etc/hadoop input
(5)執行一個測試用例 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'