1.安裝SSH server、配置SSH無密碼登陸
Ubuntu默認安裝了SSH client，還需要安裝SSH server。
sudo apt-get install openssh-server

設置SSH無密碼登陸本機
ssh localhost

會有如下提示(SSH首次登陸提示)，輸入yes。
SSH首次登陸提示
然後按提示輸入密碼hadoop，這樣就登陸到本機了。但這樣的登陸是需要密碼的，需要配置成無密碼登陸。
先退出剛才的ssh，然後生成ssh證書：

exit # 退出 ssh localhost
cd ~/.ssh # 如果沒有該目錄，先執行一次ssh localhost
ssh-keygen -t rsa # 一直按回車就可以
cp id_rsa.pub authorized_keys

此時再用ssh localhost命令，就可以直接登陸了

2.Hadoop的安裝
下載hadoop安裝包 binary
解壓、移動到你想要放置的文件夾

　　　　tar -zvxf hadoop-2.7.3.tar.gz

　　　　mv ./hadoop-2.7.3.tar.gz /opt/hadoop

授予執行權限
sudo chmod -R 755 /opt/hadoop
sudo chown -R xxx:hadoop /opt/hadoop //否則ssh會拒絕訪問

修改/etc/profile
#set hadoop environment
export HADOOP_HOME=/opt/hadoop
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

測試是否配置成功
hadoop version

3.偽分布式配置 cd /opt/hadoop
hdfs配置:
vim etc/hadoop/core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

vim etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop/tmp/dfs/data</value>
</property>
</configuration>

mapreduce配置:
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vim etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

vim etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

開啟hdfs：./sbin/start-dfs.sh
訪問http://localhost:50070 查看節點信息。
關閉hdfs: ./sbin/stop-dfs.sh

開啟歷史服務器 ./sbin/mr-jobhistory-daemon.sh start historyserver

不啟用 YARN 時，是 “mapred.LocalJobRunner” 在跑任務，啟用 YARN 之後，是 “mapred.YARNRunner” 在跑任務。啟動 YARN 有個好處是可以通過 Web 界面查看任務的運行情況：http://localhost:8088/cluster 。

Ubuntu16.04 install Hadoop 偽分布式