安裝

• 下載 jdk x64版本
• tar -xzvf jdk-8u191-linux-x64.tar.gz /usr/soft解壓檔案到/usr/soft目錄下
• 配置環境變數
  1. 開啟environment : sudo vi /etc/environment
  2. 配置：JAVA_HOME="/usr/soft/{jdk_unzip_name}"
  3. 配置：PATH="XXX:/usr/soft/{jdk_unzip_name}/bin"
• 驗證jdk是否安裝成功
  java -version

  java version “1.8.0_191”
  Java™ SE Runtime Environment (build 1.8.0_191-b12)
  Java HotSpot™ 64-Bit Server VM (build 25.191-b12, mixed mode)

• 下載Hadoop
• tar -xzvf hadoop-2.9.2.tar.gz /usr/soft解壓檔案到/usr/soft目錄下
• 配置環境變數, 編輯 /etc/environment

JAVA_HOME="/usr/soft/jdk1.8.0_191"
HADOOP_INSTALL="/usr/soft/hadoop-2.9.2"
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/soft/jdk1.8.0_191/bin:/usr/soft/hadoop-2.9.2/bin:/usr/soft/hadoop-2.9.2/sbin"

• 重新載入environment : source /etc/environment

  這裡需要注意，需要重啟機器才能使環境變數的配置完全生效，機器重啟可用以下命令：
  systemctl reboot -i

安裝完成之後，輸入 hadoop version，驗證安裝的正確性

Hadoop 2.9.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704
Compiled by ajisaka on 2018-11-13T12:42Z
Compiled with protoc 2.5.0
From source with checksum 3a9939967262218aa556c684d107985
This command was run using /usr/soft/hadoop-2.9.2/share/hadoop/common/hadoop-common-2.9.2.jar

Hadoop 偽分佈模式配置

Hadoop共有三種配置模式，standlone, 偽分佈，以及全分佈。這裡我們介紹一下，偽分佈的配置。值得一提的是，Hadoop安裝成功之後預設配置standlone模式，不同模式之間可以功能存在。

1. cd $HADOOP_INSTALL/etc/
2. sudo cp -R /hadoop /hadoop_pseduo
3. cd /hadoop_pseduo
4. 分別配置core-size.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml 如下：

<?xml version="1.0"?> 
<!--core-site.xml--> 
<configuration>		
<property>				
<name>fs.defaultFS</name>				
<value>hdfs://localhost/</value>		
</property> 
</configuration>
<?xml version="1.0"?> 
<!--hdfs-site.xml--> 
<configuration>		
<property>				
<name>dfs.replication</name>				
<value>1</value>		
</property> 
</configuration> 
<?xml version="1.0"?> 
<!--mapred-site.xml	-->
<configuration>		
<property>				
<name>mapreduce.framework.name</name>				
<value>yarn</value>		
</property> 
</configuration> 
<?xml version="1.0"?>
<!--yarn-site.xml-->
<configuration>		
<property>				
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>		
</property>		
<property>				
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>		
</property> 
</configuration> 

這裡還有重要的一步就是配置ssh, 實現不同節點間的免密連結

• sudo apt-get install ssh
• ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
• cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
• ssh localhost

在第一次使用HDFS檔案系統，我們需要對其進行格式化：

hdfs namenode -format
namenode 儲存了hadoop的所有檔案目錄

啟動Hadoop

start-dfs.sh --config path-to-config-directory
start-yarn.sh --config path-to-config-directory

檢視hdfs檔案系統

hadoop fs -ls /
OK 大功告成 ~~