環境：Ubuntu18.04 LTS系統

虛擬機器：選擇的是Virtul Box，佔用資源比較少

安裝三個虛擬機器，主機名分別是：master、slave01、slave02，使用者名稱都設定為hadoop

設定網路，橋接模式，可以實現區域網訪問

系統安裝完畢後，更新系統，

sudo apt update
sudo apt upgrade

同時安裝vim

sudo apt install vim

修改hosts

修改hosts檔案，位於/ets/hosts，將master、slave01和slave02對應的ip地址和主機名輸入到每臺機器中

192.168.1.22    master
192.168.1.23    slave01
192.168.1.24    slave02
 

給使用者hadoop增加root許可權，切換到root下使用命令visudo

在
root         ALL=(ALL)       ALL
下面增加
hadoop   ALL=(ALL)       ALL

配置ssh免登陸

安裝openssh-server

在三臺機器上分別執行ssh-keygen -t rsa，然後回車至結束，在master上進入到根目錄下的.ssh資料夾

cat id_rsa.pub >> authorized_keys
scp authorized_keys hadoop@slave01:~/.ssh
scp authorized_keys hadoop@slave02
 
:~/.ssh

配置JDK1.8

Hadoop3.1.0要求最低JDK8.0，到官網下載壓縮版本解壓至任意目錄，然後新增環境變數

export JAVA_HOME=/home/hadoop/tools/jdk8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

以上配置JDK1.8操作需要分別對三臺機器同樣執行

配置Hadoop3.1.0

配置hadoop環境

# hadoop
export HADOOP_HOME=/home/hadoop/tools/hadoop3
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
 

進入目錄/hadoop3/etc/hadoop進行一系列配置

**core-site.xml**
<configuration>
  <property>
    <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
  </property>
  <property>
      <name>hadoop.tmp.dir</name>
      <value>file:///home/hadoop/tools/hadoop3/tmp</value>
  </property>
</configuration>

**hdfs-site.xml**
<configuration>
<property>
   <name>dfs.replication</name>
   <value>2</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:///home/hadoop/tools/hadoop3/hdfs/name</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:///home/hadoop/tools/hadoop3/hdfs/data</value>
 </property>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>slave01:9001</value>
 </property>
</configuration>

**yarn-site.xml**
<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8040</value>
    </property>
</configuration>

**mapred-site.xml**
<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<property>
 <name>mapreduce.application.classpath</name>
 <value>
  /home/hadoop/tools/hadoop3/etc/hadoop,
  /home/hadoop/tools/hadoop3/share/hadoop/common/*,
  /home/hadoop/tools/hadoop3/share/hadoop/common/lib/*,
  /home/hadoop/tools/hadoop3/share/hadoop/hdfs/*,
  /home/hadoop/tools/hadoop3/share/hadoop/hdfs/lib/*,
  /home/hadoop/tools/hadoop3/share/hadoop/mapreduce/*,
  /home/hadoop/tools/hadoop3/share/hadoop/mapreduce/lib/*,
  /home/hadoop/tools/hadoop3/share/hadoop/yarn/*,
  /home/hadoop/tools/hadoop3/share/hadoop/yarn/lib/*
 </value>
</property>
</configuration>

**workers**
注意這邊修改的檔案就是目錄下的workers檔案，加入兩個slave機器名即可
slave01
slave02

**hadoop-env.sh**
在此檔案中加入
export JAVA_HOME=/home/hadoop/tools/jdk8

**yarn-env.sh**
在此檔案中加入
export JAVA_HOME=/home/hadoop/tools/jdk8

配置scala

# scala
# 在最後新增下面內容
export SCALA_HOME=/home/hadoop/tools/scala
export PATH=$PATH:${SCALA_HOME}/bin

配置spark

環境變數

# spark
export SPARK_HOME=/home/hadoop/tools/spark2
export PATH=$PATH:${SPARK_HOME}/bin:${SPARK_HOME}/sbin

配置/conf/spark-env.sh

cp spark-env.sh.template spark-env.sh

#配置內容如下：
export SCALA_HOME=/home/hadoop/tools/scala
export JAVA_HOME=/home/hadoop/tools/jdk8
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/home/hadoop/tools/hadoop3/etc/hadoop

配置/conf/slaves

cp slaves.template slaves

master
slave01
slave02

配置slave01和slave02的環境變數 /etc/profile

最後將配置好的hadoop3，spark2， scala，jdk8檔案複製到slave01和slave02節點

scp -r ----------- [email protected]：～/tools
scp -r ----------- [email protected]：～/tools