我用的hadoop2.8.5 + apache-hive-2.3.3 +sqoop-1.4.7 + jdk1.8 + mysql 5.7 + scala-2.12.7 + spark-2.3.2-bin-hadoop2.7

第一步上傳所需的包：我把所有的包都放在了home下面，如下：

先安裝jdk 和mysql ：

然後修改IP對映

vi /etc/hosts

我這裡的hadoop版本為2.8.5，我們可以找到官方給我提供的搭建文件，因為官方沒有2.8.5版本的文件，那就找2.8.X的版本的文件即可。

首先搭建hadoop環境：

按照上面的配置，如下 我將解壓的hadoop

tar -zxf hadoop-2.8.5.tar.gz

重新命名為hadoop

mv hadoop-2.8.5 hadoop

 配置環境變數

var /etc/profile

#hadoop
export HADOOP_HOME=/home/hadoop/
export PATH=${HADOOP_HOME}/bin:$PATH

然後儲存，執行一下命令，是配置生效

source /etc/profile

進入你安裝的hadoop 下的 etc/hadoop/目錄下

cd /home/hadoop/etc/hadoop/

core-site.xml的配置

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
    </property>
</configuration>
 

 hdfs-site.xml的配置

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/tmp/dfs/data</value>
    </property>
</configuration>
 

yarn的配置

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

然後就可以驗證hadoop是否安裝成功：進入你安裝的hadoop目錄下的sbin目錄：/home/hadoop/sbin

cd /home/hadoop/sbin/

然後啟動start-all.sh

./start-all.sh

如下：

 然後查詢是否啟動成功：

jps

停止命令：

./stop-all.sh