Hadoop單機的安裝

Hadoop的安裝包括以下幾個步驟：

• 安裝jdk
• 安裝hadoop

安裝jdk

> vim /etc/profile
(在該文件最下面增加以下語句)
export JAVA_HOME=/home/app/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

保存後退出，執行source /etc/profile
執行java -version，如果有結果，則說明jdk配置成功。

安裝hadoop

第一步：配置免密登陸

> ssh-keygen -t rsa
一路回車，直到生成密鑰
> cd ~/.ssh
發現這個目錄下有兩個文件：id_rsa id_rsa.pub
> cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
> chmod 600 ~/.ssh/authorized_keys
 

到此為止，免密登陸配置完成。可以嘗試一下是否配置成功：

> ssh localhost

如果不需要輸入密碼，就登陸進去，則說明配置成功。

第二步：配置hadoop

首先，解壓hadoop安裝包

> tar -zxvf hadoop-2.7.7.tar.gz

其次，修改hadoop配置文件（/your_hadoop_path/etc/hadoop）

• hadoop-env.sh

> export JAVA_HOME=/home/app/jdk1.8.0_191

• hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/app/data/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>file:/home/app/data/hadoop/dfs/data</value>
    </property>
</configuration>
 

• core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/app/data/hadoop/dfs/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
</configuration>
 

啟動hadoop

格式化namenode（/your_hadoop_path/bin）

> ./hdfs namenode -format

啟動hadoop（/your_hadoop_path/sbin）

> ./start-dfs.sh

操作hadoop（/your_hadoop_path/bin）

> ./hdfs dfs -ls /(查詢)
> ./hdfs dfs -mkdir /test(創建)
> ./hdfs dfs -ls /(查詢)
發現已經多了一個/test文件夾

Hadoop的安裝(單機和集群)