1. 程式人生 > >Hadoop 3.0 安裝部署

Hadoop 3.0 安裝部署

最近在虛擬機器上新裝了一個單節點的Hadoop,用於日常測試。

下載二進位制包,解壓。官網 http://hadoop.apache.org

1、 安裝ssh,否則Pseudo-Distributed Operation 模式下啟動hdfs會失敗。

sudo apt-get install ssh

2、開啟  etc/hadoop/hadoop-env.sh  配置java home

 export JAVA_HOME=/usr/java/latest

3、配置  etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

4、配置   etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

這個地方在centos 和unbuntu都有異常,就是啟動會,無法訪問50070,但是yarn的8088可以訪問。這個問題,是hfds-site預設配置沒起作用。所以這個地方還需要再配置hdfs-site.xml 新增如下:

<property>
  <name>dfs.http.address</name>
  <value>0.0.0.0:50070</value>
</property>

5、配置 ssh

  $ ssh localhost

如果連線不上ssh,就執行如下命令:
  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keysg

6、格式化儲存目錄:

  $ bin/hdfs namenode -format

7、啟動hdfs:  

$ sbin/start-dfs.sh

8、檢視UI:

http://localhost:50070/