1. 程式人生 > >Ububtu 14.04 安裝 Hadoop 2.7.3

Ububtu 14.04 安裝 Hadoop 2.7.3

restart mar 說明 def rep 1.7 目前 other true

1.首先安裝java,配置java開發環境

  下載jdk:http://www.oracle.com/technetwork/java/javase/archive-139210.html選擇你想要下載的版本,放入比如/home/java目錄。我本機安裝的是jdk 1.7

  下載完成後解壓:tar -zxvf xxxxxx.tar.gz

  對/etc/profile文件進行配置: vim /etc/profile ,在文件的末尾添加環境變量(其中/usr/lib/jvm/java-7-oracle為解壓文件的目錄):

    export JAVA_HOME=/usr/lib/jvm/java-7-oracle
    export JRE_HOME=${JAVA_HOME}/jre


    export PATH=$JAVA_HOME/bin:$PATH:
    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

  profile這個文件是每個用戶登錄時都會運行的環境變量設置,當用戶第一次登錄時,該文件被執行. 並從/etc/profile.d目錄的配置文件中搜集shell的設置。  

  打開shell,輸入java -version,顯示:

        技術分享

2.配置ssh

  配置ssh之前最好先更新一下軟件源:

      apt-get update

  安裝openssh-server:

      apt-get install openssh-server  

  使用ssh進行無密碼驗證登錄:

    1.創建ssh-key,采用rsa方式,使用如下命令存儲目錄使用默認:

      ssh-keygen -t rsa -P ""

    2.將公鑰文件追加到authorized_keys中

      cat ~/.ssh/id_rsa.pub >> authorized_keys

  

  檢測ssh 服務是否啟動:

      ps -e | grep ssh

  如果顯示有ssh字樣,則說明已經啟動成功,如果沒有則手動啟動:

      /etc/init.d/ssh start

  也可以重啟ssh server:

      /etc/init.d/ssh restart

  登錄localhost:

      ssh localhost

  顯示錯誤信息:

      技術分享

  錯誤信息看起來是jdk環境變量設置有問題,也沒找到改正方法。不用修改也目前看起來還沒有問題。

3.下載hadoop,我下載的是hadoop-2.7.3

  wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.3.tar.gz

4.解壓縮文件

  tar -xzvf hadoop-2.7.3.tar.gz

5.編輯hadoop配置文件

  hadoop的配置文件位於hadoop-2.7.3/etc/hadoop目錄中,初始的話,需要修改core-site.xml,mapred-site.xml.template, hdfs-site.xml這三個文件

  使用vim編輯這三個配置文件:

  core-site.xml

<configuration>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/home/hadoop/hadoop_tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

  其中<value>file:/home/hadoop/hadoop_tmp</value>是你自己設置用於hadoop的tmp目錄

  mapred-site.xml

<configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

  hdfs-site.xml

<configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/hadoop/hadoop_tmp/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/hadoop/hadoop_tmp/dfs/data</value>
  </property>
</configuration>

  最好把dfs.namenode.name.dir和dfs.datanode.data.dir的目錄放到core-site.xml中tmp目錄下

6.初始化hadoop

  cd到hadoop-2.7.3根目錄下,

    bin/hdfs namenode -format

  過程需要進行ssh驗證,之前已經登錄了,所以初始化過程之間鍵入y即可。

    技術分享

7.開啟NameNode和dataNode進程

  sbin/start-dfs.sh

  報錯:JAVA_HOME is not set and could not be found

  技術分享

  解決方法:vim打開hadoop-2.7.3/etc/hadoop/hadoop-env.sh,直接講JAVA_HOME加入hadoop的環境變量

  技術分享  

  使用jps查看進程信息:

  技術分享

  在瀏覽器中打開http://localhost:50070

  技術分享

 hadoop環境搭建完成。

Ububtu 14.04 安裝 Hadoop 2.7.3