1. 程式人生 > >hadoop之安裝(一)

hadoop之安裝(一)

我是在阿里雲伺服器ECS上安裝的,這個雲伺服器上面自帶的ubutun 14.04版本,如果是一般的學習的話電腦配置還可以的話,安裝個vmware裝個linux系統也可以,但電腦配置不好可能會影響學習體驗

一.安裝JDK

安裝jdk apt-get install openjdk-7-jdk
設定JAVA環境變數 vim etc/profile:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

使檔案立馬生效:

source etc/profile

二.安裝hadoop

安裝較穩定版本(1.2.1)的hadoop: wget http://apache.fayea.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
移動到opt目錄:mv hadoop-1.2.1.tar.gz /opt/
解壓檔案:tar -zxvf hadoop-1.2.1.tar.gz
hadoop主要需要我們修改的檔案配置檔案如圖
這裡寫圖片描述
1.配置hadoop-env.sh
修改export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 和我們安裝的jdk home一樣
2.設定core-site.xml

<configuration>
  <property>
 <name>fs.default.name</name>
  <value>hdfs://hadoop:9000</value>
  </property>
  <property>
 <name>hadoop.tmp.dir</name>
  <value>/hadoop</value>
  </property>
 <property>
 <name>dfs.name.dir</name
>
<value>/hadoop/name</value> </property> </configuration>

hadoop.tmp.dir為hadoop 工作目錄
dfs.name.dir 元資料目錄
fs.default.name 檔案系統的namenode如何訪問 hdfs://hadoop:9000中的hadoop為本機的hostname 檢視本機的hostname:cat /proc/sys/kernel/hostname
3.修改hdfs-site.xml

<configuration>
  <property>
 <name>dfs.data.dir</name>
  <value>/hadoop/data</value>
  </property>
</configuration>

配置檔案系統的資料
4.修改mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>lighttrace:9001</value>
  </property>
</configuration>

配置任務排程器,hostname:埠
同樣設定hadoop環境變數 vim etc/profile,將之前的變更為:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-1.2.1
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

然後使檔案生效 source profile

對hadoop的namenode進行格式化操作
hadoop namenode -format,格式化可能報錯java.net.UnknownHostException 解決方法http://blog.csdn.net/shirdrn/article/details/6562292
如果是阿里雲主機的話需要在 /etc/hosts這樣設定:
內網IP地址 你的hostname

然後沒問題的話進入到/opt/hadoop-1.2.1/bin 目錄下start-all.sh啟動hadoop,啟動成功jps檢視程序如下就成功了:

這裡寫圖片描述