最近在接觸hadoop的專案,把總結出的配置方法寫出來紀念一下,也方便後來人快速玩轉hadoop。

一、hadoop安裝:下載release版本hadoop0.20.1,解壓到/home/hadoop/ 。

1.命令列下執行

#mkdir input cp conf/*.xml input
bin/hadoop jar build/hadoop-0.16.0-dev-examples.jar grep input output 'dfs[a-z.]+'
#cat output/*

2.修改conf/hadoop-site.xml檔案


 
    fs.default.name
    localhost:9000
 
 
    mapred.job.tracker
    localhost:9001
 
 
    dfs.replication
    1
       

3.修改ssh許可權:

#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4.初始化並啟動各節點:

#bin/hadoop namenode -format

#bin/start-all.sh

二、安裝ant

ant為編譯工具,用來編譯hive原始碼。

解壓到/home/apache-ant1.7.1

修改/etc/profile檔案新增如下行(各軟體版本自行調整):

export ANT_HOME=/home/hadoop/apache-ant-1.7.1
export JAVA_HOME=/usr/java/jdk1.6.0_10
export HADOOP_HOME=/home/hadoop/hadoop-0.20.1
export JAVA_BIN=/usr/java/jdk1.6.0_10/bin
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$ANT_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

執行#source /etc/profile

#ant

顯示

Buildfile: build.xml does not exist!
Build failed

ant安裝完畢!

三、安裝hive

未完待續。。。