這幾天乘著工作之餘，學習了一下hadoop技術，跌跌撞撞的幾天，終於完成了一個初步的hadoop的安裝及測試，具體如下：

動力：工作中遇到的資料量太大，伺服器已經很吃力，sql語句執行老半天，故想用大資料技術來改善一下

環境：centos5.11+jdk1.7+hadoop2.5.2

1.  偽分佈安裝步驟

關閉防火牆

修改ip

修改hostname

設定ssh自動登入

安裝jdk

安裝hadoop

注：此部分涉及到的Linux操作部分可以再下面的連結中找到，Linux初級操作

2.  安裝jdk

用xftp把jdk安裝包放到/root/Downloads

tar xzvfjdk-7u67-linux-i586.tar.gz  解壓縮

vi/etc/profile 設定環境變數,新增如下3行內容

exportJAVA_HOME=/usr/local/jdk1.7

exportCLASSPATH=/usr/local/jdk1.7/lib

exportPATH=.:$JAVA_HOME/bin:$PATH

source /etc/profile  配置檔案立即生效

java –version 驗證是否設定成功

3.  安裝hadoop

用xftp把hadoop安裝包放到/root/Downloads

tar xzvf hadoop-2.5.2.tar.gz  解壓縮

vi /etc/profile 設定環境變數,新增並修改如下內容

export JAVA_HOME=/usr/local/jdk1.7

export HADOOP_HOME=/usr/local/hadoop2.5

export CLASSPATH=/usr/local/jdk1.7/lib

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

source /etc/profile  配置檔案立即生效

hadoop version 驗證hadoop是否配置成功

4.  設定hadoop偽分佈模式

上面步驟安裝成功後，hadoop處於獨立模式即本機模式，本機模式用於開發階段測試除錯MapReduce程式。偽分佈模式用於在本機上模擬一個小規模的叢集。

修改$HADOOP_HOME/etc/hadoop下的5個配置檔案。

（1） 修改core-site.xml，設定namenode主機,hadoop檔案系統
<configuration>
    <property>
       <name>fs.default.name</name>
       <value>hdfs://hadoop:9000</value>
    </property>

<property>

   <name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop2.5/tmp</value>

</property>

</configuration>
（2） 修改hdfs-site.xml，設定資料塊副本數目
<configuration>

<property>

<name>dfs.name.dir</name>

<value>/usr/local/hadoop2.5/hdfs/name</value>

</property>

<property>

<name>dfs.data.dir</name>

      <value>/usr/local/hadoop2.5/hdfs/data</value>

</property>

<property>

 <name>dfs.replication</name>

 <value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>
</configuration>
（3） 修改mapred-site.xml

[cp mapred-site.xml.template mapred-site.xml]
<configuration>
        <property>

  <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>
</configuration>
（4）修改hadoop-env.sh，設定JAVA_HOME
     在hadoop-env.sh中新增，本機中jdk路徑
     export JAVA_HOME=/usr/local/jdk1.7

（5）修改yarn-site.xml，包含MapReduce啟動的配置資訊。<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

 <value>mapreduce_shuffle</value>

</property>

</configuration>

5.  啟動hadoop

hdfs namenode –format 格式化HDFS檔案系統

注：第一，格式化之後jdk的路徑會變成相對路徑，需要到hadoop-env.sh中再改成絕對路徑；

第二，一定在hadoop安裝目錄的sbin目錄下執行格式化命令！

cd /usr/local/hadoop2.5/sbin  進入sbin目錄

start-dfs.sh,start-yarn.sh   啟動hadoop

jps 檢視Java程序

共涉及5個Java程序，如下圖所示：NodeManager、SecondaryNameNode、NameNode、DataNode、 ResourceManager；

6.  瀏覽器驗證

在windows系統中繫結Linux主機名和ip

修改C:\Windows\System32\drivers\etc下的host檔案

訪問hadoop:50070和hadoop:8088埠

7.  執行測試程式

使用新建的偽分散式平臺執行wordcount程式：

echo"Hello World.Hello hadoop." > hello.txt

hadoopfs -mkdir -p input  在hdfs系統上建立資料夾input

hadoopfs –ls 檢視資料夾是否建立成功

hadoopfs -put ../hello.txt input 將本地檔案上傳到hdfs

hadoopfs -ls input   檢視檔案是否上傳成功

hadoopjar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcountinput output  執行wordcount

hadoopfs -ls output 檢視執行之後產生的檔案

hadoopfs -cat output/part-r-00000 檢視執行結果

8.錯誤記錄

1.  Q：Java HotSpot(TM) ClientVM warning: You have loaded library/usr/local/hadoop2.5/lib/native/libhadoop.so.1.0.0which might have disabled stack guard. The VM will try to fix the stack guardnow.

A：這個問題的錯誤原因會發生在64位的作業系統上，原因是從官方下載的hadoop使用的本地庫檔案都是基於32位編譯的，執行在64位系統上就會出現上述錯誤。

方案一：在64位系統上重新編譯hadoop；

方案二：在hadoop-env.sh，yarn-env.sh中新增下兩行：