1. 程式人生 > >debian下 Hadoop 1.0.4 集群配置及運行WordCount

debian下 Hadoop 1.0.4 集群配置及運行WordCount

速度 虛擬 裏的 否則 ado 修改 安裝包 name 節點

說明:我用的是壓縮包安裝,不是安裝包

官網安裝說明:http://hadoop.apache.org/docs/r1.1.2/cluster_setup.html,繁冗,看的眼花...大部分人應該都不是按照這個來的...按照這個做我相信也會碰到各種問題

精簡版安裝說明:http://www.linuxidc.com/Linux/2013-01/77678.htm 言簡,但如果照搬,絕對會遇到一些問題...

接下來記錄我遇到的問題:

環境 jdk1.7.0_09 + debian6 32bit + 4核1G內存(虛擬機不是我配置的,詭異的配置...)

盡量按照精簡版的來,註意根據實際情況修改路徑等。

我 發現在實際操作過程中,/usr/etc/hadoop裏的配置是從$HADOOP_HOME裏復制過來的,但主節點實際讀取的是/usr/etc /hadoop裏的配置,而不是$HADOOP_HOME裏的配置。所以修改配置時,實際起作用的是/usr/etc/hadoop裏的。

在主節點用start-all.sh啟動集群,只有主節點的5個進程啟動了,而從節點的一個都沒啟動,會報錯。

由於精簡版中,從節點只獲得了主節點的配置文件,而從節點啟動時,實際讀取配置文件的位置可能不是$HADOOP_HOME。

根據異常信息(異常信息就不列出了),我是這樣做的:

1.把$HADOOP_HOME裏的bin sbin libexec 3個文件夾中的內容復制到 /usr 中

2.把主節點中的/usr/share/hadoop裏的內容復制到從節點中的相同位置,否則從節點會說找不到某類(****.Platformname)

到這,應該就能啟動集群了。如果報JAVA_HOME沒有設置,就在主節點中找到所有 hadoop-env.sh 文件的位置,然後在從節點中的同樣位置放置設置了JAVA_HOME的 hadoop-env.sh 文件。

運行WordCount遇到的問題主要是不知道dfs和本地fs處於邏輯上平行的空間,要用"hadoop dfs -put"和"hadoop dfs -get"上傳或下載文件,可以用"hadoop dfs -help" 命令查看幫助。

ps. 運行速度好慢...

debian下 Hadoop 1.0.4 集群配置及運行WordCount