1. 程式人生 > >安裝配置Hadoop出現常見問題的解決方法

安裝配置Hadoop出現常見問題的解決方法

安裝時出現了經常出現的問題,以下是我找到的解決方法,並加以彙總。

1.未按照教程採用ubuntu14.04版本在ubuntu16.04版本中安裝jdk中輸入

sudo apt-get install openjdk-7-jre openjdk-7-jdk
                 出現:This may mean that the package is missing, has been obsoleted, or is only available from another source 即jdk安裝失敗。

             原因是Ubuntu16.04的安裝源已經預設沒有openjdk7了,所以要自己手動新增倉庫。

     這裡提供一個Oracle JDK 7的安裝包:連結:http://pan.baidu.com/s/1dFuwbpJ 密碼:4ul7

     2.利用命令

 ./bin/hdfs namenode -format

             格式化名稱節點

./sbin/start-dfs.sh

       開啟Hadoop服務時出現: Error: JAVA_HOME is not set and could not be found 錯誤

             3.啟動Hadoop服務時出現 警告

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 
using builtin-java classes where applicable


               這個狀況是因為在官網上下載到的 Hadoop 是採用的32位機編譯,而 Hadoop 呼叫了本地庫(C或C++編寫執行比JAVA更快)來實現儲存壓縮檔案的處理,如果呼叫失敗也可以用JAVA來處理。當然32位機編譯的可能和64位系統不太匹配出現了上面的警告,解決方法很多,最快的解決方法是替換為64位機編譯的本地庫。參考如下文章:http://www.secdoctor.com/html/yyjs/31101.html給出的網址,可以下載到大部分Hadoop 版本的64位編譯的本地庫: http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 根據文章中的方法覆蓋即可。這裡給出一個 Hadoop 2.7.1 可用的64位編譯的本地庫連結:http://pan.baidu.com/s/1o7OpCoU 密碼:kqw2。替換後重啟系統。