安裝配置Hadoop出現常見問題的解決方法
阿新 • • 發佈:2019-02-14
安裝時出現了經常出現的問題,以下是我找到的解決方法,並加以彙總。
1.未按照教程採用ubuntu14.04版本在ubuntu16.04版本中安裝jdk中輸入
sudo apt-get install openjdk-7-jre openjdk-7-jdk
出現:This may mean that the package is missing, has been obsoleted, or is only available from another source 即jdk安裝失敗。
原因是Ubuntu16.04的安裝源已經預設沒有openjdk7了,所以要自己手動新增倉庫。
這裡提供一個Oracle JDK 7的安裝包:連結:http://pan.baidu.com/s/1dFuwbpJ 密碼:4ul7
2.利用命令
./bin/hdfs namenode -format
格式化名稱節點
./sbin/start-dfs.sh
開啟Hadoop服務時出現: Error: JAVA_HOME is not set and could not be found 錯誤
3.啟動Hadoop服務時出現 警告
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
這個狀況是因為在官網上下載到的 Hadoop 是採用的32位機編譯,而 Hadoop 呼叫了本地庫(C或C++編寫執行比JAVA更快)來實現儲存壓縮檔案的處理,如果呼叫失敗也可以用JAVA來處理。當然32位機編譯的可能和64位系統不太匹配出現了上面的警告,解決方法很多,最快的解決方法是替換為64位機編譯的本地庫。參考如下文章:http://www.secdoctor.com/html/yyjs/31101.html給出的網址,可以下載到大部分Hadoop 版本的64位編譯的本地庫: http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 根據文章中的方法覆蓋即可。這裡給出一個 Hadoop 2.7.1 可用的64位編譯的本地庫連結:http://pan.baidu.com/s/1o7OpCoU 密碼:kqw2。替換後重啟系統。