1. 程式人生 > >Ubuntu16.04安裝hadoop(偽分佈模式)

Ubuntu16.04安裝hadoop(偽分佈模式)

主要參考的文章為:

https://blog.csdn.net/wangjia55/article/details/53160679

https://www.cnblogs.com/87hbteo/p/7606012.html

安裝版本:

       Hadoop 3.0.3 64bit

       java jdk:1.8.0_171

 分為以下幾個步驟:

1、準備階段: 增加使用者Hadoop,並配置SSH免密碼登入

2、安裝JDK環境

1,2主要參考的為上述第二個連結,很詳細,注意java環境變數的寫入,之後要用source生效)

本人將java安裝在/usr/local/下面

3、安裝Hadoop,並進行配置

從官網下載安裝包,目前已經到3.x的版本了,解壓到/usr/local下面並配置環境變數 ,參見上述第二個連結

4、偽分散式模式設定

Hadoop預設為單機模式,改為偽分散式模式就是改hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,這幾個檔案,官網有說明,參考的第一個連結也寫的很清楚。

配置完成後,首先將目錄開啟至/usr/local/hadoop,而後執行NameNode的格式化

./bin/hdfs namenode -format

而後

./sbin/start-dfs.sh

則可以啟動,若出現

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform

可以參照https://blog.csdn.net/young_kim1/article/details/50324345

https://www.cnblogs.com/likui360/p/6558749.html