1. 程式人生 > >Centos7 安裝hadoop2.7.3和jdk1.8

Centos7 安裝hadoop2.7.3和jdk1.8

配置 tin source 沒有 https prope font col 配置環境變量

下載好hadoop和jdk軟件包,傳到虛擬機上

第一步:安裝jdk並配置環境變量

解壓 tar -xvf

技術分享圖片

配置環境變量

vim /etc/profile

#set java environment
export JAVA_HOME=/home/java/jdk1.8.0_171
export JRE_HOME=/home/javaa/jdk1.8.0_171/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

技術分享圖片

加載配置文件

source /ect/profile

技術分享圖片

測試 java -version javac -version

技術分享圖片

技術分享圖片

第二步:安裝hadoop

解壓 tar -xvf *****

技術分享圖片

重命名 mv A B

技術分享圖片

進入到hadoop_27目錄下,創建文件夾 hadoop_tmp, hadoop_logs, hdfs, hdfs/data, hdfs/name

技術分享圖片

技術分享圖片

配置hadoop的haddop-enc.sh文件 vim ect/hadoop/hadoop-env.sh

添加jdk路徑(JAVA_HOME路徑)

技術分享圖片 技術分享圖片

配置 yarn-env.sh文件 vim etc/hadoop/yarn-env.sh

技術分享圖片 技術分享圖片

配置core-site.xml文件

<configuration>
<!--set master location -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
</property>
<!--set tmp dir -->
<property>
<name>hadoop.tmp.dir</name> </value>file:/usr/local/hadoop_27/hadoop_tmp</value> </property>

技術分享圖片

配置hdfs-site.xml文件

技術分享圖片

設置hadoop的環境變量

#set hadoop environment
export HADOOP_HOME=/usr/local/hadoop_27
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

技術分享圖片

記得resource /etc/profile

第三步:啟動hadoop

啟動hadoop的時候遇到點問題,因為配置的偽分布式的,然後自定義了啟動的tmp目錄hadoop_27/hadoop_tmp

輸入start-dfs.sh和start-yarn.sh後,只有5個進程起來了,namenode沒有起來。

技術分享圖片

查看啟動的日誌發現,hadoop_tmp/dfs/name目錄沒有生成,不存在。

技術分享圖片

一開始以為是放在hadoop_27目錄可能有問題,就放出來了一層 /usr/local/hadoop_tmp 和hadoop_27同一級,發現還是那個問題。

最後在網上找打了解決辦法:參考博客

/usr/local/hadoop_27/hadoop_tmp的權限沒有設置,進行以下兩個命令的操作:

chown -R 用戶:用戶組 /usr/local/hadoop_27/hadoop_tmp

sudo chmod -R a+w /usr/local/hadoop_2

執行後再啟動 start-dfs.sh jps

技術分享圖片


fighting!----thf

Centos7 安裝hadoop2.7.3和jdk1.8