Centos7 安裝hadoop2.7.3和jdk1.8
下載好hadoop和jdk軟件包,傳到虛擬機上
第一步:安裝jdk並配置環境變量
解壓 tar -xvf
配置環境變量
vim /etc/profile
#set java environment export JAVA_HOME=/home/java/jdk1.8.0_171 export JRE_HOME=/home/javaa/jdk1.8.0_171/jre export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
加載配置文件
source /ect/profile
測試 java -version javac -version
第二步:安裝hadoop
解壓 tar -xvf *****
重命名 mv A B
進入到hadoop_27目錄下,創建文件夾 hadoop_tmp, hadoop_logs, hdfs, hdfs/data, hdfs/name
配置hadoop的haddop-enc.sh文件 vim ect/hadoop/hadoop-env.sh
添加jdk路徑(JAVA_HOME路徑)
配置 yarn-env.sh文件 vim etc/hadoop/yarn-env.sh
配置core-site.xml文件
<configuration> <!--set master location --> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <!--set tmp dir --> <property><name>hadoop.tmp.dir</name> </value>file:/usr/local/hadoop_27/hadoop_tmp</value> </property>
配置hdfs-site.xml文件
設置hadoop的環境變量
#set hadoop environment
export HADOOP_HOME=/usr/local/hadoop_27
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
記得resource /etc/profile
第三步:啟動hadoop
啟動hadoop的時候遇到點問題,因為配置的偽分布式的,然後自定義了啟動的tmp目錄hadoop_27/hadoop_tmp
輸入start-dfs.sh和start-yarn.sh後,只有5個進程起來了,namenode沒有起來。
查看啟動的日誌發現,hadoop_tmp/dfs/name目錄沒有生成,不存在。
一開始以為是放在hadoop_27目錄可能有問題,就放出來了一層 /usr/local/hadoop_tmp 和hadoop_27同一級,發現還是那個問題。
最後在網上找打了解決辦法:參考博客
/usr/local/hadoop_27/hadoop_tmp的權限沒有設置,進行以下兩個命令的操作:
chown -R 用戶:用戶組 /usr/local/hadoop_27/hadoop_tmp
sudo chmod -R a+w /usr/local/hadoop_2
執行後再啟動 start-dfs.sh jps
fighting!----thf
Centos7 安裝hadoop2.7.3和jdk1.8