1. 程式人生 > >centos安裝與測試Hadoop2.7

centos安裝與測試Hadoop2.7

為了方便,我們需要對伺服器進行配置

1.1修改主機名

vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop1

在這裡插入圖片描述 1.2修改主機名和IP的對映關係

vim /etc/hosts

在這裡插入圖片描述

根據自己的IP設定

1.3關閉防火牆 #檢視防火牆狀態

#systemctl is-enabled firewalld.service
firewall-cmd --state

#關閉防火牆

systemctl stop firewalld.service

#關閉防火牆開機啟動

systemctl disable firewalld.service

1.4重啟機器

上傳檔案

使用secureCRT軟體連線伺服器 為了方便上傳下載檔案需要安裝

yum install lrzsz -y

rz上傳 sz下載

Hadoop需要Java的環境,之前我們配置了的 現在我們直接安裝Hadoop

  • 解壓
 tar -zxvf hadoop-2.7.5.tar.gz 
  • 修改配置 切換到目錄:cd hadoop-2.7.5/etc/hadoop/
第一個:hadoop-env.sh
		vim hadoop-env.sh
		#第27行
		export JAVA_HOME=/usr/java/jdk1.7.0_65
		
	第二個:core-site.xml

		<!-- 指定HADOOP所使用的檔案系統schema(URI),HDFS的老大(NameNode)的地址 -->
		<property>
        	<name>fs.defaultFS</name>
       			 <value>hdfs://hadoop1:9000</value>
       	 </property>
        <!-- 指定hadoop執行時產生檔案的儲存目錄 -->
        <property>
        		<name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.7.5/tmp</value>
    </property>
		
	第三個:hdfs-site.xml   hdfs-default.xml  (3)
		<!-- 指定HDFS副本的數量 -->
		<property>
			<name>dfs.replication</name>
			<value>1</value>
    </property>
		
	第四個:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
		首先執行
		mv mapred-site.xml.template mapred-site.xml
		vim mapred-site.xml
		<!-- 指定mr執行在yarn上 -->
		<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
    </property>
		
	第五個:yarn-site.xml
		<!-- 指定YARN的老大(ResourceManager)的地址 -->
		<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>hadoop1</value>
    </property>
		<!-- reducer獲取資料的方式 -->
    <property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
     </property>
	 
	 ****第六個啟動叢集配置
		vim slaves 
			把localhost改為自己真實的
			hadoop1
			(多個就新增多臺)
			
		第六個啟動叢集配置
		vim slaves 
			把localhost改為自己真實的
			hadoop1
			(多個就新增多臺)
  • 將hadoop新增到環境變數
vim /etc/proflie
		export JAVA_HOME=/usr/local/java/jdk1.8.0_181/
		export HADOOP_HOME=/home/hadoop/hadoop-2.7.5:wq
		export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

	source /etc/profile
  • 格式化namenode(是對namenode進行初始化)

hdfs namenode -format (hadoop namenode -format) 上面兩條命令嘗試,版本問題 成功後效果 在這裡插入圖片描述

驗證hadoop是否安裝成功

先 jps 命令檢視程序

啟動hadoop

先啟動HDFS
		start-dfs.sh

這裡會有一系列的提示資訊

啟動hadoop1

再啟動YARN
		start-yarn.sh

yarn 也啟動成功 啟動yarn

啟動成功後,我們還可以通過瀏覽器檢視hadoop相關資訊 只需要在瀏覽器輸入 注意IP地址換為自己的ip地址

至此hadoop啟動成功,可以使用它的功能了

HDFS測試

上傳檔案

hadoop fs -put test.txt hdfs://hadoop2:9000/

下載檔案

hadoop fs -get hdfs://hadoop2:9000/test.txt

執行mapreduce 程式

執行提供的例子,切換到hadoop2.7_181/share/hadoop/mapreduce 使用jar包裡的例子,mapreduce模型計算圓周率 mapreduce 取樣數量(5),任務數(5)

hadoop jar hadoop-mapreduce-examples-2.7.5.jar pi 5 5

測試結果列印 pi