1. 程式人生 > >Hadoop的安裝總結

Hadoop的安裝總結

1硬體需求

記憶體容量:4G以上
硬碟容量:500G以上
CPU :4核以上

2 軟體需求

作業系統
方案一:作業系統:Linux,建議ubuntu 16.04
方案二: 作業系統:Windows64位,建議windows7 64位
虛擬機器:建議VMware Workstation Pro
其他軟體: JAVA:jdk1.7以上,建議1.8版本
Eclipse
Hadoop:建議2.7.4
Hbase:建議1.3版本

3 軟體安裝

將JAVA、Eclipse、Hadoop、(Hbase可以後期安裝)的解壓版copy到目錄
/home/hadoop/apps
並分別建目錄:

		/home/hadoop/apps/jdk	
		/home/hadoop/apps/ Eclipse		
		/home/hadoop/apps/ Hadoop		
		/home/hadoop/apps/Hbase

4 作業系統ubuntu 16.04環境變數設定

開啟命令列視窗terminal:
快捷鍵:
Ctrl+Alt+T
編輯使用者啟動所需檔案bashrc
命令
$ gedit ~/.bashrc
內容如下:

		export JAVA_HOME=/home/hadoop/apps/jdk
		export JRE_HOME=${JAVA_HOME}/jre
		export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
		export PATH=$JAVA_HOME/bin:$PATH	
		export HADOOP_HOME=/home/hadoop/apps/hadoop
		export PATH=$HADOOP_HOME/bin:$PATH

執行使用者啟動所需檔案bashrc
命令

$source ~/.bashrc

檢視

$java –version		$hadoop version

5 編輯Hadoop啟動所需檔案core-site.xml

core-site.xml位置:
home/apps/hadoop/etc/hadoopcore-site.xml增加內容:

<configuration>		
<property>			
	<name>hadoop.tmp.dir</name>
	<value>file:/home/hadoop/apps/hadoop/tmp
	</value>
	<description>
	Abase for other temporary directories.
	</description>		
	</property>		
	<property>			
	<name>fs.defaultFS</name>			
	<value>hdfs://localhost:9000</value>
</property>
</configuration>

6 編輯Hadoop啟動所需檔案hdfs-site.xml

hdfs-site.xml位置:home/apps/hadoop/etc/hadoophdfs-site.xml
增加內容:

<configuration>	
	<property>		
		<name>dfs.replication</name>	
		<value>1</value>	
	</property>	
		<property>		
	 <name>dfs.namenode.name.dir</name>	
	 <value>file:/home/hadoop/apps/hadoop/tmp/dfs/name</value>	
		</property>		
		<property>		
	<name>dfs.datanode.data.dir</name>		
	<value>file:/home/hadoop/apps/hadoop/tmp/dfs/data</value>	
		</property>
	</configuration>

7 SSH的安裝與配置

關閉防火牆
處理可能出現的異常ssh:connect to host localhost port 22:Connection refused

$sudo ufw disable 

安裝 openssh-server

	   	 $sudo apt-get update		
		 $sudo apt-get install openssh-server
		 $SSH IP

配置SSH無密碼登入

		$ssh-keygen -t rsa -P ''
		$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
		$ssh localhost

8 啟動Hadoop

格式化namenode

$bin/hadoop namenode -format

啟動Hadoop節點
啟動 $sbin/start-all.sh
顯示 $jps

在這裡插入圖片描述
出現如圖所示內容,則說明安裝成功!!!