1. 程式人生 > >Hadoop學習筆記———《Mac OS X 下hadoop2.6.0安裝教程》

Hadoop學習筆記———《Mac OS X 下hadoop2.6.0安裝教程》

1、安裝jdk

2、ssh免密碼登陸

2.1、在終端命令列下輸入:

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

其中''裡的是登陸的密碼,因為要設定免密碼,所以''裡是什麼都沒有的,空格也不行

2.2、在終端命令列下輸入:

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2.3、在終端命令列下輸入:

$ ssh -version 

如果不需要密碼則成功了

3、Hadoop下載

選擇hadoop-2.6.0.tar.gz下載,如果用safari瀏覽器下載,自動解壓成hadoop-2.6.0.tar,在終端命令列輸入:

$ tar xzf hadoop-2.6.0.tar

如果沒有自動解壓,在終端命令列輸入:

$ tar zxvf hadoop-2.6.0.tar.gz

解壓到自己設定的目錄,例如/users/lichengjin/hadoop-2.6.0/

4、Hadoop配置

4.1、配置etc/hadoop/hadoop-env.sh

修改如下;

# The java implementation to use.
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home

4.2、配置 etc/hadoop/core-site.xml

修改如下:

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

4.3、配置 etc/hadoop/hdfs-site.xml

修改如下:

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/users/lichengjin/hadoop-2.6.0/dfs/name</value>
	</property>
	<property>
		<name>dfs.datannode.data.dir</name>
		<value>/users/lichengjin/hadoop-2.6.0/dfs/data</value>
	</property>
</configuration>

4.4、配置 etc/hadoop/mapred-site.xml

發現etc/hadoop/下沒有mapred-site.xml檔案,但是有一個名為mapred-site.xml.template的檔案,只需要將其複製並重命名為mapred-site.xml即可

修改如下:

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:9000</value>
	</property>
	<property>
		<name>mapred.job.tracker</name>
		<value>hdfs://localhost:9001</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

4.5、配置 etc/hadoop/yarn-site.xml

修改如下:

<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

5、格式化一個新的分散式檔案系統:
$ bin/hadoop namenode -format

6、啟動Hadoop守護程序
$ sbin/start-all.sh
成功的話,執行jps檢視程序應該是類似如下形式:
8905 SecondaryNameNode
595
8818 DataNode
9959 NodeManager
9167 NameNode
9883 ResourceManager
10002 Jps
可能遇到的問題: 1、在mac系統下出現: Unable to load realm info from SCDynamicStore 解決方案:

在etc/hadoop/hadoop-env.sh中加入

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
2、在mac系統下出現:

ssh: connect to host localhost port 22: Connection refused

解決方案:

開啟系統偏好設定 —— 共享,選中遠端登入——允許訪問——所有使用者

輸入以下測試:

$ ssh localhost
無需密碼,配置成功