Hadoop學習筆記———《Mac OS X 下hadoop2.6.0安裝教程》
阿新 • • 發佈:2019-02-10
1、安裝jdk
2、ssh免密碼登陸
2.1、在終端命令列下輸入:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
其中''裡的是登陸的密碼,因為要設定免密碼,所以''裡是什麼都沒有的,空格也不行
2.2、在終端命令列下輸入:
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
2.3、在終端命令列下輸入:
$ ssh -version
如果不需要密碼則成功了
3、Hadoop下載選擇hadoop-2.6.0.tar.gz下載,如果用safari瀏覽器下載,自動解壓成hadoop-2.6.0.tar,在終端命令列輸入:
$ tar xzf hadoop-2.6.0.tar
如果沒有自動解壓,在終端命令列輸入:
$ tar zxvf hadoop-2.6.0.tar.gz
解壓到自己設定的目錄,例如/users/lichengjin/hadoop-2.6.0/
4、Hadoop配置
4.1、配置etc/hadoop/hadoop-env.sh
修改如下;
# The java implementation to use.
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home
4.2、配置 etc/hadoop/core-site.xml
修改如下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
4.3、配置 etc/hadoop/hdfs-site.xml
修改如下:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/users/lichengjin/hadoop-2.6.0/dfs/name</value> </property> <property> <name>dfs.datannode.data.dir</name> <value>/users/lichengjin/hadoop-2.6.0/dfs/data</value> </property> </configuration>
4.4、配置 etc/hadoop/mapred-site.xml
發現etc/hadoop/下沒有mapred-site.xml檔案,但是有一個名為mapred-site.xml.template的檔案,只需要將其複製並重命名為mapred-site.xml即可
修改如下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.5、配置 etc/hadoop/yarn-site.xml
修改如下:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5、格式化一個新的分散式檔案系統:
$ bin/hadoop namenode -format
6、啟動Hadoop守護程序
$ sbin/start-all.sh
成功的話,執行jps檢視程序應該是類似如下形式:
8905 SecondaryNameNode
595
8818 DataNode
9959 NodeManager
9167 NameNode
9883 ResourceManager
10002 Jps
可能遇到的問題:
1、在mac系統下出現:
Unable to load realm info from SCDynamicStore
解決方案:
在etc/hadoop/hadoop-env.sh中加入
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
2、在mac系統下出現:
ssh: connect to host localhost port 22: Connection refused
解決方案:
開啟系統偏好設定 —— 共享,選中遠端登入——允許訪問——所有使用者
輸入以下測試:
$ ssh localhost
無需密碼,配置成功