這裡介紹Hadoop在mac下的安裝與配置。

安裝及配置Hadoop

首先安裝Hadoop

$ brew install Hadoop

配置ssh免密碼登入
用dsa金鑰認證來生成一對公鑰和私鑰：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

將生成的公鑰加入到用於認證的公鑰檔案中：

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

接下來測試一下是否配置成功

$ ssh localhost

如果遇到connection refused之類的錯誤，檢查一下mac是否開啟遠端登入功能，在系統偏好設定中可以設定。

配置Hadoop檔案

core-site.xml檔案配置如下：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

hdfs-site.xml配置如下；
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

mapred-site.xml配置如下：
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

yarn-site.xml配置如下：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
 

以上過程需要注意的是如果mapred-site.xml檔案不存在，需要自己建立（可以複製一下mapred-site.xml.template檔案再進行修改）

執行Hadoop樣例程式

1. 進入Hadoop的目錄，以mac系統為例目錄為
   /usr/local/Cellar/hadoop/2.7.2/libexec
   然後格式化檔案系統:
   $ bin/hdfs namenode -format
2. 啟動NameNode和DataNode的守護程序。
   $ sbin/start-dfs.sh
3. 啟動ResourceManager和NodeManager的守護程序。
   $ sbin/start-yarn.sh
4. 訪問localhost:50070和localhost:8088測試是否正常。
5. 建立hdfs目錄:
   $ bin/hdfs dfs -mkdir -p /user/robin/input
6. 拷貝一些檔案到input目錄:
   $ bin/hdfs dfs -put etc/hadoop input
7. 執行樣例: （下面命令中的hadoop版本號是2.7.2，根據你自己的hadoop版本修改版本號）
   $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
8. 在localhost:50070中的Utilities標籤下找到/user/robin目錄，下載part-r-00000檔案，可以看到其中內容如下所示：

4   dfs.class
4   dfs.audit.logger
3   dfs.server.namenode.
2   dfs.period
2   dfs.audit.log.maxfilesize
2   dfs.audit.log.maxbackupindex
1   dfsmetrics.log
1   dfsadmin
1   dfs.servers
1   dfs.replication
1   dfs.file