轉載地址：http://blog.csdn.net/napoay/article/details/54136398

目錄(?)[+]

一、機器環境

• 系統：MAC OS
• Hadoop:2.7.3
• Hbase:1.2.4
• JDK: 1.8.0_112

二、配置SSH免密碼登錄

第一步：打開terminal，進入根目錄，運行命令：

            cd

• 1

• 1

第二步: 顯示隱藏文件，這時還沒有.ssh文件夾

        ls –a

• 1

• 1

第三步：生成密鑰

    ssh-keygen -t rsa -P ""
 

• 1

• 1

第四步，進入.ssh文件夾，運行：

cat id_rsa.pub >> authorized_keys

• 1

• 1

第五步: ssh登錄

ssh localhost

• 1

• 1

三、安裝Hadoop 2.7.3

3.1下載Hadoop

Hadoop下載地址：http://hadoop.apache.org/releases.html
下載hadoop-2.7.3.tar.gz，大約204MB。
下載後解壓縮:

sudo tar –zxvf hadoop-2.7.3.tar.gz

• 1

• 1

Hadoop有三種安裝模式：單機模式、偽分布式模式、分布式模式。

3.2運行Hadoop單機模式

解壓安裝文件之後，就是單機模式，運行wordcount測試是否安裝成功。
第一步：在hadoop-2.7.3目錄下新建input文件夾。

sudo mkdir input

• 1

• 1

第二步：在input文件夾下新增2個文本文件用於測試。

 echo ‘hello world‘ > file1.txt
 echo ‘hello hadoop‘ > file2.txt

• 1
• 2

• 1
• 2

第三步：運行wordcount例子

sudo ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-   
mapreduce-examples-2.7.3.jar wordcount input/ output
 

• 1
• 2

• 1
• 2

No news is good news，沒waring、沒error就說明正確運行。
第四步：查看運行結果：

cat output/part-r-00000

• 1

• 1

統計結果:

hadoop  1
hello   2
world   1

• 1
• 2
• 3

• 1
• 2
• 3

3.3 Hadoop偽分布式模式

3.3.1修改hadoop-env.sh

文件位置： hadoop-2.7.3/etc/hadoop/hadoop-env.sh

註釋掉 HADOOP_OPTS

#export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

• 1

• 1

改為:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

• 1

• 1

3.3.2修改core-site.xml

文件位置： hadoop-2.7.3/etc/hadoop/core-site.xml
修改為如下配置：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/Cellar/hadoop-2.7.3/hdfs/tmp</value>
        <description>A base for other temporary directories</description>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11

其中/Users/bee/Documents/bd/hadoop-2.7.3/hdfs/tmp可以自定義. fs.default.name 保存了NameNode的位置，HDFS和MapReduce組件都需要用到它，這就是它出現在core-site.xml 文件中而不是 hdfs-site.xml文件中的原因。

3.3.3修改mapred-site.xml.template

<configuration>
     <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9010</value>
    </property>
</configuration>

• 1
• 2
• 3
• 4
• 5
• 6

• 1
• 2
• 3
• 4
• 5
• 6

變量mapred.job.tracker 保存了JobTracker的位置，因為只有MapReduce組件需要知道這個位置，所以它出現在mapred-site.xml文件中。

3.3.4修改hdfs-site.xml

變量dfs.replication指定了每個HDFS數據庫的復制次數。 通常為3, 由於我們只有一臺主機和一個偽分布式模式的DataNode，將此值修改為1。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

• 1
• 2
• 3
• 4
• 5
• 6

• 1
• 2
• 3
• 4
• 5
• 6

3.4啟動hadoop

3.4.1格式化hdfs

./bin/hadoop namenode -format

• 1

• 1

3.4.2啟動Hadoop

運行啟動命令:

./sbin/start-all.sh

• 1
• 2

• 1
• 2

查看進程：

jps

• 1

• 1

啟動成功之後可以看到NodeManager、NameNode、SecondaryNameNode、ResourceManager這幾個進程。

2338 NodeManager
2389 Jps
1900 NameNode
2108 SecondaryNameNode
2238 ResourceManager

• 1
• 2
• 3
• 4
• 5

• 1
• 2
• 3
• 4
• 5

訪問HDFS的web端口: http://localhost:50070

四、安裝Hbase 1.2.4

4.1 Hbase下載

http://hbase.apache.org/
下載後解壓縮。

4.2 單機運行

查看Hbase版本:

 ./bin/hbase version

• 1

• 1

啟動Hbase:

./bin/start-hbase.sh

• 1

• 1

進入Hbase shell:

 ./bin/hbase shell

• 1

• 1

4.3偽分布式運行

4.3.1 第一步:修改hbase-env.sh

文件位置: hbase-1.2.4/conf/hbase-env.sh
開啟HBASE_MANAGES_ZK,改值默認是註釋的，作用是：使用自帶的ZooKeeper。我們為了方便，使用Hbase自帶的ZooKeeper:

    export HBASE_MANAGES_ZK=true

• 1

• 1

4.3.2 第二步:修改hbase-site.xml

<property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
</property>
<property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
</property>

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

4.3.3啟動Hbase

啟動之前，先啟動hadoop:

    ./sbin/start-all.sh

• 1

• 1

再啟動hbase:

  ./bin/start-hbase.sh

• 1

• 1

【轉載】Hadoop 2.7.3 和Hbase 1.2.4安裝教程