出於種種原因，想要搭建一個小叢集，來搞搞資料處理。

實踐環境： ubuntu10.04+jdk1.6.20+hadoop-0.20.2+zookeeper3.3.4+hbase0.90.6 本來是準備好了三臺機器，結果後面一臺掛了，所以只有兩臺了=。= 機器名              ip                           作用 ibm        125.216.227.182     namenode ibm00    125.216.227.53        datanode 在開始之前，先負責任的說，選擇的hadoop，hbase版本是有很大影響的，一方面是不同版本配置不一樣，個別的配置檔案沒有等，另一方面並不是所有多相容，所以還是要看看官方文件。 一. Hadoop的安裝配置

1、安裝ubuntu10.04

    為了操作的簡便，在所有機器上建立相同使用者名稱和相同密碼的使用者。本例建立了相同的使用者ibm。

修改機器名：$ hostname機器名。(注：重啟ubuntu後，hostname會變為原來的預設值，所以重啟電腦後記得把hostname改回來，免得與下面設定的/etc/hosts檔案不一致！)

在/etc/hosts中新增機器名和相應的IP：

127.0.0.1 localhost

125.216.227.182 ibm

125.216.227.53 ibm00

2、開啟ssh服務

注意：自動安裝openssh-server時，先要進行

sudo apt-get update操作。

安裝openssh-server：$ sudo apt-get install openssh-server

3、建立ssh無密碼登入

(1)在NameNode上實現無密碼登入本機：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa，

直接回車，完成後會在~/.ssh/生成兩個檔案：id_dsa和id_dsa.pub。這兩個是成對出現，類似鑰匙和鎖。

再把id_dsa.pub追加到授權key裡面(當前並沒有authorized_keys檔案)：

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

。

完成後可以實現無密碼登入本機：$ ssh localhost。

(2)實現NameNode無密碼登入其他DataNode（不用設定DataNode無密碼登入NameNode！）：

把NameNode上的id_dsa.pub檔案追加到dataNode的authorized_keys內(以125.216.227.182節點為例)：

a.拷貝NameNode的id_dsa.pub檔案：

$ scp id_dsa.pub[email protected]3:/home/ibm/

b.登入125.216.227.53，執行$ cat id_dsa.pub >> .ssh/authorized_keys

其他的dataNode執行同樣的操作。

4、關閉防火牆

$ sudo ufw disable

注意：這步非常重要。如果不關閉，會出現找不到datanode問題。

5、安裝jdk1.6

 在ubuntu預設的源中，可以找到的jdk為openjdk，其正好是1.6的，可以使用

$sudo apt-cache search jdk可選列表，然後安裝

安裝配置JAVA 1.6.20

$sudo apt-get install openjdk-6-jre openjdk-6-jdk

然後配置環境變數：

 vi /etc/profile

在其中新增如下：

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

儲存退出。

重啟ubuntu！

使用命令測試：

$java -version

注意：每臺機器的java環境最好一致。

6、安裝hadoop

下載hadoop-0.20.2.tar.gz：

解壓：$ tar –zvxf hadoop-0.20.2.tar.gz

把Hadoop的安裝路徑新增到環/etc/profile中:

export HADOOP_HOME=/home/ibm/hadoop

export PATH=$HADOOP_HOME/bin:$PATH

7、配置hadoop

hadoop的主要配置都在hadoop-0.20.2/conf下。

(1)在conf/hadoop-env.sh中配置Java環境(namenode與datanode的配置相同)：

$ vim hadoop-env.sh

$ export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk

(2)配置conf/masters和conf/slaves檔案:(只在namenode上配置)

masters: 125.216.227.182

slaves:125.216.227.53

(3)配置conf/core-site.xml, conf/hdfs-site.xml及conf/mapred-site.xml(簡單配置，namenode與datanode的配置相同)

core-site.xml:

<configuration>

<!--- global properties -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/ibm/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<!-- file system properties -->

<property>

<name>fs.default.name</name>

<value>hdfs://125.216.227.182:9000</value>

</property>

</configuration>

hdfs-site.xml:( replication預設為3，如果不修改，datanode少於三臺就會報錯)

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

mapred-site.xml:

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>125.216.227.182:9001</value>

</property>

</configuration>

{

namenode與datanode的配置一樣，只是datanode不用配master與slave,其中core.xml與mapred-site.xml的value值均要配成namenode的ip地址。

｝

8、執行hadoop

進入hadoop-0.20.2/bin，首先格式化檔案系統：$ hadoop namenode –format

{

如果在這裡輸入命令hadoop namenode –format，返回bash: hadoop：找不到命令;則進入hadoop檔案，輸入命令bin/hadoop namenode -format就可以格式化了。

｝

啟動Hadoop：$ start-all.sh

通過jps命令檢視當前資訊。

二. zookeeper的安裝配置

        zookeeper的安裝配置比較簡單，下載、解壓到/home/ibm/zookeeperinstall，在zookeeperinstall目錄下建立data目錄來存放zookeeper的資料，這裡需要配置的就是/zookeeper/conf下的zoo.cfg配置檔案，zookeeper最初只有zoo.sample.cfg，將其改名為zoo.cfg，然後配置：

        起步階段只需考慮dataDir和clientPort屬性，

        參考別人的教程配置為：

# the directory where the snapshot is stored.

dataDir=/home/ibm/zookeeperinstall/data

# the port at which the clients will connect

clientPort=2222

最後因為我們要配置的是叢集，所以需要在zoo.cfg中新增

server.1=125.216.227.182:2888:3888

server.2=125.216.227.53:2888:3888

其中等號左邊1,2是代表這是第幾個zookeeper，也即機器的id，我們還需要在每臺機器上的data目錄下建立一個檔案myid，其內容即為其ip對應的id。等號右邊依次為機器ip，通訊埠，選舉leader埠（注：詳細的暫沒研究）。

三. HBase安裝配置

下載hbase-0.90.6.tar.gz，解壓到/home/ibm，並用mv修改其目錄名為hbase，

開始叢集配置：

1、修改conf/hbase-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk

export HBASE_CLASSPATH=/home/ibm/hadoop/conf

export HBASE_MANAGES_ZK=false

2、修改hbase-site.xml，增加以下內容

<property>

    <name>hbase.rootdir</name>

    <value>hdfs://ibm:9000/hbase</value>(注：這裡須hadoop-config/core-site.xml中的fs.default.name保持一致，但是貌似必須要用ibm，而不能用ip地址，開始我用ip地址，後面看logs才發現是這裡出錯）

</property>

<property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

</property>

    <property>

      <name>hbase.zookeeper.property.clientPort</name>

      <value>2222</value>(注：這裡的埠需要和zookeeper的埠配置值一樣）

      <description>Property from ZooKeeper's config zoo.cfg.</description>

    </property>

3、把/home/frank/HadoopInstall/hadoop-config/hdfs-site.xml檔案拷貝至hbase的conf資料夾下

4、把${ZOOKEEPER_HOME}/conf/zoo.cfg拷貝至hbase的conf資料夾下

5、在conf/regionservers中新增hadoop-config/conf/slaves中所有的datanode節點。

6、刪除/hbase-0.90.2/lib/hadoop-core-0.20-append-r1056497.jar

拷貝/hadoop-0.20.2/hadoop-0.20.0-core.jar到/hbase-0.90.2/lib/

7、最後，把配置好的hbase-0.20.2，拷貝到其它節點scp

到了這裡整個配置就完成了，在namenode上啟動hadoop叢集，接著在每臺機器上啟動zookeeper，最後啟動hbase，以./hbase/conf/hbase shell進入hbase的shell命令列，執行status檢視當前的狀態，如果命令可正常執行說明叢集配置成功。

四. 一個HBase的Java客戶端例項

（操作環境：window7，myeclipse）

（1）下載hbase-0.90.6-tar.gz

（2）建立一個java project——“HBaseClient”，將解壓得到的hbase-0.90.6.jar,hbase-0.90.6-tests.jar新增到build path。

（3）新建hbase-site.xml（拷貝你的同名hbase配置檔案過來也行），要將其新增到工程的classpath中，也即跟src平行，這是因為下面的程式碼中初始化配置使用的是HBaseConfiguration.create()，關於這個在hbase的api使用說明中有這麼一段註釋：“You need a configuration object to tell the client where to connect.When you create a HBaseConfiguration, it reads in whatever you've set into your hbase-site.xml and in hbase-default.xml, as long as these can be found on the CLASSPATH”。

完整的配置檔案為：

<configuration>
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://125.216.227.182:9000/hbase</value>
	</property>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
	<property>
		<name>hbase.zookeeper.property.clientPort</name>
		<value>2222</value>
		<description>property from zookeeper zoo.cfg.</description>
	</property>
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>125.216.227.182,125.216.227.53</value>
	</property>
	<property skipInDoc="true">
		<name>hbase.defaults.for.version</name>
		<value>0.90.6</value>
	</property>
</configuration>

（4）新建類MyHBaseClient，在hbase中建立一個簡單的表dsinfo，完整程式碼為：

public class MyHBaseClient {
	
	private static 	Configuration conf = null;
	
	static {
		conf = HBaseConfiguration.create();
	}
	
	/**
	 * create table
	 * @param args
	 */
	public static void createTable(String tablename,String []cfs)throws IOException{
		HBaseAdmin admin = new HBaseAdmin(conf);
		if(admin.tableExists(tablename)){
			System.out.println("table has existed.");
		}
		else{
			HTableDescriptor tableDesc = new HTableDescriptor(tablename);
			for(int i=0;i<cfs.length;i++){
				tableDesc.addFamily(new HColumnDescriptor(cfs[i]));
			}
			admin.createTable(tableDesc);
			System.out.println("create table successfully.");
		}
	}
	
	public static void main(String []args){
	
		try{
			createTable("dsinfo", new String[]{"publish","mark"});
		}catch(IOException e){
			e.printStackTrace();
		}
		
	}
}

執行程式即可在hbase中建立dsinfo表。 （這裡可能出現的錯誤有：（1）hbase-site.xml檔案配置不對，這裡是需要新增zookeeper的地址資訊的，不然找不到hbase。（2）dns無法解析ibm，ibm00等我們叢集中的hostname，因為是在window上程式設計，所以需要將ip與hostname的資訊新增到window的hosts檔案中，否則會有dns無法解析的錯誤。） ./hbase/bin/hbase shell 進入hbase shell命令列，執行list即可看到： 小開心一下=。= （筆記是最好的學習方式，歡迎交流！！！）