1 安裝虛擬機器及hadoop環境.

          專案中需要使用hbase來儲存資料,所以在電腦上安裝了一個虛擬機器來搭建一個hadoop環境研究hbase.這裡記錄一下從零到有的一個過程.

1.1 虛擬機器的安裝和hadoop+hbase的搭建

          下載安裝好虛擬機器,這裡我使用的是VMware Workstation虛擬機器和centos7系統.

這裡就不贅述虛擬機器的安裝和系統的安裝了,網上一搜一大把.沒有必要這裡來說這個東西.

1.2 安裝hadoop+hbase(使用自帶的zookeeper)

          安裝的話可以參考這篇文章點選開啟連結 我安裝的是hadoop2.6.5.

          安裝hbase,我這裡使用的是1.2.6版本的hbase.下載複製到虛擬機器中,然後解壓就可以配置系統檔案了.

需要配置的有hadoop_home和hbase_home  這個配置和配置java_home一樣.在虛擬機器控制檯輸入

gedit ~/.bashrc   如果許可權不都的,可以使用sudo gedit ~/.bashrc 

在檔案中加入如下配置(ps:當然裡面的路徑需要根據自己的實際情況更改)

# User specific aliases and functions

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_152
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

# Hadoop Environment Variables
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

# flume
export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin

# hbase
export HBASE_HOME=/usr/local/hbase
export PATH=$HBASE_HOME/bin:$PATH

#  maven
export MAVEN_HOME=/usr/local/apache-maven-3.5.2
export PATH=${PATH}:${MAVEN_HOME}/bin
 

然後修改hadoop配置檔案.到 hadoop/etc/hadoop下.修改core-site.xml檔案和hdfs-site.xml檔案

修改core-site.xml檔案 將<configuration>標籤中內容新增如下  hadoop.tmp.dir這個引數是表示檔案儲存位置.

fs.default.name是暴露出的埠,及訪問hdfs檔案系統的url就是這個  hafs://myhadoop:9000 這裡的myhadoop是機器名,後面會講到,這裡可以先使用localhost暫替.下面的配置檔案也需要用localhost替換.

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property> 
        <name>fs.default.name</name>
        <value>hdfs://myhadoop:9000</value>
    </property>
</configuration>
 

修改hdfs-site.xml檔案

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
    <property>  
        <name>dfs.support.append</name>  
        <value>true</value>
    </property>  
    <property>
	  <name>dfs.permissions</name>
	  <value>false</value>
    </property>
</configuration>

然後配置hbase配置檔案.  到hbase/conf/路徑下,修改hbase-site.xml檔案和hbase-env.sh檔案

hbase-site.xml檔案修改如下

<configuration>
   <property>
      <name>hbase.tmp.dir</name>
      <value>/usr/local/hbase/hbaseData</value>
   </property>//hbase臨時檔案目錄
   <property>
      <name>hbase.rootdir</name>
      <value>hdfs://myhadoop:9000/hbase</value>
   </property>//在hdfs訪問路徑
   <property> 
　　　<name>hbase.zookeeper.quorum</name> <!-- list of  zookooper -->
　　　<value>myhadoop</value> 
 　</property> 
</configuration>

hbase-env.sh檔案修改如下

#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_152
#Hbase日誌目錄

export HBASE_LOG_DIR=/usr/local/hbase/logs                      
#如果使用HBase自帶的Zookeeper值設成true 如果使用自己安裝的Zookeeper需要將該值設為false關閉HBase自帶的Zookeeper,使用Zookeeper叢集：

export HBASE_MANAGES_ZK=true

2 eclipse操作hbase上面的表格

     通過上面的配置,虛擬機器已經有一個簡單的hadoop環境和hbase資料庫了.現在可以使用eclipse來操作了.(主要是主機上的eclipse來訪問虛擬機器中的hbase)

要想主機訪問虛擬機器,需要關閉虛擬機器的防火牆,因為系統的不同,所以關閉虛擬機器的防火前的方法也不同,網上有幾種方法,  

方法1: 

方法2:

sudo systemctl stop firewalld.service && sudo systemctl disable firewalld.service    關閉虛擬機器(centos7)中防火牆

然後可以在主機和虛擬機器中ping對方的ip,看是否能ping同,能ping同,就可以進行下一步了.

能ping同,但還不夠,我當時也是以為能ping同就能再主機中的eclipse中訪問虛擬機器上的hbase,但一直拒絕連線.後來網上搜索了很久,才弄明白,網上有人說,zookeeper對ip地址訪問支援不好,所以要機器名的方法來訪問...

配置虛擬機器的hosts檔案和hostname檔案

控制檯輸入    gedit /etc/hosts  修改為

192.168.32.128 myhadoop

如果有127.0.0.1對映到localhost..需要刪除掉,好像是會影響.(沒有印證過.......漢....)

配置後還需要配置主機的對映,即需要修改主機的host檔案..把

myhadoop  192.168.0.1

新增進去..這裡的192.168.0.1是我亂寫的,需要修改為實際情況中虛擬機器中的地址.

這樣就可以使用eclipse來操作虛擬機器上的hbase了.....

這裡可能還有一些問題,可能配置後會出問題,因為實際需要的一些問題我這裡沒有提(主要我也忘記如何解決了...呵呵....)

   有可能啟動時,會報log4j的問題,這是hbase的jar包中有log4j的jar包,java環境變數裡面也有,就衝突了.需要刪除.

其他的就記不起來還會遇到哪些問題了......歡迎讀者指出,我會新增進博文的..