1. 程式人生 > >kylin 安裝配置實驗

kylin 安裝配置實驗

一、實驗環境
3臺CentOS release 6.4虛擬機器,IP地址為
192.168.56.101 master
192.168.56.102 slave1
192.168.56.103 slave2

hadoop 2.7.2
hbase 1.1.4
hive 2.0.0
zookeeper 3.4.8
kylin 1.5.1(一定要apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz包)

master作為hadoop的NameNode、SecondaryNameNode、ResourceManager,hbase的HMaster
slave1、slave2作為hadoop的DataNode、NodeManager,hbase的HRegionServer
同時master、slave1、slave2作為三臺zookeeper伺服器

需要事先重新編譯hadoop原始碼,使得native庫支援snappy

編譯hadoop原始碼,參考:

二、安裝hadoop叢集
參考:
http://blog.csdn.net/wzy0623/article/details/50681554

三、安裝配置基於獨立Zookeeper叢集的Hbase
參考:
http://blog.csdn.net/wzy0623/article/details/51241641
http://blog.csdn.net/wzy0623/article/details/51276501

四、安裝配置hive
參考:
http://blog.csdn.net/wzy0623/article/details/50685966

五、新增hive_dependency環境變數
export  hive_dependency=/home/grid/hive/conf:/home/grid/hive/lib/*:/home/grid/hive/hcatalog/share/hcatalog/hive-hcatalog-core-2.0.0.jar

六、把hive安裝目錄拷貝到Hadoop叢集的其他節點
scp -r hive slave1:/home/grid/
scp -r hive slave2:/home/grid/

七、在每個節點中配置如下環境變數:
JAVA_HOME
HADOOP_HOME
HBASE_HOME
HADOOP_HDFS_HOME
HIVE_HOME
HADOOP_COMMON_HOME
JAVA_HOME
HADOOP_YARN_HOME
ZOOKEEPER_HOME
KYLIN_HOME
HADOOP_MAPRED_HOME
hive_dependency

八、安裝配置kylin
# 在master上執行以下命令 
cd /home/grid/
tar -zxvf apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz
ln -s apache-kylin-1.5.1-bin kylin
vi /home/grid/kylin/bin/kylin.sh
需要對此指令碼做兩點修改:
1. export KYLIN_HOME=/home/grid/kylin# 改成絕對路徑
2. export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX# 在路徑中新增$hive_dependency

九、測試
1. 分別在三臺機器上啟動zookeeper
/home/grid/zookeeper/bin/zkServer.sh start

2. 在master啟動其它kylin依賴的服務
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
~/mysql/bin/mysqld &
nohup $HIVE_HOME/bin/hive --service metastore > /tmp/grid/hive_metastore.log 2>&1 &
/home/grid/hbase/bin/start-hbase.sh

3. 在master啟動kylin
cd /home/grid/kylin/bin
./kylin.sh start

4. 測試kylin自帶的例子
(1)執行${KYLIN_HOME}/bin/sample.sh,並重啟kylin伺服器
${KYLIN_HOME}/bin/sample.sh
${KYLIN_HOME}/bin/kylin.sh stop
${KYLIN_HOME}/bin/kylin.sh start

(2)使用ADMIN/KYLIN作為使用者名稱/密碼登入以下URL,在左上角的project下拉列表中選擇'learn_kylin'專案
http://192.168.56.101:7070/kylin

(3)選中'kylin_sales_cube'示例立方體,點選'Actions'->'Build',選擇一個截止日期,本試驗中選擇的是'2012-04-01'

(4)在'Monitor'標籤中通過重新整理頁面檢查進度條,直到100%

(5)在'Insight'標籤中執行下面的SQL查詢:
select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt

(6)在hive中執行同一個SQL查詢,驗證kylin的查詢結果

Build成功的模型標籤如圖1所示


圖1
Build成功的監控標籤如圖2所示


圖2


查詢執行和結果分別如圖3、圖4所示


圖3


圖4


Build成功後,hive中建立了3個表,如圖5所示


圖5


Build成功後,hbase中建立了2個表,如圖6所示


圖6


注意:
1. kylin、hadoop、hbase、hive的版本一定要匹配。
2. 需要把hive拷貝到叢集中的每個節點中。
3. 需要修改kylin.sh指令碼。
4. 需要在每個節點中配置如下環境變數:
HADOOP_HOME
HBASE_HOME
HADOOP_HDFS_HOME
HIVE_HOME
HADOOP_COMMON_HOME
JAVA_HOME
HADOOP_YARN_HOME
ZOOKEEPER_HOME
KYLIN_HOME
HADOOP_MAPRED_HOME

參考:
http://kylin.apache.org/docs15/tutorial/kylin_sample.html
http://www.myexception.cn/open-source/1940509.html