1. 程式人生 > >kylin安裝以及遇見到的一些問題和解決方法

kylin安裝以及遇見到的一些問題和解決方法

環境:

三臺hadoop叢集,hive,hbase,zookeeper

三臺機器內網互相通訊,配置有一個外網ip,使用nginx埠對映

kylin安裝:
安裝部分參考文件:
https://blog.csdn.net/seashouwang/article/details/77869773
https://www.cnblogs.com/itboys/p/6322421.html
1.從官網根據叢集軟體版本下載想要安裝的版本
http://kylin.apache.org/cn/download/
2.解壓並配置環境變數
export KYLIN_HOME=/home/apps/application/cluster/apache-kylin-2.4.0-bin-hbase1x
PATH=$PATH:$KYLIN_HOME/bin
3.開啟相關服務,需要啟動zookeeper(zkServer.sh),hadoop包括(start-all.sh和mr-jobhistory-daemon.sh start historyserver),還有start-hbase.sh
啟動kylin前先執行check-env.sh,執行後沒問題就可以執行kylin.sh start.執行成功後就可以開啟http://<hostname>:7070/kylin檢視頁面
5.執行kylin/bin下面的sample.sh,測試軟體,參考官方文件http://kylin.apache.org/cn/docs/tutorial/kylin_sample.html
常見情況參考文件:
https://blog.csdn.net/seashouwang/article/details/77867188
https://blog.csdn.net/dirful/article/details/74012473
https://blog.csdn.net/zhangxiaomei1952/article/details/79273542
https://blog.csdn.net/xiaoshunzi111/article/details/71131876
後續可優化參考文件:
http://kylin.apache.org/cn/docs/tutorial/cube_build_performance.html
https://blog.csdn.net/qqpy789/article/details/77479998


kylin叢集:設定兩個引數
1、kylin.server.mode=all,job,query (這個決定了當前kylin節點所擔任的角色,一個Kylin叢集只能有一臺作業引擎,也即只能有一臺節點的這個配置專案為all或者job , 可以有多臺query節點)
2、kylin.rest.servers=172.23.0.21:7070,172.23.0.22:7070,172.23.0.30:7070(這個配置項是Kylin用來同步各個節點的狀態的,
否則負載均衡下面跳轉到不同的頁面看到的不一致)


安裝過程中遇到的一些問題:
1.啟動失敗,顯示Failed to find metadata store by url:

[email protected]
HBase日誌顯示The table kylin_metadata does not exist in meta but has a znode. run hbck to fix inconsistencies.
(1)進入zookeeper/bin執行zkCli.sh模式
(2)ls /hbase/table命令檢視是否有bigdata這個表
(3)使用rmr /hbase/table/kylin_metadata命令刪除表
(4)重啟Hbase

2.訪問http://<hostname>:7070/kylin,頁面顯示不全,沒有登入功能,請求js成功,但是沒顯示出來
原因:當代理檔案大小超過配置的proxy_temp_file_write_size值時,nginx會將檔案寫入到臨時目錄下(預設為/proxy_temp)。
如果nginx對/proxy_temp沒有許可權,就寫不進去。
解決辦法:調整/proxy_temp許可權為配置nginx的那個使用者。
chown -R www:www /usr/local/nginx/proxy-temp

3.kylin的sample.sh執行成功,但是build的時候失敗,找不到hive中的相關表格
可能原因:hive元資料可能被刪除過,導致無法顯示,實際上可以使用kylin

4.build cube執行至發生Load HFile to HBase Table Failed
BulkLoad encountered an unrecoverable problem
錯誤資訊:Wrong FS: hdfs://apps/kylin/kylin_metadata/kylin-8eddd2ff-c07b-487a-9fa1-51b4aa62a528/kylin_sales_cube/hfile/F1/b18f973ec5104874b482c9a77db9ad3a, 
expected: hdfs://apps:8020
解決辦法:講hbase-site.xml的hbase.rootdir修改為hdfs://apps/hbase

5.historyserver啟動失敗
日誌報錯:Port in use: Hadoop.sh.21vevdc.com:19888
Cannot assign requested address
結果:發現kylin的job執行需要本機開啟jobhistoryserver程序,將kylin放在有該服務的機器上執行即可
 

相關推薦

kylin安裝以及遇見到的一些問題解決方法

環境: 三臺hadoop叢集,hive,hbase,zookeeper 三臺機器內網互相通訊,配置有一個外網ip,使用nginx埠對映 kylin安裝: 安裝部分參考文件: https://blog.csdn.net/seashouwang/article/detail

Python爬蟲之爬取知乎帖子並儲存到mysql(以及遇到問題解決方法

爬取問題標題並儲存到資料庫: 程式碼: # coding=utf-8 import urllib import urllib2 import re import MySQLdb #co

安裝Apache以及啟動Apache遇到的問題解決方法

首先安裝Apache的時候你要新建一個資料夾,這個資料夾是要在C盤,因為我一開始是放在F盤,以管理員身份執行cmd的時候,找不到這個資料夾,cd 安裝伺服器到bin的目錄,這樣可以找到httpd.exe 輸入命令httpd.exe -k install進行安裝

安裝myeclipse遇到的一些問題解決方法

1、無法開啟myeclipse.exe,需要通過點選eclipsec.exe才能開啟。後來就修改了安裝目錄下 configuration>.setting>org.eclipse.ui.ide.prefs裡面的 SHOW_WORKSPACE_SE

matlab建模遇見一些問題解決方法

工具:MATLAB 警告:Equation is badly conditioned. Remove repeated data points or try centering and scaling. 出現這一警告的一般是因為資料在橫座標方向上跨度太大,在

ubuntu下安裝QT5遇到的一些問題解決方法

在ubuntu下使用Qt 編譯時候遇上了cannot find -lGL錯誤,使用命令         sudo apt-get install libqt4-dev或者sudo apt-get install libgl1-mesa-dev或者libgl1-mesa-de

安裝Exchange 2013 CU18遇到的幾個問題解決方法

exchange server cu18 安裝 問題 2017年9月16日Exchange 2013和Exchange 2016分別發布了更新版本,Exchange Server 2013 CU18和Exchange Server 2016 CU17。分別的下載地址為:Exchange 20

win7_64位操作系統安裝python3.6.3遇到的問題解決方法

描述 要求 其中 官網 ros tails 知識 pack 小夥伴 今天使用win7 64位系統安裝python3.6.3時遇到了很多問題,接下來就總結一下問題以及解決方法 首先在下載Python3的時候遇到了問題,官網上下載的時候會給我們這種小白帶來一些誤導,看圖 圖中標

mongodb安裝配置,遇到問題解決方法

href 如果 小時 占用 gsm 你會 mongo 查看 基本 自己不知道怎麽的,心血來潮想重新來安裝和配置一下mongodb,之前自己也是按照別人的來整的,印象不深刻。第二遍安裝配置遇到很多問題。 弄了兩個多小時,期間遇到很多問題: 遇到的主要問題 1.拒絕訪問: 解決

windows server,nginx安裝,配置,運行nodeJS後端的web項目的實現,以及錯誤分析及解決方法

lease args app clu ali real-ip directory 很多 命令 如果對nodeJS的後端的系統,源代碼在github上,https://github.com/saucxs/nodeJSBlog ,如果覺得可以,請請star並fork項目 項目

配置MySQL時,遇到的一些問題解決方法

Q1.配置好路徑和環境變數以後,準備安裝mysql,但是顯示MySQL服務無法啟動 A:網上查了好多解決辦法,最後解決辦法是需要初始化,操作步驟為: mysql -remove mysql -install mysql -initialize Q2.正常啟動mysql後,輸入

java Swing 彈出新對話方塊的方法以及關閉新對話方塊遇到的問題解決方法

GIFShow 是JFrame的一個繼承類。 public class GIFShow extends JFrame {} 在另一個視窗中的button事件中,實現             &

原碼安裝MySQL時出現的問題解決方法

原碼安裝MySQL時出現的問題和解決方法   1.配置檔案沒有修改 初始化資料庫資訊mysqld --initialize --user=mysqlmysqld --initialize --user=mysql 初始化資料庫目錄 初始化成功會生成 data 目錄,屬主為 my

windows10下的Mysql-8.0.11安裝教程以及報錯的解決方法

一,安裝 點選以下連結可看安裝方法     win10下安裝mysql8.0.11 二,報錯的解決方法 問題1 :windows10系統下,在工作管理員中檢視的MySQL服務,每次開啟服務之後都會自動關閉??? 解決方法:檢視

分享一些python中的錯誤解決方法

 1. SyntaxError: 'return' outside function 解決: 將return 放在方法體中,return不能在方法以外使用 2.name='小王'    age=16    print('我的名字是'+

打 spice 的 deb 格式安裝包的時遇到的問題解決方法

1,dpkg-shlibdeps: 錯誤: no dependency information found for /usr/local/lib/libcelt051.so.0 (used by debian/spice/usr/lib/x86_64-linux

電腦拆機過程注意事項以及一些問題解決方法

自上大學以來,前前後後拆了許多個電腦,也算有了點經驗,剛開始的時候,犯過很多愚蠢的錯誤,現在記錄下來以作“前車之覆” ①螺絲:不同類別螺絲分開放,最好能夠按照拆機順序放好,這樣裝機的時候,可以從最後的螺絲開始裝,也不容易出錯,基本每次拆機,最後都能多出一到兩顆螺絲 ②很多地方是卡扣,就是需要

rpm 安裝zabbix遇到的依賴問題解決方法

我的系統是centos 6 32位 在安裝zabbix-server的時候發現出現要安裝依賴包,如截圖 要依賴的包:OpenIPMI-libs  、fping、iksemel、net-snmp、unixODBC、zabbix-server-implementation

Ubuntu 自己編譯安裝wireshark遇到的問題解決方法

如果僅僅是使用wireshark,我們可以在軟體中心直接安裝,不必這麼麻煩。我在這裡主要是因為要編寫外掛所以要下載原始碼自己編譯安裝。 所有安裝包網址:https://www.wireshark.org/download/win64/all-versions/ 安裝方法:

centos7 安裝MySQL5.7中遇到的問題解決方法

centos7預設不支援mysql(原因大家都懂),預設支援的是mariadb,mariadb是mysql一個開源分支。 1、解除安裝mariadb,否則安裝mysql會出現衝突 執行命令 rpm -qa | grep mariadba 列出所有被安裝的mariadb