1. 程式人生 > >Hive 遠端多使用者模式搭建

Hive 遠端多使用者模式搭建

  1. 在master和worker1上實現遠端多使用者模式搭建,mysql安裝配置及hadoop配置工作在本站其他部落格可見。
  2. 服務端:
<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  

<property>  
  <name>javax.jdo.option.ConnectionURL</name
>
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>
javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123</value> </property> </configuration>

3.在worker1上配置hive-site.xml
客戶端:

<property
>
<name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <!--hive2中無需配置此項 <property> <name>hive.metastore.local</name> <value>false</value> </property> --> <property> <name>hive.metastore.uris</name> <value>thrift://master:9083</value> </property>

4.拷貝JDBC包
將JDBC的jar包放入$HIVE_HOME/lib目錄下

[hadoop@master tgz]$ cp mysql-connector-java-5.1.19-bin.jar /app/hive/apache-hive-2.1.1-bin/lib/

5.拷貝jline擴充套件包
將HIVE_HOME/lib目錄下的jline-2.12.jar包
拷貝到HADOOP_HOME/share/hadoop/yarn/lib目錄下,
並刪除HADOOP_HOME/share/hadoop/yarn/lib目錄下舊版本的jline包

[hadoop@master lib]$ cp jline-2.12.jar /app/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/
  1. 啟動服務端
[[email protected] lib] hive --service metastore   

發現阻塞在此

[[email protected] conf]$ hive --service metastore
Starting Hive Metastore Server
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/app/hive/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/app/hadoop/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

因為客戶端正在監聽它:9083埠
ss -nal |grep 9083
7.啟動客戶端

[[email protected] conf]$ hive
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/app/hive/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/app/hadoop/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in file:/app/hive/apache-hive-2.1.1-bin/conf/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive> show databases;
OK
dblab
default
Time taken: 1.61 seconds, Fetched: 2 row(s)

至此多使用者模式配置完成。

相關推薦

搭建Hive遠端模式在初始化Hive的時候報錯Access denied for user 'hiveowner'@'127.0.0.1' (using password: YES)

報錯資訊如下: [[email protected] conf]# schematool -dbType mysql -initSchema SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding

Hive 遠端多使用者模式搭建

在master和worker1上實現遠端多使用者模式搭建,mysql安裝配置及hadoop配置工作在本站其他部落格可見。 服務端: <configuration> <property> <name>hive

Hive的三種搭建模式遠端方式詳細搭建步驟

hive搭建 hive三種方式區別和搭建按照Hive中metastore(元資料儲存)不同位置分為三種方式: 內嵌Derby方式 :hive將源資料儲存在HDFS中,而元資料預設儲存在hive自帶的資料庫Derby中。但是Derby不支援多使用者同時訪問,所以

搭建Hive遠端服務端客戶端訪問模式

搭建Hive遠端本地訪問模式之前,要保證Hadoop叢集的正常執行本案例使用的版本介紹:軟體 版本 hadoop 2.6.5 zookeeper 3.4.6 hive 1.2.1 搭建的大致流程:1.      安裝Hive2.      配置Hive環境變數3.  

Hive Remote模式搭建

hive一、實驗環境1.軟件版本:apache-hive-2.3.0-bin.tar.gz、mysql-community-server-5.7.192.mysql JDBC驅動包:mysql-connector-java-5.1.44.tar.gz3.mysql已經安裝在hadoop5上4..主機規劃had

hive 遠端模式安裝

首先去下載apache-hive-bin和apache-hive-src; 再解壓apache-hive-bin。要連線mysql資料庫的話,首先得將mysql-connection 的jar包放入hive的 lib 中 去官網上依次點選Hive wiki、Administrator Docum

Hive總結(一)Hive 2.1.0本地模式搭建教程

零.前言 Apache Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單的SQL查詢功能,可以將SQL語句轉換為MapReduce任務進行執行。 其優點是學習成本低,可以通過類SQL語句快速實現簡單的MapRe

自己的HADOOP平臺(三):Mysql+hive遠端模式+Spark on Yarn

Spark和hive配置較為簡單,為了方便Spark對資料的使用與測試,因此在搭建Spark on Yarn模式的同時,也把Mysql + Hive一起搭建完成,並且配置Hive對Spark的支援,讓Spark也能像Hive一樣操作資料。 前期準備

負載均衡集群介紹,LVS介紹,LVS的調度算法,LVS的NAT模式搭建

lvs linux 操作系統 負載均衡 集群 筆記內容:18.6負載均衡集群介紹18.7 LVS介紹18.8 LVS的調度算法18.9/18.10 LVS NAT模式搭建筆記日期:2017-11-1118.6負載均衡集群介紹首先我們先介紹一下什麽是負載均衡: 負載平衡(Load balan

負載均衡集群介紹、LVS介紹、LVS調度算法、LVS NAT模式搭建

外網 ext root 設置ip 調度算法 tun http isa ip配置 18.6 負載均衡集群介紹 主流開源軟件LVS、keepalived、haproxy、Nginx等 其中LVS屬於4層(網絡OSI 7層模型),nginx屬於7層,haproxy既可以認為是4

負載均衡集群介紹、LVS介紹及調度算法、LVS NAT模式搭建

外網 redirect 更新 nec sad 接收 -a 使用 防火墻 負載均衡集群介紹 實現負載均衡集群的軟件有:LVS、keepalived、Nginx、haproxy等。其中LVS屬於四層(網絡OSI模型);Nginx 屬於七層;haproxy既可以認為是四層,也

LVS DR模式搭建、keepalived + LVS

mtu mas ipv4 依然 int ns3 tco link 轉發 18.11 LVS DR模式搭建 DR模式搭建-準備工作 三臺機器 分發器,也叫調度器(簡寫為dir)分發器:192.168.21.130/24rs1:192.168.21.132/24rs2:19

LVS DR模式搭建、keepalived+LVS搭建介紹

架構 size ali tcp協議 1.0 狀態 systemctl rtu rest LVS DR模式搭建 1.準備工作 DR模式同樣需要三臺虛擬機,三臺機器只需要有“公網”IP,但在這種模式下又多了一個VIP。 調度器dir:172.16.111.100真實服務器r

LVS DR模式搭建、keepalived+LVS

mtu 安裝 選擇 .cn 命令 ive 生產 log ica LVS DR 模式搭建 準備工作 三臺機器,三臺機器均有公網IP。 調度器(director) IP:192.168.159.131 real server 1 (real1) IP:192.168.1

負載均衡(LVS DR模式搭建,DR只用一個公網ip,Keepalived+LVS DR)

manage 出現 backup wan ria 文件 重復 ipv4 簡單 一、LVS DR模式搭建準備工作三臺機器:分發器,dir:192.168.52.100rs1:192.168.52.101 (網關改回來,之前nat模式改成100)rs2: 192.168.52

負載均衡(集群介紹,lvs介紹,LVS調度算法,NAT模式搭建

bottom table all lvs dr 有一個 gen 輪詢 chang 定向 一、負載均衡集群介紹負載均衡集群:簡單地說就是讓多臺服務器均衡地去承載壓力。實現負載均衡的開源軟件有:LVS,keepalived,haproxy,nginx等其中相對於(網絡OSI七層

LVS NAT模式搭建

LVS NAT模式 準備工作 三臺機器上都執行執行systemctl stop firewalld; systemctl disable firewalld安裝iptables-servicessystemctl enable iptables; systemctl start iptables;

LVS DR模式搭建

LVS DR模式 分發器的設置 配置ens33網卡 [root@lynn-04 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=s

18.6負載均衡集群介紹18.7LVS介紹18.8LVS調度算法18.9LVS NAT模式搭建

十五周五次課(4月10日)18.6 負載均衡集群介紹18.7 LVS介紹18.8 LVS調度算法.18.9 18.10 LVS NAT模式搭建3臺機器都停掉firewaad,systemctl stop firewalldsystemc disable firewalldrs1,rs2都安裝 iptables

18.6 負載均衡集群介紹 18.7 LVS NAT模式搭建

LVS NAT模式搭建18.6 負載均衡集群介紹 18.7 LVS介紹 18.8 LVS調度算法 18.9/18.10 LVS NAT模式搭建 三臺機器分發器,也叫調度器(簡寫為dir)內網:15.132,外網:220.198(vmware僅主機模式)rs1內網:15.135rs2內網:15.139 [