1. 程式人生 > >搭建Hive遠端服務端客戶端訪問模式

搭建Hive遠端服務端客戶端訪問模式

搭建Hive遠端本地訪問模式之前,要保證Hadoop叢集的正常執行

本案例使用的版本介紹:

軟體

版本

hadoop

2.6.5

zookeeper

3.4.6

hive

1.2.1



搭建的大致流程:

1.      安裝Hive

2.      配置Hive環境變數

3.      替換和新增相關jar包

4.      修改Hive配置檔案

5.      啟動Hive測試Hive

這裡我用了三臺伺服器,主機名分別為:test1、test2、test3

主機名

角色

test1

Mysql服務端

test2

Hive服務端

test3

Hive 客戶端

搭建具體步驟:

1.      安裝Hive

        在官網上下載Hive壓縮包,上傳到/home資料夾下,並解壓該檔案到當前目錄

        

2.      配置Hive環境變數

         對主機名為test2test3的伺服器分別做Hive環境變數

         首先知道Hive安裝目錄,可以通過下列方法:


      

        得到:/home/apache-hive-1.2.1-bin

 通過命令開啟環境變數:

 [[email protected] apache-hive-1.2.1-bin]# vim ~/.bash_profile

    對開啟的檔案寫入Hive環境變數:

    export HIVE_HOME=/home/apache-hive-1.2.1-bin

    export PATH=$PATH:$HIVE_HOME/bin

    如圖:

     

然後儲存並退出該檔案,重新載入環境變數source ~/.bash_profile


3.      替換和新增相關jar包

首先把mysql支援jar包加入Hive中,具體做法:把jar包放入apache-hive-1.2.1-bin/lib目錄下。

這裡我用的是mysql-connector-java-5.1.32-bin.jar

然後我們把apache-hive-1.2.1-bin/lib/jline-2.12.jar包拷貝到本地,然後通過本地替換掉/home/hadoop-2.6.5/share/hadoop/yarn/lib下的jline-**.jar包

注意:Hadoop下面的jline包版本不同,這裡我們直接刪除掉這個包,然後匯入這個jline-2.12.jar包。第三步驟就完成了。

4.      修改Hive配置檔案

因為我們這裡的服務端和客戶端分開搭建的,所以這裡我們要分別修改test2和test3的Hive配置檔案。

首先修改test2服務端的配置檔案

進入apache-hive-1.2.1-bin/conf目錄,建立名為hive-site.xml的檔案。

然後寫入下面一段程式碼:

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>

<configuration>

<property>

       <name>hive.metastore.warehouse.dir</name>

                    這裡配置hive產生的元資料的存放位置,根據自己喜好進行配置

       <value>/user/hive/warehouse</value>

</property>

<property>

       <name>javax.jdo.option.ConnectionURL</name>

                    這裡配置hive連線mysql服務所需要的jdbc支援

       <value>jdbc:mysql://test1:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<property>

       <name>javax.jdo.option.ConnectionDriverName</name>

                   配置mysql的Driver

       <value>com.mysql.jdbc.Driver</value>

</property>

<property>

       <name>javax.jdo.option.ConnectionUserName</name>

                    這裡配置的是連線mysql時的登陸使用者名稱

       <value>root</value>

</property>

<property>

       <name>javax.jdo.option.ConnectionPassword</name>

                    這裡配置的是連線mysql時的登陸密碼

       <value>123456</value>

</property>

</configuration>

 然後修改test3客戶端的配置檔案

進入apache-hive-1.2.1-bin/conf目錄,建立名為hive-site.xml的檔案。

然後寫入下面一段程式碼:

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

<configuration>

        <property>

               <name>hive.metastore.warehouse.dir</name>

               <value>/user/hive/warehouse</value>

        </property>

        <property>

               <name>hive.metastore.local</name>

                                這裡配置的是否啟用本地伺服器連線Hive,這裡我們是客戶端和服務端分開的一個配置,所以這裡設定為false.

               <value>false</value>

        </property>

        <property>

               <name>hive.metastore.uris</name>

                                 這裡配置的是連線Hive服務端的匹配地址

               <value>thrift://test2:9083</value>

        </property>

</configuration>

5.      啟動服務

首先啟動Hive服務端:


其次啟動Hive客戶端:


6      測試hive

我們在Hive服務端輸入查詢資料庫的命令:show databases;

出現下圖就代表Hive搭建成功。




相關推薦

搭建Hive遠端服務客戶訪問模式

搭建Hive遠端本地訪問模式之前,要保證Hadoop叢集的正常執行本案例使用的版本介紹:軟體 版本 hadoop 2.6.5 zookeeper 3.4.6 hive 1.2.1 搭建的大致流程:1.      安裝Hive2.      配置Hive環境變數3.  

VC++ 使用MSSOAP訪問WebService天氣服務客戶開發)

操作 new height ati vc++ too all AR tex 緒論 本文介紹使用VC++編程實現訪問天氣Web服務的簡單實例(例子來源於網絡)。 Web天氣服務 http://www.webxml.com.cn/WebService

SVN伺服器搭建服務+客戶

Windows下使用VisualSVN Server搭建SVN伺服器 SVN簡介:  1、為什麼要使用SVN?       程式設計師在編寫程式的過程中,每個程式設計師都會生成很多不同的版本,這就需要程式設計師有效的管

Linux搭建nfs服務以及客戶配置

OS:centos 6.5 服務端:10.7.8.24 客戶端:10.7.8.23 1.服務端配置 [[email protected] ~]# rpm -aq nfs-utils rpc

linux jupyter notebook 遠端 瀏覽器 window客戶訪問 配置方法

基礎條件:linux 系統裡安裝有: Anaconda jupyter notebook python(或者ipython) 配置jupyter notebook遠端 0.登入你的遠端伺服器 1.生成配置檔案(Linux伺服器) jupyter notebook --genera

設定Oracle用IP遠端連線和客戶訪問

要想將oracle設定為多使用者可遠端訪問,須進行以下設定: 1、路徑:D:\app\Administrator\product\11.1.0\db_1\NETWORK\ADMIN\listener.ora,將其內容設定為如下:    LISTENER =   (DESCR

嶄新的 RedHat 7.2 搭建 docker 私有映象庫服務客戶環境總攻略

一、引言 最近專案裡有一個搭建 docker 的私有映象庫的任務,環境是 RedHat 7.2,不能聯網,並且希望能夠儘量使用最新的 docker 版本。 為了完成這個任務,我踩了很多很多坑,並且參考了很多很多部落格。這裡我將我成功搭建的步驟寫下來,其中每個

超級輕量的遠端命令列客戶服務(含檔案傳輸)

功能:實現基於TCPIP的命令列操作遠端計算機,並且支援遠端檔案傳輸 平臺:windows   (linux同理) 原理:客戶端連線上服務端之後,先監聽鍵盤輸入,將鍵盤輸入的cmd指令儲存併發送給服務端;服務端儲存並通過呼叫命令列執行,獲取命令列執行結果傳送給客戶端。

WSUS服務客戶配置說明

wsus服務器步驟1:win7執行【開始】I【運行】命令,在彈出的對話框中輸入gpedit.msc.單擊【確定】按鈕,打開【組策略編輯器】窗口,如圖1所示。  圖1【組策略編輯器】窗口 步驟2:依次展開【計算機配置】丨【管理模板】丨【Windows組件】丨【WindowsUpdate】結

chrony時間同步 服務 客戶 安裝配置

iyu comm .html emc etc get sta aliyun -1 chrony時間同步 服務端 客戶端 安裝配置 原創內容http://www.cnblogs.com/elvi/p/7658021.html #!/bin/sh #運行環境 centos7

[精華][推薦]CAS SSO單點登錄服務客戶實例

重啟 col port watermark 技術分享 connect water war包 coyote 1.修改server.xml文件,如下: 註意: 這裏使用的是https的認證方式,需要將這個配置放開,並做如下修改: <Connector port=&qu

[精華][推薦]CAS SSO單點登錄服務客戶學習

springmvc mybatis dubbo java springcloud 1.了解單點登錄 SSO 主要特點是: SSO 應用之間使用 Web 協議(如 HTTPS) ,並且只有一個登錄入口. SSO 的體系中有下面三種角色: 1) User(多個) 2) Web 應用(多個)

spring4集成cxf3的服務/客戶使用

classpath -- xmla point 網上 user 生成 smtp 關於 Web Service = SOAP + HTTP + WSDL。其中,SOAP Simple Object Access Protocol)協議是web service的主體,它

服務客戶連接以及登陸用戶的增刪改

傳輸控制協議 修改 span lis use 用戶數據 rev add 用戶數 TCP傳輸控制協議 穩定,相對於UDP而言要慢一些,Web服務器都是使用TCP UDP用戶數據包協議 不穩定 TCP客戶端與服務端的連接 # client.py from socket

zabbix服務客戶部署

html finish 綠色 new 語言 柔軟 重新登錄 execution character zabbix是一個基於WEB界面的提供分布式系統監視以及網絡監視功能的企業級的開源解決方案。 zabbix由zabbix server與可選組件zabbix ag

Java 開發 gRPC 服務客戶

dclient 相關配置 build 基於 extension 方法 創建 rmi 內容 一、gRPC 簡介 gRPC 是Go實現的:一個高性能,開源,將移動和HTTP/2放在首位通用的RPC框架。使用gRPC可以在客戶端調用不同機器上的服務端的方法,而客戶端和服務端的開發

zabbix 服務 代理服務 客戶 配置

zabbixZabbix 監控 zabbix 服務端 代理服務 客戶端 配置 以及web前端圖形監控配置 zabbix-server zabbix-proxy zabbix-agent 一、準備環境 node1 node2 node3

Python socket模塊實現TCP服務客戶

python socket Python socket模塊實現TCP服務端客戶端 寫了詳細的註釋,如果有哪一行不明白,可留言哦。 服務端腳本 # _*_ coding: utf-8 _*_ __author__ = ‘xiaoke‘ __date__ = ‘2018/6/13 14:39‘ # 這個

Zookeeper--0200--安裝與集群搭建、常用命令、客戶工具

客戶端軟件 href 根節點 log nbsp ron lan 常用命令 .cn 看這裏, http://www.cnblogs.com/lihaoyang/p/8358153.html 1,先使用可視化客戶端軟件 ZooInspector 連接上集群中的一個節點,看下z

CentOS minimal 安裝ssh 服務客戶

eve lis 分享圖片 wrap 開機啟動 mage minimal start 重啟 檢查是否裝了SSH包 如果現實有openssh-server 說明系統已經安裝了ssh 2 如果系統沒有安裝ssh 那麽可以在線安裝 yum install