2. 程式人生 > >linux下hive三種方式的安裝

linux下hive三種方式的安裝

阿新 • • 發佈：2019-02-07

本次以apache-hive-1.2.1-bin.tar.gz為例

伺服器node5192.168.13.135

伺服器node6192.168.13.136

伺服器node7192.168.13.137

伺服器node8192.168.13.138

一、配置本地內建derby模式
1.上傳hive至linux上（/opt/sxt/soft）
2.解壓tar -zxvf apache-hive-1.2.1-bin.tar.gz
3.配置檔案（/opt/sxt/soft/apache-hive-1.2.1-bin/conf）

1）cp hive-default.xml.template hive-site.xml
2）vi hive-site.xml

<property>  
    <name>javax.jdo.option.ConnectionURL</name>  
    <value>jdbc:derby:;databaseName=metastore_db;create=true</value>  
</property>  
<property>  
    <name>javax.jdo.option.ConnectionDriverName</name>  
    <value>org.apache.derby.jdbc.EmbeddedDriver</value>  
</property>   
<property>  
    <name>hive.metastore.local</name>  
    <value>true</value>  
</property>    
<property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/user/hive/warehouse</value>  
</property>

4.配置環境變數（並重新載入）
vi ~/.bash_profile
export HIVE_HOME=/opt/sxt/soft/apache-hive-1.2.1-bin
export PATH=$PATH:$HIVE_HOME/bin
source ~/.bash_profile
5.啟動hive
1）在啟動前需要成功啟動hdfs和yarn（start-all.sh start）
       通過瀏覽器檢查node5/8:50070,node5/8:8088
2）修改HADOOP_HOME\lib目錄下的jline-*.jar 變成HIVE_HOME\lib下的jline-2.12.jar
   確保hadoop和hive下的jline版本一致
   hadoop下 jar包 路徑是：share/hadoop/yarn/lib
3）啟動:hive
注：使用derby儲存方式時，執行hive會在當前目錄生成一個derby檔案和一個metastore_db目錄。這種儲存方式的弊端是在同一個目錄下同時只能有一個hive客戶端能使用資料庫。


二、配置本地mysql模式（推薦使用，本地指的是能連線上的ip地址伺服器）
1.修改配置檔案
vi /opt/sxt/soft/apache-hive-1.2.1-bin/conf/hive-site.xml
刪除配置derby時的內容，改為
<property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/user/hive_remote/warehouse</value>  
</property>   
<property>  
    <name>hive.metastore.local</name>  
    <value>true</value>  
</property>   
<property>  
    <name>javax.jdo.option.ConnectionURL</name>  
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>  
</property>  
<property>  
    <name>javax.jdo.option.ConnectionDriverName</name>  
    <value>com.mysql.jdbc.Driver</value>  
</property>  
<property>  
    <name>javax.jdo.option.ConnectionUserName</name>  
    <value>root</value>  
</property>  
<property>  
    <name>javax.jdo.option.ConnectionPassword</name>  
    <value>1234</value>  
</property>

2.拷貝mysql驅動jar包
需要將mysql（本次mysql-connector-java-5.1.32-bin.jar）的jar包拷貝到$HIVE_HOME/lib目錄下
3.啟動mysql
service mysqld start
4.啟動hive（確保資料庫已開啟）
hive

三、配置遠端mysql

1）remote一體（未親測）

這種儲存方式需要在遠端伺服器執行一個mysql伺服器，並且需要在Hive伺服器啟動meta服務。這裡用mysql的測試伺服器，

ip位192.168.13.138，新建hive_remote資料庫，字符集位latine1

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://192.168.13.135:3306/hive?createDatabaseIfNotExist=true</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>root</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>1234</value>  
</property>  
<property>  
  <name>hive.metastore.local</name>  
  <value>false</value>  
</property>  
<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://192.168.13.138:9083</value>  
</property>  
</configuration>  
注：這裡把hive的服務端和客戶端都放在同一臺伺服器上了。服務端和客戶端可拆開。
2）remote分開
1.如上，在node8（任意另一節點）上成功安裝hive
2.修改node8中的hive-site.xml（服務端配置檔案）
vi /opt/sxt/soft/apache-hive-1.2.1-bin/conf/hive-site.xml，內容為
<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://192.168.13.135:3306/hive?createDatabaseIfNotExist=true</value>  
    //192.168.13.135:3306為安裝mysql的伺服器，不一定是135
</property>   
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>   
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>root</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>1234</value>  
</property>  
</configuration>
3.啟動hive服務端程式（node8中）
 hive --service metastore   
4.修改node5中的hive-site.xml（客戶端配置檔案）  
vi /opt/sxt/soft/apache-hive-1.2.1-bin/conf/hive-site.xml，內容為
<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
<property>  
  <name>hive.metastore.local</name>  
  <value>false</value>  
</property>  
<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://192.168.13.138:9083</value>  
</property>  
</configuration> 
5.客戶端直接使用hive命令即可（node5中）
hive
hive> show tables;
OK
Time taken: 0.707 seconds
hive>
6.啟動hiveserver庫
$HIVE_HOME/bin/hiveserver2或者$HIVE_HOME/bin/hive --service hiveserver2
7.連線hiveserver庫
1）beeline方式
   beeline
    beeline>!connect jdbc:hive2://localhost:10000 root org.apache.hive.jdbc.HiveDriver或
    beeline>!connect jdbc:hive2://localhost:10000/default
2）客戶端連線（JDBC）
public class TestHive2 {
public static void main(String[] args) {
		try {
			Class.forName("org.apache.hive.jdbc.HiveDriver");
			Connection conn = DriverManager.getConnection("jdbc:hive2://192.168.13.135:10000/default","root","");
			Statement stmt = conn.createStatement();
			ResultSet resultSet = stmt.executeQuery("select count(*) from people");
			if(resultSet.next()){
				System.out.println(resultSet.getInt(1));
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}

補充：
1）load本地（local）資料到資料庫
   load data local inpath ‘/opt/sxt/temp/test.txt’ into table people PARTITION (dt=’2016-1-1’);（直接複製會出錯）
2）舉例建幾個表（DDL）

1.CREATE TABLE page_view(
    page_url STRING,
    ip STRING
  )
  ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '\t'
  STORED AS TEXTFILE;
  資料如下：（-->表示製表符，即’\t’）
  Node1-->192.168.13.1
  Node2-->192.168.13.2


2.CREATE TABLE people(
id STRING,
name STRING,
likes Array<String>,
addr Map<String,String>
  )
  PARTITIONED BY(dt STRING)
  ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '\t'
  COLLECTION ITEMS TERMINATED BY ‘,’
  MAP KEYS TERMINATED BY ‘:’
  STORED AS TEXTFILE;
  資料如下：
  1-->zs-->game,girl,money-->stuAddr:nantong,workAddr:tongzhou-->2017-1-1
  2-->ls-->game,girl,money-->stuAddr:nantong,workAddr:tongzhou-->2017-1-1

  select addr[‘stuAddr’] from people where name=’zs’;

3.從一個表中查詢資料放到另一表中
  內表與外表的區別：內表drop後資料銷燬，外表drop後資料還在hdfs上。
  內表資料由hive管理，外表資料存放在別處。
  CREATE [EXTERNAL] TABLE people_test(
id STRING,
    name STRING,
likes Array<String>
  )
  ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
   COLLECTION ITEMS TERMINATED BY ‘,’
  STORED AS TEXTFILE;

INSERT OVERWRITE TABLE people_test select id,name,likes FROM people where name=’zs’;


//把表清空
INSERT OVERWRITE TABLE people_test select id,name,likes FROM people where 1=2;

UPDATE people_test SET name = ‘ls’ where name=’zs’;

//刪除分割槽
ALTER TABLE people DROP IF EXISTS PARTITION (dt=’2016-1-1’);

相關推薦

linux下hive三種方式的安裝

本次以apache-hive-1.2.1-bin.tar.gz為例伺服器node5192.168.13.135伺服器node6192.168.13.136伺服器node7192.168.13.137伺服器node8192.168.13.138一、配置本地內建derby模式1.

linux 下的兩種軟體安裝方式 —— 原始碼（編譯、安裝），編譯好的二進位制（直接安裝）

我們以 GPG（加密工具）為例來說明兩種安裝方式的區別： 原始碼（Source code releases，名稱中則會含有src等說明資訊，tarball：source），先編譯再安裝 ./c

linux下采用binary方式安裝mysql步驟

glibc zxvf sql 創建用戶 啟動服務 star 安裝mysql mysql目錄 初始化 1、下載binary文件 　　在http://dev.mysql.com/downloads/mysql/官網上下載 mysql-5.6.36-linux-glibc2.5-

vue.js 三種方式安裝 ( vue-cli ) 、安裝詳解、建立專案

  Vue.js（讀音 /vjuː/, 類似於 view）是一個構建資料驅動的 web 介面的漸進式框架。Vue.js 的目標是通過儘可能簡單的 API 實現響應的資料繫結和組合的檢視元件。它不僅易於上手，還便於與第三方庫或既有專案整合。     &nbs

轉：vue.js 三種方式安裝(vue-cli)

版權宣告：本文為博主原創文章，未經博主允許不得轉載。    https://blog.csdn.net/muzidigbig/article/details/80490884        Vue.j

vue.js 三種方式安裝（轉）

的版本號，則說明你安裝成功了。                             npm包管理器，是整合在node中的，所以安裝了node也就有了npm,直接輸入 npm -v 命令，顯示npm的版本資訊。                       

Linux下以二進位制原始碼方式安裝mysql-5.7.24 資料庫

Linux下安裝mysql資料庫 今天正好有時間自己在環境下安裝資料庫,操作了一下,以供大家學習下,但是也有一寫坑的地方 下載安裝包 mysql官網下載地址 1、如果需要下載到本地的話,點選下載mysql-5.7.24至本地 2、如果是在linux伺服器上操作

hive 三種方式區別和搭建

一、安裝模式介紹：     Hive官網上介紹了Hive的3種安裝方式，分別對應不同的應用場景。     1、內嵌模式（元資料保村在內嵌的derby種，允許一個會話連結，嘗試多個會話連結時會報錯）     2、本地模式（本地安裝mysql 替代derby儲存元資料）   

linux配置dns三種方式

在網絡卡檔案中修改echo 'DNS1="114.114.114.114" ' >> /etc/sysconfig/network-scripts/ifcfg-eth0 在主機表文件ho

linux 自啟動 | 三種方式自啟動

inux 定時啟動 啟動關閉 number lis 簡單 ons lai bsp linux 實現自啟動有多種方式，通過Linux 底層啟動原理介紹，便可以理解以下幾種方式 這裏簡單介紹一下這幾種方式 一、自定義開機程序 /etc/rc.d/rc.local

Linux下修改Mysql密碼的三種方式，測試過效果，能正常使用

密碼 root mysq cat 服務 方法 方式 運行 mysql密碼 個人分類： mysql修改密碼linux修改mysql密碼軟件編程 有時我們會忘記Mysql的密碼，或者想改一個密碼，以下將對這兩種情況修改密碼的三種解決方法做個總結 本文都以用戶為 root 為例；

Linux下建立程序的三種方式及特點

在Linux中主要提供了fork、vfork、clone三個程序建立方法。  在linux原始碼中這三個呼叫的執行過程是執行fork(),vfork(),clone()時，通過一個系統呼叫表對映到sys_fork(),sys_vfork(),sys_clone(),再在這三個函式中去呼叫d

【Linux】安裝軟體的三種方式--rpm、yum、原始碼包

說明：此文首發於本人原創公眾號【媛測】中，如有轉載，請著明出處！ 在windows系統下安裝軟體很簡單，下載軟體包後雙擊.exe檔案，點選下一步即可。然而在linux安裝軟體就沒那麼容易了，不同的Linux發行版有所差異，下面以centos7系統為例說明，如何在linux下安裝軟體

linux安裝軟體的三種方式

原文：https://www.cnblogs.com/heiye123/articles/7291326.html 目錄 【rpm工具】 【yum工具】 【安裝原始碼包】   正文       &nbs

linux下 Apache 配置虛擬主機三種方式

<VirtualHost 192.168.1.11:80>　　ServerName www.test1.com　　DocumentRoot /www/test1/　　<Directory "/www/test1"> 　　　　Options Indexes FollowSymLinks　

在Linux安裝配置Tomcat 並部署web應用 ( 三種方式 )

系統版本：centos6.5版本 java版本：1.7 一、準備工作 1、java -version 檢查是否有java環境，沒有則需要去安裝並配置到環境變數中。 可以本地下載後上傳到伺服器上，也可以直接在伺服器上使用wget命令

Linux下兩種方式安裝apache伺服器踩過的坑

記得第一次找工作面試時，面試官問：你如何理解apache？對於一個只在tomcat上開發剛入行的程式設計師，我只記得apache是一個開源組織，下面掌管著各種高大上，聽都沒聽過的專案，面試完後我才知道他想問的是apache伺服器，而且後面肯定還有和apache伺服器相關的提問，就這樣被我

hive安裝過程：metastore（元資料儲存）的三種方式之本地mysql方式

Hive版本：apache-hive-1.2.1 Hadoop版本：hadoop-2.5.1 Hive中metastore（元資料儲存）的三種方式：    a)本地Derby方式    b)本地mysql方式    c)Remote方式 2、解壓

Linux環境安裝Mysql資料庫的三種方式之一：二進位制包方式安裝

本文是在CentOS7系統平臺下安裝Mysql5.6.26版本資料庫的操作說明，如有錯誤，請指正。 系統平臺：CentOS-7-x86_64   資料庫版本：mysql-5.6.26 本次演示的Mysql安裝包版本：mysql-5.6.26-linux-glibc2

Linux 下三種方式設定環境變數

一、環境變數檔案介紹 轉自：http://blog.csdn.net/cscmaker/article/details/7261921 Linux中環境變數包括系統級和使用者級，系統級的環境變數是每個登入到系統的使用者都要讀取的系統變數，而使用者級的環境變數則是該使用者使用系統時載入的環境變數。 所以管理環