2. 程式人生 > >大資料11-Hive執行機制與使用

大資料11-Hive執行機制與使用

阿新 • • 發佈：2019-01-12

hive介紹

hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行。其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合資料倉庫的統計分析。

 hive的執行機制

圖示

假設我在hive命令列客戶端使用建立了一個數據庫（database）myhive，接著又在該資料庫中建立了一張表emp。

create database myhive;
use myhive;
create table emp(id int,name string);

那麼hive會將元資料儲存在資料庫中。Hive 中的元資料包括表的名字，表的列和分割槽及其屬性，表的屬性（是否為外部表等），表的資料所在目錄等。
hive是基於hadoop的，所以資料庫和表均表現在hdfs上的目錄，資料資訊當然也是儲存在hdfs上。
對於上面的庫和表來說，會在hdfs上建立/user/hive/warehouse/myhive.db這樣的目錄結構，而表的資訊則可以自己上傳個檔案比如圖中的emp.data到/user/hive/warehouse/myhive.db目錄下。那麼就可以寫sql進行查詢了（注：寫查詢語句寫的是myhive這張表不刪emp.data，如select * from myhive,但是查詢到的是emp.data中的資訊，兩者結合可以理解為傳統資料庫的某張表），而這些元資料資訊都會儲存到外部的資料庫中（如mysql，當然也可以使用內嵌的derby，不推薦使用derby畢竟是內嵌的不能共享資訊）。
然後我再寫個查詢語句

select id,name from emp where id>2 order by id desc;

那麼是怎麼執行的呢？查詢語句交給hive，hive利用解析器、優化器等（圖中表示Compiler）,呼叫mapreduce模板，形成計劃，生成的查詢計劃儲存在 HDFS 中，隨後由Mapreduce程式呼叫，提交給job放在Yarn上執行。

hive與mapreduce關係

hive的資料儲存
1、Hive中所有的資料都儲存在 HDFS 中，沒有專門的資料儲存格式（可支援Text，SequenceFile，ParquetFile，RCFILE等）
2、只需要在建立表的時候告訴 Hive 資料中的列分隔符和行分隔符，Hive 就可以解析資料。
3、Hive 中包含以下資料模型：DB、Table，External Table，Partition，Bucket。
db：在hdfs中表現為${hive.metastore.warehouse.dir}目錄下一個資料夾
table：在hdfs中表現所屬db目錄下一個資料夾
external table：外部表, 與table類似，不過其資料存放位置可以在任意指定路徑
普通表: 刪除表後, hdfs上的檔案都刪了
External外部表刪除後, hdfs上的檔案沒有刪除, 只是把檔案刪除了
partition：在hdfs中表現為table目錄下的子目錄
bucket：桶, 在hdfs中表現為同一個表目錄下根據hash雜湊之後的多個檔案, 會根據不同的檔案把資料放到不同的檔案中

理論總讓人頭昏，下面介紹hive的初步使用上面的自然就明白了。

hive的使用
雖然可以使用hive與shell互動的方式啟動hive

[[email protected] ~]# cd apps/hive/bin
[[email protected] bin]# ll
總用量 32
-rwxr-xr-x. 1 root root 1031 4月  30 2015 beeline
drwxr-xr-x. 3 root root 4096 10月 17 12:38 ext
-rwxr-xr-x. 1 root root 7844 5月   8 2015 hive
-rwxr-xr-x. 1 root root 1900 4月  30 2015 hive-config.sh
-rwxr-xr-x. 1 root root  885 4月  30 2015 hiveserver2
-rwxr-xr-x. 1 root root  832 4月  30 2015 metatool
-rwxr-xr-x. 1 root root  884 4月  30 2015 schematool
[[email protected] bin]# ./hive
hive>

 

但是介面並不好看，而hive也可以釋出為服務（Hive thrift服務），然後可以使用hive自帶的beeline去連線。如下

視窗1，開啟服務

[[email protected] ~]# cd apps/hive/bin
[[email protected] bin]# ll
總用量 32
-rwxr-xr-x. 1 root root 1031 4月  30 2015 beeline
drwxr-xr-x. 3 root root 4096 10月 17 12:38 ext
-rwxr-xr-x. 1 root root 7844 5月   8 2015 hive
-rwxr-xr-x. 1 root root 1900 4月  30 2015 hive-config.sh
-rwxr-xr-x. 1 root root  885 4月  30 2015 hiveserver2
-rwxr-xr-x. 1 root root  832 4月  30 2015 metatool
-rwxr-xr-x. 1 root root  884 4月  30 2015 schematool
[[email protected] bin]# ./hiveserver2

視窗2，作為客戶端連線

[[email protected] bin]# ./beeline 
Beeline version 1.2.1 by Apache Hive
beeline> [[email protected] bin]# 
[[email protected] bin]# ./beeline 
Beeline version 1.2.1 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000
Connecting to jdbc:hive2://localhost:10000
Enter username for jdbc:hive2://localhost:10000: root
Enter password for jdbc:hive2://localhost:10000: ******
Connected to: Apache Hive (version 1.2.1)
Driver: Hive JDBC (version 1.2.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://localhost:10000>

可能出現錯誤

Error: Failed to open new session: java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=EXECUTE, inode="/tmp":hadoop3:supergroup:drwx------


./hadoop dfs -chmod -R 777 /tmp

1、檢視資料庫

0: jdbc:hive2://localhost:10000> show databases;
+----------------+--+
| database_name  |
+----------------+--+
| default        |
+----------------+--+
1 row selected (1.456 seconds)

2、建立並使用資料庫，查看錶

0: jdbc:hive2://localhost:10000> create database myhive;
No rows affected (0.576 seconds)
0: jdbc:hive2://localhost:10000> show databases;
+----------------+--+
| database_name  |
+----------------+--+
| default        |
| myhive         |
+----------------+--+
0: jdbc:hive2://localhost:10000> use myhive;
No rows affected (0.265 seconds)
0: jdbc:hive2://localhost:10000> show tables;
+-----------+--+
| tab_name  |
+-----------+--+
+-----------+--+

3、查看錶資訊

結果肯定都是null，因為建立表的時候根本沒指定根據”,”來切分，而檔案中的欄位分隔用了逗號。那麼刪除該表，重新上傳檔案，重新建表語句如下

0: jdbc:hive2://localhost:10000> drop table emp;
No rows affected (1.122 seconds)
0: jdbc:hive2://localhost:10000> show tables;
+-----------+--+
| tab_name  |
+-----------+--+
+-----------+--+
0: jdbc:hive2://localhost:10000> create table emp(id int,name string)
0: jdbc:hive2://localhost:10000> row format delimited
0: jdbc:hive2://localhost:10000> fields terminated by ',';
No rows affected (0.265 seconds)
0: jdbc:hive2://localhost:10000> 

[[email protected] ~]# hadoop fs -put sz.data /user/hive/warehouse/myhive.db/emp
0: jdbc:hive2://localhost:10000> select * from emp;
+---------+-----------+--+
| emp.id  | emp.name  |
+---------+-----------+--+
| 1       | zhangsan  |
| 2       | lisi      |
| 3       | wangwu    |
| 4       | furong    |
| 5       | fengjie   |
+---------+-----------+--+

6、條件查詢

0: jdbc:hive2://localhost:10000> select id,name from emp where id>2 order by id desc;
INFO  : Number of reduce tasks determined at compile time: 1
INFO  : In order to change the average load for a reducer (in bytes):
INFO  :   set hive.exec.reducers.bytes.per.reducer=<number>
INFO  : In order to limit the maximum number of reducers:
INFO  :   set hive.exec.reducers.max=<number>
INFO  : In order to set a constant number of reducers:
INFO  :   set mapreduce.job.reduces=<number>
INFO  : number of splits:1
INFO  : Submitting tokens for job: job_1508216103995_0004
INFO  : The url to track the job: http://mini1:8088/proxy/application_1508216103995_0004/
INFO  : Starting Job = job_1508216103995_0004, Tracking URL = http://mini1:8088/proxy/application_1508216103995_0004/
INFO  : Kill Command = /root/apps/hadoop-2.6.4/bin/hadoop job  -kill job_1508216103995_0004
INFO  : Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
INFO  : 2017-10-18 00:35:39,865 Stage-1 map = 0%,  reduce = 0%
INFO  : 2017-10-18 00:35:46,275 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.33 sec
INFO  : 2017-10-18 00:35:51,487 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 2.34 sec
INFO  : MapReduce Total cumulative CPU time: 2 seconds 340 msec
INFO  : Ended Job = job_1508216103995_0004
+-----+----------+--+
| id  |   name   |
+-----+----------+--+
| 5   | fengjie  |
| 4   | furong   |
| 3   | wangwu   |
+-----+----------+--+
3 rows selected (18.96 seconds)

看到這就能明白了，寫的sql最後是被解析為了mapreduce程式放到yarn上來跑的，hive其實是提供了眾多的mapreduce模板。

7、建立外部表

0: jdbc:hive2://localhost:10000> create external table emp2(id int,name string)
0: jdbc:hive2://localhost:10000> row format delimited fields terminated by ','//指定逗號分割
0: jdbc:hive2://localhost:10000> stored as textfile//文字儲存方式
0: jdbc:hive2://localhost:10000> location '/company';
No rows affected (0.101 seconds)//儲存在/company目錄下

8、載入檔案資訊到表中
前面使用了hadoop命令將檔案上傳到了表對應的目錄下，但是也可以在命令列下直接匯入檔案資訊

0: jdbc:hive2://localhost:10000> load data local inpath '/root/sz.data' into table emp2;(也可以用hadoo直接上傳)
INFO  : Loading data to table myhive.emp2 from file:/root/sz.data
INFO  : Table myhive.emp2 stats: [numFiles=0, totalSize=0]
No rows affected (0.414 seconds)
0: jdbc:hive2://localhost:10000> select * from emp2;
+----------+------------+--+
| emp2.id  | emp2.name  |
+----------+------------+--+
| 1        | zhangsan   |
| 2        | lisi       |
| 3        | wangwu     |
| 4        | furong     |
| 5        | fengjie    |
+----------+------------+--+

9、表分割槽，分割槽欄位為school,匯入資料到2個不同的分割槽中

0: jdbc:hive2://localhost:10000> create table stu(id int,name string)
0: jdbc:hive2://localhost:10000> partitioned by(school string)
0: jdbc:hive2://localhost:10000> row format delimited fields terminated by ',';
No rows affected (0.319 seconds)
0: jdbc:hive2://localhost:10000> show tables;
+-----------+--+
| tab_name  |
+-----------+--+
| emp       |
| emp2      |
| stu       |
| t_sz_ext  |
+-----------+--+
0: jdbc:hive2://localhost:10000> load data local inpath '/root/sz.data' into table stu partition(school='scu');
INFO  : Loading data to table myhive.stu partition (school=scu) from file:/root/sz.data
INFO  : Partition myhive.stu{school=scu} stats: [numFiles=1, numRows=0, totalSize=46, rawDataSize=0]
No rows affected (0.607 seconds)
0: jdbc:hive2://localhost:10000> select * from stu;
+---------+-----------+-------------+--+
| stu.id  | stu.name  | stu.school  |
+---------+-----------+-------------+--+
| 1       | zhangsan  | scu         |
| 2       | lisi      | scu         |
| 3       | wangwu    | scu         |
| 4       | furong    | scu         |
| 5       | fengjie   | scu         |
+---------+-----------+-------------+--+
5 rows selected (0.286 seconds)
0: jdbc:hive2://localhost:10000> load data local inpath '/root/sz2.data' into table stu partition(school='hfut');
INFO  : Loading data to table myhive.stu partition (school=hfut) from file:/root/sz2.data
INFO  : Partition myhive.stu{school=hfut} stats: [numFiles=1, numRows=0, totalSize=46, rawDataSize=0]
No rows affected (0.671 seconds)
0: jdbc:hive2://localhost:10000> select * from stu;
+---------+-----------+-------------+--+
| stu.id  | stu.name  | stu.school  |
+---------+-----------+-------------+--+
| 1       | Tom       | hfut        |
| 2       | Jack      | hfut        |
| 3       | Lucy      | hfut        |
| 4       | Kitty     | hfut        |
| 5       | Lucene    | hfut        |
| 6       | Sakura    | hfut        |
| 1       | zhangsan  | scu         |
| 2       | lisi      | scu         |
| 3       | wangwu    | scu         |
| 4       | furong    | scu         |
| 5       | fengjie   | scu         |
+---------+-----------+-------------+--+

注：hive是不遵循三正規化的，別去考慮主鍵了。

10、新增分割槽

0: jdbc:hive2://localhost:10000> alter table stu add partition (school='Tokyo');

為了更直觀，去頁面檢視

 

相關推薦

大資料11-Hive執行機制與使用

hive介紹 hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行。其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應

Hive執行機制與使用

hive介紹 hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行。其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計

大資料之Hive概況與部署

Hive產生背景 （1）MapReduce程式設計不方便：開發、測試都不方便，需求變更 （2）傳統關係型資料庫人員的需要，資料庫存不下了，同時避開資料儲存在hdfs時上不得不用MapReduce來進行計算的麻煩，產生既能儲存資料又能處理分析資料的工具，就像使用s

大資料開發----Hive（入門篇）

前言 本篇介紹Hive的一些常用知識。要說和網上其他manual的區別，那就是這是筆者寫的一套成體系的文件，不是隨心所欲而作。 本文所用的環境為： CentOS 6.5 64位 Hive 2.1.1 Java 1.8 Hive Arc

大資料 Hadoop介紹、配置與使用

前言 Hadoop是Apache軟體基金會旗下的一個開源分散式計算平臺。 大資料 基礎概念 大資料 Centos基礎 大資料 Shell基礎 大資料 ZooKeeper 大資料 Hadoop介紹、配置與使用 大資料 Hadoop之HDFS

【大資料】Hive作者肯定進修過藍翔挖掘機

正經標題應該是：解決hive初始化mysql資料庫錯誤的一種方式   Hive安裝包下載地址： https://mirrors.tuna.tsinghua.edu.cn/apache/hive/   事情原因是這樣的，我按照書上的步驟一步一步走，到了該用hiv

R語言大資料分析工具的安裝與應用

實驗名稱 R語言大資料分析工具的安裝與應用 專  業 軟體工程 姓    名      學  

PHP 底層的執行機制與原理解析（轉載）

我的另一篇文章：PHP底層工作原理  兩篇結合起來看，會更加好理解。 由於本人資料結構方面知識，淺薄，後面的尚未研究 關於 hash table ，這有個文章可以學習：HashTable原理和底層實現 關於 zval 可以研讀這個：入理解PHP7核心之zval  

大資料元件服務的啟動與關閉命令

本文主要整理了大資料元件服務的啟動與關閉命令，主要包括Hadoop,Spark,HBase,Hive,Zookeeper,Storm,Kafka,Flume,Solr,ElasticSearch。  1、Hadoop叢集 （1）啟動方式切換到主節點的hadoop安裝目錄下的sbin目錄

https的執行機制與配置

超文字傳輸安全協議（縮寫：HTTPS，英語：Hypertext Transfer Protocol Secure）是超文字傳輸協議和SSL/TLS的組合，用以提供加密通訊及對網路伺服器身份的鑑定。 （1） 所有資訊都是加密傳播，第三方無法竊聽。 （2） 具有校驗機制，一旦被篡改，通訊雙方會立刻發現。 （

Zookeeper執行機制與選舉機制

Zookeeper的執行機制 1.在伺服器開啟後向zookeeper註冊資訊 2.通過process來註冊監聽，獲取伺服器列表 3.此時如果有伺服器下線 4.下線通知 5.重新通過process來註冊監聽，獲取伺服器列表 Zookeeper的選舉機制 1.叢集

大資料平臺hive原生搭建教程

環境準備 centos 7.1系統 需要三臺雲主機： master（8） 作為 client 客戶端 slave1（9） 作為 hive server 伺服器端 slave2（10） 安裝 mysql server 安裝包使用的是官網下載的 將hive上傳到master ，mys

學習筆記:從0開始學習大資料-11. sqoop安裝部署

環境：centos7 已安裝java和hadoop 1.下載 wget http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.16.0.tar.gz 2.解壓 tar -zxvf sqoop2-1.99.5-cdh5.16.0.t

學習筆記:從0開始學習大資料-10. hive安裝部署

1. 下載 wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz 2.解壓 tar -zxvf hive-1.1.0-cdh5.15.1.tar.gz 3.  hive的元資料（如表名，列

c++11多執行緒與執行緒池

最近需要開發一個高效能運算庫，涉及到c++多執行緒的應用，上次做類似的事情已經是4年多以前了，印象中還頗有些麻煩。悔當初做了就算了，也沒想著留點記錄什麼的。這次又研究了一番，發現用上c++11特性之後，現在已經比較簡單了，在此記錄一下。   最簡單的多執行緒情況，不涉及公共變數，各個執行緒之間獨

#大資料Hadoop啟動執行遇到的問題#

大資料hadoop啟動與執行過程中遇到的兩個問題 這次作業遇到的問題主要有兩個問題: 1.首先在匯入映象的時候，出現問題，因為我用的是vmware軟體，匯入的時候提示錯誤，相容問題還有許可權問題，相容問題重新點選一下就可以解決，許可權問題需要在-我的電腦-管

python大佬養成計劃----執行緒與多執行緒

建立執行緒 一個程序必有一個執行緒，程序也可由多個執行緒組成，但有一個執行緒為主執行緒。若一個任務需要花10Mins，當只有一個執行緒時，花費10Mins,當有十個執行緒時，可能就花費1Mins,所以多執行緒可以提升任務執行時間，提高工作效率。python裡與執行緒

大資料Linux命令之許可權與修改許可權

一、許可權 許可權是作業系統用來限制資源訪問的機制，許可權一般分為讀、寫、執行。 系統中每個檔案都擁有特定的許可權、所屬使用者及所屬組，通過這樣的機制來限制哪些使用者、哪些組可以對特定的檔案進行什麼樣的操作。 每個程序都是以某個使用者的身份執行，所以程序的許

大資料利用hive on spark程式操作hive

hive on spark 作者：小濤 Hive是資料倉庫，他是處理有結構化的資料，當資料沒有結構化時hive就無法匯入資料，而它也是遠行在mr程式之上

大資料8-Hive簡介和叢集搭建

1.Hive特點：      1.1可擴充套件性 ：Hive可以自由的擴充套件叢集的規模，一般情況下不需要重啟服務；      1.2延展性：Hive支援使用者自定義函式，使用者可以根據自己的需求來實現自己的函式；      1.3容錯：良好的容錯性，節點出現問題，SQ