Hive的DDL資料定義(一)資料庫操作以及建立表
建立資料庫
建立一個數據庫，資料庫在HDFS上的預設儲存路徑是/user/hive/warehouse/*.db。
hive (default)> create database db_hive;
避免要建立的資料庫已經存在錯誤，增加if not exists判斷。（標準寫法）
hive> create database db_hive; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Database db_hive already exists
修改資料庫
使用者可以使用ALTER DATABASE命令為某個資料庫的DBPROPERTIES設定鍵-值對屬性值，來描述這個資料庫的屬性資訊。資料庫的其他元資料資訊都是不可更改的，包括資料庫名和資料庫所在的目錄位置。
hive (default)> alter database db_hive set dbproperties('createtime'='20170830');
在mysql中檢視修改結果
hive (default)> desc database hive; OK db_name comment location owner_name owner_type parameters hive hdfs://zyd/user/hive/warehouse/hive.db root USER Time taken: 2.98 seconds, Fetched: 1 row(s)
查詢資料庫
顯示資料庫
hive> show databases;
過濾顯示查詢的資料庫
hive> show databases like 'db_hive*';
檢視資料庫詳情
顯示資料庫資訊
hive (default)> desc database hive;
顯示資料庫詳細資訊，extended
hive (default)> desc database extended hive; OK db_name comment location owner_name owner_type parameters hive hdfs://zyd/user/hive/warehouse/hive.db root USER Time taken: 2.945 seconds, Fetched: 1 row(s)
使用資料庫
hive (default)> use hive;
刪除資料庫
刪除空資料庫
hive>drop database hive2;
如果刪除的資料庫不存在，最好採用 if exists判斷資料庫是否存在
hive> drop database if exists db_hive2;
如果資料庫不為空，可以採用cascade命令，強制刪除
建立表
建表語法
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], …)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], …)]
[CLUSTERED BY (col_name, col_name, …)
[SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]
欄位說明
（1）CREATE TABLE 建立一個指定名字的表。如果相同名字的表已經存在，則丟擲異常；使用者可以用 IF NOT EXISTS 選項來忽略這個異常。
（2）EXTERNAL關鍵字可以讓使用者建立一個外部表，在建表的同時指定一個指向實際資料的路徑（LOCATION），Hive建立內部表時，會將資料移動到資料倉庫指向的路徑；若建立外部表，僅記錄資料所在的路徑，不對資料的位置做任何改變。在刪除表的時候，內部表的元資料和資料會被一起刪除，而外部表只刪除元資料，不刪除資料。
（3）COMMENT：為表和列添加註釋。
（4）PARTITIONED BY建立分割槽表
（5）CLUSTERED BY建立分桶表
（6）SORTED BY不常用
（7）ROW FORMAT
DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]
[MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
| SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value,
property_name=property_value, …)]
使用者在建表的時候可以自定義SerDe或者使用自帶的SerDe。如果沒有指定ROW FORMAT 或者ROW FORMAT DELIMITED，將會使用自帶的SerDe。在建表的時候，使用者還需要為表指定列，使用者在指定表的列的同時也會指定自定義的SerDe，Hive通過SerDe確定表的具體的列的資料。
（8）STORED AS 指定儲存檔案型別
常用的儲存檔案型別：SEQUENCEFILE（二進位制序列檔案）、TEXTFILE（文字）、RCFILE（列式儲存格式檔案）
如果檔案資料是純文字，可以使用STORED AS TEXTFILE。如果資料需要壓縮，使用 STORED AS SEQUENCEFILE。
（9）LOCATION ：指定表在HDFS上的儲存位置
（10）LIKE允許使用者複製現有的表結構，但是不復制資料
管理表
理論
預設建立的表都是所謂的管理表，有時也被稱為內部表。因為這種表，Hive會（或多或少地）控制著資料的生命週期。Hive預設情況下會將這些表的資料儲存在由配置項hive.metastore.warehouse.dir(例如，/user/hive/warehouse)所定義的目錄的子目錄下。 當我們刪除一個管理表時，Hive也會刪除這個表中資料。管理表不適合和其他工具共享資料。
（1）普通建立表
create table if not exists student2(
id int, name string
)
row format delimited fields terminated by '\t'
stored as textfile
location '/user/hive/warehouse/student2';
（2）根據查詢結果建立表（查詢的結果會新增到新建立的表中）
create table if not exists student3
as select id, name from student;
（3）根據已經存在的表結構建立表
create table if not exists student4 like student;
（4）查詢表的型別
hive (hive)> desc formated student;
FAILED: SemanticException [Error 10001]: Table not found formated
hive (hive)> desc formatted student;
OK
col_name data_type comment
# col_name data_type comment
id int
name string
# Detailed Table Information
Database: hive
Owner: root
CreateTime: Thu Nov 15 01:47:07 CST 2018
LastAccessTime: UNKNOWN
Protect Mode: None
Retention: 0
Location: hdfs://zyd/user/hive/warehouse/hive.db/student
Table Type: MANAGED_TABLE
Table Parameters:
transient_lastDdlTime 1542217627
# Storage Information
SerDe Library: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
InputFormat: org.apache.hadoop.mapred.TextInputFormat
OutputFormat: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
Compressed: No
Num Buckets: -1
Bucket Columns: []
Sort Columns: []
Storage Desc Params:
field.delim \t
serialization.format \t
Time taken: 0.284 seconds, Fetched: 28 row(s)
外部表
因為表是外部表，所有Hive並非認為其完全擁有這份資料。刪除該表並不會刪除掉這份資料，不過描述表的元資料資訊會被刪除掉。
使用場景
每天將收集到的網站日誌定期流入HDFS文字檔案。在外部表（原始日誌表）的基礎上做大量的統計分析，用到的中間表、結果表使用內部表儲存，資料通過SELECT+INSERT進入內部表。
案例
分別建立部門和員工外部表，並向表中匯入資料。
原始資料
dept.txt
部門id 部門名稱 關聯表
10 ACCOUNTING 1700
20 RESEARCH 1800
30 SALES 1900
40 OPERATIONS 1700
emp.txt
7369 SMITH CLERK 7902 1980-12-17 800.00 20
7499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 30
7521 WARD SALESMAN 7698 1981-2-22 1250.00 500.00 30
7566 JONES MANAGER 7839 1981-4-2 2975.00 20
7654 MARTIN SALESMAN 7698 1981-9-28 1250.00 1400.00 30
7698 BLAKE MANAGER 7839 1981-5-1 2850.00 30
7782 CLARK MANAGER 7839 1981-6-9 2450.00 10
7788 SCOTT ANALYST 7566 1987-4-19 3000.00 20
7839 KING PRESIDENT 1981-11-17 5000.00 10
7844 TURNER SALESMAN 7698 1981-9-8 1500.00 0.00 30
7876 ADAMS CLERK 7788 1987-5-23 1100.00 20
7900 JAMES CLERK 7698 1981-12-3 950.00 30
7902 FORD ANALYST 7566 1981-12-3 3000.00 20
7934 MILLER CLERK 7782 1982-1-23 1300.00 10
建表語句
建立部分表
create external table dept(
deptno int,
dname string,
loc int
)
row format delimited fields terminated by '\t';
建立員工表
create external table emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
row format delimited fields terminated by '\t';
向外部表中匯入資料
hive (hive)> load data local inpath '/opt/datas/dept.txt' into table dept;
hive (hive)> load data local inpath '/opt/datas/dept.txt' into table dept;
查詢結果
hive (hive)> select * from emp;
hive (hive)> select * from dept