1. 程式人生 > >Hive內部表、外部表、分割槽表介紹

Hive內部表、外部表、分割槽表介紹

1.內部表:
hive>create table tt (name string , age string);
//此時會在hdfs的/user/hive/warehouse/目錄下新建一個tt表的資料存放地
hive>load data inpath '/input/data' into table tt; 
//接著上傳hdfs資料到表中,此時會將hdfs上的/input/data目錄下的資料轉移到/user/hive/warehouse/下,而/input/data目錄下的資料就沒有了
注意:刪除tt表後,會將tt表的資料和元資料資訊全部刪除,即/user/hive/warehouse/下沒有資料。
特別注意:load data會轉移資料,也就是/input/data目錄下的資料被轉移就沒有了。

2.外部表:
hive>create external table et (name string , age string);
//在hdfs的/user/hive/warehouse/下面新建一個表目錄et
hive>load data inpath '/input/edata' into table et;  
//載入hdfs資料,此時會把hdfs上/input/edata/下的資料轉到/user/hive/warehouse/et下
刪除這個外部表後,/user/hive/warehouse/et下的資料不會被刪除,但是/input/edata/下的資料在上一步load後就已經沒有了。資料的位置發生變化,本質是load一個hdfs上的資料時會轉移資料。

3. 其他:
(1)加上location用法一樣,只不過表目錄的位置不同而已。
(2)加上partition用法也一樣,只不過表目錄下會有分割槽目錄而已。
(3)load data local inpath直接把本地檔案系統的資料上傳到hdfs上,有location上傳到location指定的位置上,沒有的話上傳到hive預設配置的資料倉庫中。

相關推薦

Linux中 別名內部命令外部命令hash緩存 系統調用時的優先級比較

別名、內部命令、外部命令、hash緩存表 Linux系統中別名、內部命令、外部命令、hash緩存表 優先級優先級比較 在我們平時使用Linux系統執行各種命令時,會發現命令在執行過程中會區分哪個優先執行,哪個其次執行,這裏我們來做個試驗證明一下。 別名:用a

SQL Server基礎(二)資料庫物件:檢視同義詞可程式設計性外部資源Service Broker儲存安全性 分別表示什麼意思

一、簡介        其幾天弄了個數據表,知道了資料表大概是怎麼回事。今天打算學習學習資料庫的儲存過程,於是發現, 儲存過程只是資料庫物件的一部分。我這個人比較喜歡從全域性認識一個事物,索性我就把資料物件全部羅列出來。 二、資料庫物件

jQuery DOM 操作(基本操作內部插入外部插入包裹操作)

1 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> 2 <html> 3 <head> 4 <meta http-equiv="Content-Type" content=

匯入作業資料集total.csv到Hive中,用日期做為分割槽分割槽ID

hive> select * from t_reverse_repurchase where tradedate=='20130723' and securityid='204001' limit 10;OK145651  204001  2.65    104300  2.66    100     

變數的儲存型別外部變數static內部變數講解

  全域性變數(外部變數)的說明之前再冠以static 就構成了靜態的全域性變數。全域性變數本身就是靜態儲存方式,靜態全域性變數當然也是靜態儲存方式。 這兩者在儲存方式上並無不同。這兩者的區別雖在於非靜態全域性變數的作用域是整個源程式,當一個源程式由多個原始檔組成時,非靜態的全域性變數在各個原始檔中都是有效的

NSIS的基本語法---邏輯字串外部呼叫ini檔案

一、INI檔案操作 1、ReadINIStr(INI檔案) 作用:從ini檔案的[section_name]中的entry_name讀取並將值儲存到使用者變數$ x中。將設定錯誤標誌,如果未找到該條目,則將$ x分配給空字串。 ReadINIStr $0 $INSTDIR\winamp.

空間 段 區 塊 分割槽的關係

        首先明確:表空間,段,區,塊,都是oracle的邏輯結構。         我這裡先說一下它們之間的關係:表空間,段,區,塊的邏輯層次是越來越低的。 表空間包含一個或多個段,一個段包含一個或多個區,一個區包含一個或多個塊。 一個段只能屬於一個表空間。

詳解億級大資料的幾種建立分割槽的方式

自5.1開始對分割槽(Partition)有支援,一張表最多1024個分割槽 查詢分割槽資料: SELECT * from table PARTITION(p0) 水平分割槽(根據列屬性按行分) 舉個簡單例子:一個包含十年發票記錄的表可以被分割槽為十個不同的分割槽,每個分割槽包含的是其中一年的記錄。

建立分割槽+分割槽+分割槽的分類+建立範圍分割槽+查詢分割槽裡面的資料

分割槽 1適用於處理大資料量,如TB級的 2為了提高巨型資料庫的讀寫和查詢速度 3使用者可以在建立表是應用分割槽技術,將資料以分割槽形式儲存 4分割槽是指將巨型的表或者索引分隔成相對較小的,可獨

SQL Server 中的分割槽(一):什麼是分割槽?為什麼要用分割槽?如何建立分割槽

如果你的資料庫中某一個表中的資料滿足以下幾個條件,那麼你就要考慮建立分割槽表了。     1、資料庫中某個表中的資料很多。很多是什麼概念?一萬條?兩萬條?還是十萬條、一百萬條?這個,我覺得是仁者見仁、智者見智的問題。當然資料表中的資料多到查詢時明顯感覺到資料很慢了,那麼,

Hive內部外部分割槽以及外部分割槽建立以及匯入資料例項講解

源資料格式: [[email protected]144113 zhang_dd_edw]$ more data.txt 25502#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-

Hive概述內部外部分割槽的操作

Hive概述、內部表、外部表、分割槽表的操作 一、Hive概述   Hive是基於Hadoop的一個數據倉庫工具。可以將結構化的資料檔案對映為一張資料庫表,並提供完整的sql查詢功能,可以將sql語句轉換為MapReduce任務進行執行。   Hive是建立在 Hadoop 上的資料倉庫

hive的三板斧:內部外部分割槽和分桶以及序列化/反序列化(SerDe)

hive的三板斧:內部表和外部表、分割槽和分桶以及序列化/反序列化(SerDe)   Hive是Hadoop生態圈中實現資料倉庫的一項技術。雖然Hadoop和HDFS的設計侷限了Hive所能勝任的工作,但是Hive仍然是目前網際網路中最適合資料倉庫的應用技術。 不論從“品相還是舉止

一起學Hive——建立內部外部分割槽和分桶及匯入資料

Hive本身並不儲存資料,而是將資料儲存在Hadoop的HDFS中,表名對應HDFS中的目錄/檔案。根據資料的不同儲存方式,將Hive表分為外部表、內部表、分割槽表和分桶表四種資料模型。每種資料模型各有優缺點。通過create user命令建立user表時,會在HDFS中生成一個user目錄/檔案。 外部表

Hive內部外部分割槽介紹

1.內部表: hive>create table tt (name string , age string); //此時會在hdfs的/user/hive/warehouse/目錄下新建一個tt表的資料存放地 hive>load data inpath '/input/data' into tab

hive 分割槽外部

1:分割槽表      圖:建立分割槽表       圖:匯入資料         圖:在HDFS的顯示資訊 分割槽欄位就是一個資料夾的標識      圖:在多列上建立分割槽       圖:匯入資料                  圖:在多列上建立分割槽後

大資料(二十):hive分割槽修改表語句與資料的匯入匯出

一、分割槽表         分割槽表實際上就是對應一個HDFS檔案系統上的一個獨立的資料夾,該資料夾下是該分割槽所有的資料檔案,hive中的分割槽就是分目錄,把一個大的資料集更具業務需求分割成小的資料集。在查詢時通過where子句中的

CSS學習筆記-【內聯樣式內部樣式外部樣式】 AND 2018-11-21(21:18)

一、內聯樣式 1.在DIV標籤中新增內聯樣式。 新增style屬性 。 在style中屬性和值得表示方法為: style=“屬性:值;屬性:值”; 例如: <div style="Color: red;border: 1px dashed black" >內聯樣式表</

Hive(分割槽分割槽)例項

USE ODS; DROP TABLE IF EXISTS s01_t_sys_file; CREATE TABLE s01_t_sys_file (   id                   STRING COMMENT '自增長列id',   biz_id             STRING CO

Hive資料載入(內部外部分割槽

內表資料載入 建立表時載入 create table newtable as select col1,col2 from oldtable hive> create table te