1. 程式人生 > >hive與hbase的聯絡與區別

hive與hbase的聯絡與區別

  1. 兩者分別是什麼?

    Apache Hive是一個構建在Hadoop基礎設施之上的資料倉庫。通過Hive可以使用HQL語言查詢存放在HDFS上的資料。HQL是一種類SQL語言,這種語言最終被轉化為Map/Reduce. 雖然Hive提供了SQL查詢功能,但是Hive不能夠進行互動查詢–因為它只能夠在Haoop上批量的執行Hadoop。

    Apache HBase是一種Key/Value系統,它執行在HDFS之上。和Hive不一樣,Hbase的能夠在它的資料庫上實時執行,而不是執行MapReduce任務。Hive被分割槽為表格,表格又被進一步分割為列簇。列簇必須使用schema定義,列簇將某一型別列集合起來(列不要求schema定義)。例如,“message”列簇可能包含:“to”, ”from” “date”, “subject”, 和”body”. 每一個 key/value對在Hbase中被定義為一個cell,每一個key由row-key,列簇、列和時間戳。在Hbase中,行是key/value對映的集合,這個對映通過row-key來唯一標識。Hbase利用Hadoop的基礎設施,可以利用通用的裝置進行水平的擴充套件。

  2. 兩者的特點

    Hive幫助熟悉SQL的人執行MapReduce任務。因為它是JDBC相容的,同時,它也能夠和現存的SQL工具整合在一起。執行Hive查詢會花費很長時間,因為它會預設遍歷表中所有的資料。雖然有這樣的缺點,一次遍歷的資料量可以通過Hive的分割槽機制來控制。分割槽允許在資料集上執行過濾查詢,這些資料集儲存在不同的資料夾內,查詢的時候只遍歷指定資料夾(分割槽)中的資料。這種機制可以用來,例如,只處理在某一個時間範圍內的檔案,只要這些檔名中包括了時間格式。

    HBase通過儲存key/value來工作。它支援四種主要的操作:增加或者更新行,檢視一個範圍內的cell,獲取指定的行,刪除指定的行、列或者是列的版本。版本資訊用來獲取歷史資料(每一行的歷史資料可以被刪除,然後通過Hbase compactions就可以釋放出空間)。雖然HBase包括表格,但是schema僅僅被表格和列簇所要求,列不需要schema。Hbase的表格包括增加/計數功能。

  3. 限制

    Hive目前不支援更新操作。另外,由於hive在hadoop上執行批量操作,它需要花費很長的時間,通常是幾分鐘到幾個小時才可以獲取到查詢的結果。Hive必須提供預先定義好的schema將檔案和目錄對映到列,並且Hive與ACID不相容。

    HBase查詢是通過特定的語言來編寫的,這種語言需要重新學習。類SQL的功能可以通過Apache Phonenix實現,但這是以必須提供schema為代價的。另外,Hbase也並不是相容所有的ACID特性,雖然它支援某些特性。最後但不是最重要的–為了執行Hbase,Zookeeper是必須的,zookeeper是一個用來進行分散式協調的服務,這些服務包括配置服務,維護元資訊和名稱空間服務。

  4. 應用場景

    Hive適合用來對一段時間內的資料進行分析查詢,例如,用來計算趨勢或者網站的日誌。Hive不應該用來進行實時的查詢。因為它需要很長時間才可以返回結果。

    Hbase非常適合用來進行大資料的實時查詢。Facebook用Hbase進行訊息和實時的分析。它也可以用來統計Facebook的連線數。

  5. 總結

    Hive和Hbase是兩種基於Hadoop的不同技術–Hive是一種類SQL的引擎,並且執行MapReduce任務,Hbase是一種在Hadoop之上的NoSQL 的Key/vale資料庫。當然,這兩種工具是可以同時使用的。就像用Google來搜尋,用FaceBook進行社交一樣,Hive可以用來進行統計查詢,HBase可以用來進行實時查詢,資料也可以從Hive寫到Hbase,設定再從Hbase寫回Hive。

附:
共同點:
1.hbase與hive都是架構在hadoop之上的。都是用hadoop作為底層儲存

區別:

2.Hive是建立在Hadoop之上為了減少MapReduce jobs編寫工作的批處理系統,HBase是為了支援彌補Hadoop對實時操作的缺陷的專案 。
3.想象你在操作RMDB資料庫,如果是全表掃描,就用Hive+Hadoop,如果是索引訪問,就用HBase+Hadoop 。
4.Hive query就是MapReduce jobs可以從5分鐘到數小時不止,HBase是非常高效的,肯定比Hive高效的多。
5.Hive本身不儲存和計算資料,它完全依賴於HDFS和MapReduce,Hive中的表純邏輯。
6.hive借用hadoop的MapReduce來完成一些hive中的命令的執行
7.hbase是物理表,不是邏輯表,提供一個超大的記憶體hash表,搜尋引擎通過它來儲存索引,方便查詢操作。
8.hbase是列儲存。
9.hdfs作為底層儲存,hdfs是存放檔案的系統,而Hbase負責組織檔案。
10.hive需要用到hdfs儲存檔案,需要用到MapReduce計算框架。

相關推薦

hivehbase之間的區別

Hive是什麼? Apache Hive是一個構建於Hadoop(分散式系統基礎架構)頂層的資料倉庫,注意這裡不是資料庫。Hive可以看作是使用者程式設計介面,它本身不儲存和計算資料;它依賴於HDFS(Hadoop分散式檔案系統)和MapReduce(一種程式設計模型,對映

Java基礎:&&&,|| |的聯絡區別(詳解及示例)

&與&& 的聯絡與區別 一、&與&&的相同點   &與&& 都可作為 邏輯“與”的運算,即當運算子兩邊表示式結果都為True時,運算結果返回True;否則當某一表達式為False時,運算結果返回False 。

source export聯絡使用

shell與export命令使用者登入到Linux系統後,系統將啟動一個使用者shell。在這個shell中,可以使用shell命令或宣告變數,也可以建立並執行shell指令碼程式。執行shell指令碼程式時,系統將建立一個子shell。此時,系統中將有兩個shell,一個是

hivehbase聯絡區別

兩者分別是什麼? Apache Hive是一個構建在Hadoop基礎設施之上的資料倉庫。通過Hive可以使用HQL語言查詢存放在HDFS上的資料。HQL是一種類SQL語言,這種語言最終被轉化為Map/Reduce. 雖然Hive提供了SQL查詢功能,但是

hivehbase區別聯絡

問題導讀:hive與hbase的底層儲存是什麼?hive是產生的原因是什麼?habase是為了彌補hadoop的什麼缺陷?共同點:1.hbase與hive都是架構在hadoop之上的。都是用hadoop作為底層儲存區別:2.Hive是建立在Hadoop之上為了減少MapRe

HbaseHive區別Hbase傳統資料庫的區別

HBase 於 Hive 的區別,我們簡單的梳理一下 Hive 和 HBase 的應用場景: Hive 適合用來對一段時間內的資料進行分析查詢,例如,用來計算趨勢或者網站的日誌。Hive 不應該用來進行實時的查詢(Hive 的設計目的,也不是支援實時的查詢)。因為它需要很長時間才可以返回結果;H

Hive HDFS 之間的聯絡Hive 關係型資料庫的區別

1 Hive 與 HDFS 之間的聯絡 (1)hive 是基於 Hadoop 的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供完整的 sql 查詢功能,可以將 sql 語句轉換為 MapReduce 任務進行執行。其優點是學習成本低,可以通

HiveHBase區別

1. 兩者分別是什麼? Apache Hive是一個構建在Hadoop基礎設施之上的資料倉庫。通過Hive可以使用HQL語言查詢存放在HDFS上的資料。HQL是一種類SQL語言,這種語言最終被轉化為Map/Reduce. 雖然Hive提供了SQL查詢功能,但是Hive不

Hadoop生態上幾個技術的關係區別hive、pig、hbase 關係區別

Pig 一種操作hadoop的輕量級指令碼語言,最初又雅虎公司推出,不過現在正在走下坡路了。當初雅虎自己慢慢退出pig的維護之後將它開源貢獻到開源社群由所有愛好者來維護。不過現在還是有些公司在用,不過

注意區分HBaseHive之間的定義和區別

HBase               官方定義:                              Apache HBase™是Hadoop資料庫,是一個分散式,可擴充套件的大資料儲存。                          當您需要對大資料進行隨機

Hive定義、HiveHBase關係、HiveRDBMS的關係、資料庫資料倉庫的區別

1、Hive定義 Hive 是建立在 Hadoop 上的資料倉庫基礎構架。它提供了一系列的工具,可以用來進行資料提取轉化載入(ETL),這是一種可以儲存、查詢和分析儲存在 Hadoop 中的大規模資料的機制。Hive 定義了簡單的類 SQL 查詢語言,稱為 HQL,它允許熟

Hadoop生態中:Hive、Pig、HBase 關係區別

Pig 一種操作hadoop的輕量級指令碼語言,最初又雅虎公司推出,不過現在正在走下坡路了。當初雅虎自己慢慢退出pig的維護之後將它開源貢獻到開源社群由所有愛好者來維護。不過現在還是有些公司在用,不過我認為與其使用pig不如使用hive。:) Pig是一種資料流語言,

Spark訪問HBase關聯的Hive

刪除 sql 也會 影響 ron ble lec lang nbsp 知識點1:創建關聯Hbase的Hive表 知識點2:Spark訪問Hive 知識點3:Spark訪問與Hbase關聯的Hive表 知識點1:創建關聯Hbase的Hive表 兩種方式創建,內部表和外部表

hivehbase

mapreduce UC 位置 轉載 獲得 協作 reduce answer 大數據架構 作者:有點文鏈接:https://www.zhihu.com/question/21677041/answer/185664626來源:知乎著作權歸作者所有。商業轉載請聯系作者獲得授權

hivehbase關聯表的創建,外表方式

內部 col 屬於 cal key IT detail form 內部表 1.在Hive裏面創建一個表: hive> create table wyp(id int, > name string, > age int, > tel

全網最詳細的hive-site.xml配置文件裏如何添加達到HiveHBase的集成,即Hive通過這些參數去連接HBase(圖文詳解)

out 開源精神 http FN image ava ext 必須 .cn   不多說,直接上幹貨!   一般,普通的情況是    <configuration>   <property>   

hive hbase 結合

next pos jobs maven int info XP .com .org 一、hive與hbase的結合Hive會經常和Hbase結合使用,把Hbase作為Hive的存儲路徑,所以Hive整合Hbase尤其重要。使用Hive讀取Hbase中的數據,可以使用HQL語

hashCodeequals的聯絡區別

一、equals方法的作用 1、預設情況(沒有覆蓋equals方法)下equals方法都是呼叫Object類的equals方法,而Object的equals方法主要用於判斷物件的記憶體地址引用是不是同一個地址(是不是同一個物件)。 2 、要是類中覆蓋了equals方法,那麼就要根據具

Linux curlwget 命令的區別聯絡

        當想要直接通過 Linux 命令列下載檔案,馬上就能想到兩個工具:wget 和 curl。它們有很多一樣的特徵,可以很輕易的完成一些相同的任務。      &n

反捲積、上取樣、上池化的聯絡區別

FCN於反捲積(Deconvolution)、上取樣(UpSampling) https://blog.csdn.net/nijiayan123/article/details/79416764 反捲積(Deconvolution)、上取樣(UNSampling)與上池化(UnPooling