2. 程式人生 > >hive的三種安裝方式

hive的三種安裝方式

阿新 • • 發佈：2019-02-18

Hive的meta資料支援以下三種儲存方式，其中兩種屬於本地儲存，一種為遠端儲存。遠端儲存比較適合生產環境。Hive官方wiki詳細介紹了這三種方式，連結為：Hive Metastore。

一、本地derby

這種方式是最簡單的儲存方式，只需要在hive-site.xml做如下配置便可

[html] view plaincopyprint?
  1. <?xmlversion="1.0"?>
  2. <?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. <configuration
    >
  4. <property>
  5.   <name>javax.jdo.option.ConnectionURL</name>
  6.   <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
  7. </property>
  8. <property>
  9.   <name>javax.jdo.option.ConnectionDriverName</name>
  10.   <value>org.apache.derby.jdbc.EmbeddedDriver
    </value>
  11. </property>
  12. <property>
  13.   <name>hive.metastore.local</name>
  14.   <value>true</value>
  15. </property>
  16. <property>
  17.   <name>hive.metastore.warehouse.dir</name>
  18.   <value>/user/hive/warehouse</value>
  19. </property>
  20. <property
    >
  21.   <name>hive.metastore.warehouse.dir</name>
  22.   <value>/user/hive/warehouse</value>
  23. </property>
  24. </configuration>

注：使用derby儲存方式時，執行hive會在當前目錄生成一個derby檔案和一個metastore_db目錄。這種儲存方式的弊端是在同一個目錄下同時只能有一個hive客戶端能使用資料庫，否則會提示如下錯誤
[html] view plaincopyprint?
  1. hive> show tables;  
  2. FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.  
  3. NestedThrowables:  
  4. java.sql.SQLException: Failed to start database 'metastore_db', see the next exception for details.  
  5. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask  

二、本地mysql

這種儲存方式需要在本地執行一個mysql伺服器，並作如下配置（下面兩種使用mysql的方式，需要將mysql的jar包拷貝到$HIVE_HOME/lib目錄下）。 [html] view plaincopyprint?
  1. <?xmlversion="1.0"?>
  2. <?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. <configuration>
  4. <property>
  5.   <name>hive.metastore.warehouse.dir</name>
  6.   <value>/user/hive_remote/warehouse</value>
  7. </property>
  8. <property>
  9.   <name>hive.metastore.local</name>
  10.   <value>true</value>
  11. </property>
  12. <property>
  13.   <name>javax.jdo.option.ConnectionURL</name>
  14.   <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>
  15. </property>
  16. <property>
  17.   <name>javax.jdo.option.ConnectionDriverName</name>
  18.   <value>com.mysql.jdbc.Driver</value>
  19. </property>
  20. <property>
  21.   <name>javax.jdo.option.ConnectionUserName</name>
  22.   <value>hive</value>
  23. </property>
  24. <property>
  25.   <

    相關推薦

    hive的三種安裝方式

    Hive的meta資料支援以下三種儲存方式，其中兩種屬於本地儲存，一種為遠端儲存。遠端儲存比較適合生產環境。Hive官方wiki詳細介紹了這三種方式，連結為：Hive Metastore。 一、本地derby 這種方式是最簡單的儲存方式，只需要在hive-

    thinkPHP 5.0 框架 ——三種安裝方式

    標題 ##在使用thinkPHP 5.0框架開發的時候就需要安裝，在安裝的時候就會有三種的安裝方式，本次主要講解composer安裝方式以及Git安裝方式。 一：第一種方式就是使用原始碼包安裝（這個安裝方式在thinkPHP5.0之後可能不會再支援，所以不對這

    大資料（二十三）Hive【Hive三種啟動方式 、 HIVE Server2詳解 、 jdbc連結HIVE】

    一：Hive的三種啟動方式 1， hive  命令列模式         進入hive安裝目錄，輸入bin/hive的執行程式，或者輸入 hive –service cli         用於linux平臺命令列查詢，查詢語句基本跟mysql查詢語句類似  2， hive

    最新版本Mysql 5.7.19三種安裝方式手冊

    ** 環境準備 作業系統：CentOS 軟體：mysql-5.7.19 ** ** 一、RPM 方式安裝 downloads 選擇MySQL Community Edition (GPL)>>Co

    linux下hive三種方式的安裝

    本次以apache-hive-1.2.1-bin.tar.gz為例伺服器node5192.168.13.135伺服器node6192.168.13.136伺服器node7192.168.13.137伺服器node8192.168.13.138一、配置本地內建derby模式1.

    Hive metastore三種配置方式

    org erro connect 其中 art ont failed log hive Hive的meta數據支持以下三種存儲方式，其中兩種屬於本地存儲，一種為遠端存儲。遠端存儲比較適合生產環境。Hive官方wiki詳細介紹了這三種方式，鏈接為：Hive Metastore

    Hive學習(一)Hive的三種搭建方式

    Hive三種搭建方式 一、本地模式(derby) 二、基於Mysql的本地模式 三、基於Mysql的遠端模式 1、解壓apache-hive-1.2.1-bin.tar.gz tar -zxvf apache-hi

    Hive的三種Join方式

    Hive中就是把Map，Reduce的Join拿過來，通過SQL來表示。 參考連結：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins Common/Shuffle/Reduce Join Reduce

    Hive之——metastore三種配置方式（轉）

    轉自：https://blog.csdn.net/l1028386804/article/details/51564235   Hive的meta資料支援以下三種儲存方式，其中兩種屬於本地儲存，一種為遠端儲存。遠端儲存比較適合生產環境。Hive官方wiki詳細介紹了這三種方式，連結

    Hive三種不同的資料匯出的方式

    Hive三種不同的資料匯出的方式 1、匯出到本地檔案系統 insert overwrite local directory '/home/anjianbing/soft/export_data/app_order_city_d' row format delimited fiel

    三種安裝軟體方式

    原始碼包安裝方式 1、找到相應的軟體包，比如soft.tar.bz2，下載到本機某個目錄； 2、開啟一個終端，su -成root使用者； 3、cd soft.tar.bz2所在的目錄； 4、tar -xjvf soft.tar.bz2 //一般會生

    簡述Hive的三種啟動方式及內建服務

    一 Thrift服務 通過hiveServer/hiveServer2啟動Thrift服務，客戶端連線Thrift服務訪問Hive資料庫（JDBC，JAVA等連線Thrift服務訪問Hive）。 <property> <name>hive.server

    Hive簡介及元資料儲存（Metastore的三種配置方式）

    一 Hive介紹 Hive是基於Hadoop的一個數據倉庫，Hive能夠將SQL語句轉化為MapReduce任務進行執行。 　　Hive架構圖分為以下四部分： 　　 1、Hive有三個使用者介面： a. 命令列介面（CLI）:以命令列的形式輸入SQL語句進行資料資料

    hive 三種去重方式

    在hive資料清洗這裡總結三種常用的去重方式 1.distinct 2.group by 3.row_number() 例項： SELECT tel, link_name, certificate_no, certificate_type, modify_time   FR

    Hive學習 （三）Hive的連線三種連線方式

    目錄一、CLI連線二、HiveServer2/beeline    1、修改 hadoop 叢集的 hdfs-site.xml 配置檔案    2、修改 hadoop 叢集的 core-site.xml 配置檔案三、Web UI正文：一、CLI連線進入到 bin 目錄下，直接

    redis的安裝及三種啟動方式

    Part I. 直接啟動 下載 官網下載 安裝 tar zxvf redis-2.8.9.tar.gz cd redis-2.8.9 #直接make 編譯 make #可使用root使用者執行`make install`，將可執行檔案拷貝到/usr/local/

    hive中metastore三種儲存方式

    hive中metastore儲存方式：      巢狀方式： 使用內建derby資料庫，同一時間僅限一個hive cli環境登入       本地mysql儲存方式： 採取外部mysql資料庫伺服器，支援多使用者連線模式，通過設定hive.metastore.local 為

    hive 三種方式區別和搭建

    一、安裝模式介紹：     Hive官網上介紹了Hive的3種安裝方式，分別對應不同的應用場景。     1、內嵌模式（元資料保村在內嵌的derby種，允許一個會話連結，嘗試多個會話連結時會報錯）     2、本地模式（本地安裝mysql 替代derby儲存元資料）   

    Hive的Metastore三種配置方式分析

      Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供類SQL查詢功能。而metastore是Hive元資料的集中存放地。metastore元資料儲存主要體現

    C++函數的三種傳遞方式為：值傳遞、指針傳遞和引用傳遞

    否則 方式 指針 指向 out 數據結構 logs 形參 使用 C++函數的三種傳遞方式為：值傳遞、指針傳遞和引用傳遞 值傳遞： void fun(int x){ x += 5; //修改的只是y在棧中copy x，x只是y的一個副本，在內存中重新開辟的一塊臨時空間把y