2. 程式人生 > >hive(01)、基於hadoop叢集的資料倉庫Hive搭建實踐

hive(01)、基於hadoop叢集的資料倉庫Hive搭建實踐

阿新 • • 發佈：2019-01-01

在前面hadoop的一系列文中，我們對hadoop有了初步的認識和使用，以及可以搭建完整的叢集和開發簡單的MapReduce專案，下面我們開始學習基於Hadoop的資料倉庫Apache Hive，將結構化的資料檔案對映為一張資料庫表，將sql語句轉換為MapReduce任務進行執行的實踐，hadoop系列深入學習的文章還會繼續。

分享之前我還是要推薦下我自己建立的大資料學習資料分享群 232840209，不管你是小白還是大牛，小編我都挺歡迎，今天的原始碼已經上傳到群檔案，不定期分享乾貨，包括我自己整理的一份最新的適合2017年學習的前端資料和零基礎入門教程，歡迎初學和進階中的小夥伴

一、Apache Hive簡介

       hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合資料倉庫的統計分析。

        Hive是建立在 Hadoop 上的資料倉庫基礎構架。它提供了一系列的工具，可以用來進行資料提取轉化載入（ETL），這是一種可以儲存、查詢和分析儲存在 Hadoop 中的大規模資料的機制。Hive 定義了簡單的類 SQL 查詢語言，稱為 HQL，它允許熟悉 SQL 的使用者查詢資料。同時，這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的複雜的分析工作。Hive 沒有專門的資料格式。 Hive 可以很好的工作在 Thrift 之上，控制分隔符，也允許使用者指定資料格式。

二、Apache Hive場景

        Hive 構建在基於靜態批處理的Hadoop 之上，Hadoop 通常都有較高的延遲並且在作業提交和排程的時候需要大量的開銷。因此，Hive 並不能夠在大規模資料集上實現低延遲快速的查詢，例如，Hive 在幾百MB 的資料集上執行查詢一般有分鐘級的時間延遲。因此，

        Hive 並不適合那些需要低延遲的應用，例如，聯機事務處理（OLTP）。Hive 查詢操作過程嚴格遵守Hadoop MapReduce 的作業執行模型，Hive 將使用者的HiveQL 語句通過直譯器轉換為MapReduce 作業提交到Hadoop 叢集上，Hadoop 監控作業執行過程，然後返回作業執行結果給使用者。Hive 並非為聯機事務處理而設計，Hive 並不提供實時的查詢和基於行級的資料更新操作。Hive 的最佳使用場合是大資料集的批處理作業，例如，網路日誌分析。

        Hive 是一種底層封裝了Hadoop 的資料倉庫處理工具，使用類SQL 的HiveQL 語言實現資料查詢，所有Hive 的資料都儲存在Hadoop 相容的檔案系統（例如，Amazon S3、HDFS）中。Hive 在載入資料過程中不會對資料進行任何的修改，只是將資料移動到HDFS 中Hive 設定的目錄下，因此，Hive 不支援對資料的改寫和新增，所有的資料都是在載入的時候確定的。Hive 的設計特點如下：

        1.支援索引，加快資料查詢。

        2.不同的儲存型別，例如，純文字檔案、HBase 中的檔案。

        3.將元資料儲存在關係資料庫中，大大減少了在查詢過程中執行語義檢查的時間。

        4.可以直接使用儲存在Hadoop 檔案系統中的資料。

        5.內建大量使用者函式UDF 來操作時間、字串和其他的資料探勘工具，支援使用者擴充套件UDF 函式來完成內

           置函式無法實現的操作。

        6.類SQL 的查詢方式，將SQL 查詢轉換為MapReduce 的job 在Hadoop叢集上執行。

三、環境準備

        1.hadoop叢集環境

        2.mysql資料庫服務

        3.mysql資料庫驅動

           下載地址：https://dev.mysql.com/downloads/connector/j/

        4.Apache Hive安裝包

           官網地址：https://hive.apache.org/

           下載地址：http://www.apache.org/dyn/closer.cgi/hive/

            

            環境說明：

            和hadoop的主節點公用機器：

            192.168.1.10   Master主節點

            192.168.1.50   Mysql資料庫服務

四、安裝準備

        1.使用FTP上傳Hive程式包到機器上

           

        2.解壓上傳的hive程式包

           

        3.刪除程式包修改目錄名稱

           

五、安裝過程

        1.環境變數配置

           執行vi /etc/profile輸入以下hive的環境變數

           export HIVE_HOME=/home/hive/hive-2.3.2
           export PATH=$HIVE_HOME/bin:$PATH

           

          執行source /etc/profile使其立即生效

       2.修改hive指令碼檔案

          修改 hive-env.sh指令碼檔案

          首先cp hive-env.sh.template  hive-env.sh

           

           然後編輯 vi  hive-env.sh指令碼

           HADOOP_HOME=/home/hadoop/hadoop-2.8.2

           

          修改hive-site.xml 配置檔案

          首先cp hive-default.xml.template hive-site.xml

           

          然後編輯vi hive-site.xml 配置檔案，配置mysql元資料庫資訊

          <configuration>
          <!--源資料儲存資料庫地址-->
          <property>
                   <name>javax.jdo.option.ConnectionURL</name>
                   <value>jdbc:mysql://hdpc05:3306/hive?createDatabaseIfNotExist=true&amp;

                                 characterEncoding=utf8&amp;useSSL=true</value>
                   </property>
          <!--源資料儲存資料庫驅動-->
          <property>
                   <name>javax.jdo.option.ConnectionDriverName</name>
                   <value>com.mysql.jdbc.Driver</value>
          </property>
          <!--源資料儲存資料庫使用者-->
          <property>
                   <name>javax.jdo.option.ConnectionUserName</name>
                   <value>root</value>
          </property>
          <!--源資料儲存資料庫密碼-->
          <property>
                   <name>javax.jdo.option.ConnectionPassword</name>
                   <value>123456</value>
          </property>
          <!--自動建立Schema-->
          <property>
                   <name>datanucleus.autoCreateSchema</name>
                   <value>true</value>
          </property>
          <!--自動建立Tables-->
          <property>
                   <name>datanucleus.autoCreateTables</name>
                   <value>true</value>
          </property>
          <!--自動建立Columns-->
          <property>
                   <name>datanucleus.autoCreateColumns</name>
                   <value>true</value>
          </property>
          <!--設定hive倉庫的HDFS上的位置-->
          <property>
                   <name>hive.metastore.warehouse.dir</name>
                   <value>/user/hive/warehouse</value>
          </property>
          <!--資源臨時檔案存放位置-->
          <property>
                   <name>hive.downloaded.resources.dir</name>
                   <value>/home/hive/hive-2.3.2/tmp/resources</value>
          </property>
          <!--修改日誌位置-->
          <property>
                   <name>hive.exec.local.scratchdir</name>
                   <value>/home/hive/hive-2.3.2/logs/HiveJobsLog</value>
          </property>
          <property>
                   <name>hive.downloaded.resources.dir</name>
                   <value>/home/hive/hive-2.3.2/logs/ResourcesLog</value>
          </property>
          <property>
                   <name>hive.querylog.location</name>
                   <value>/home/hive/hive-2.3.2/logs/HiveRunLog</value>
          </property>
          <property>
                   <name>hive.server2.logging.operation.log.location</name>
                   <value>/home/hive/hive-2.3.2/logs/OpertitionLog</value>
          </property>
          <!--配置HWI介面-->
          <property>  
                   <name>hive.hwi.war.file</name>  
                   <value>/home/hive/hive-2.3.2/lib/hive-hwi-2.1.1.jar</value>  
          </property>  
          <property>  
                    <name>hive.hwi.listen.host</name>  
                    <value>hdpc01</value>  
          </property>  
          <property>  
                   <name>hive.hwi.listen.port</name>  
                   <value>9999</value>  
          </property>
          <!--thrift服務配置-->
          <property>
                   <name>hive.server2.thrift.bind.host</name>
                   <value>hdpc01</value>
           </property>
           <property>
                    <name>hive.server2.thrift.port</name>
                    <value>10000</value>
           </property>
           <property>
                    <name>hive.server2.thrift.http.port</name>
                    <value>10001</value>
           </property>
           <property>
                    <name>hive.server2.thrift.http.path</name>
                    <value>cliservice</value>
           </property>
           <!--HiveServer2的WEBUI-->
           <property>
                    <name>hive.server2.webui.host</name>
                    <value>hdpc01</value>
           </property>
           <property>
                    <name>hive.server2.webui.port</name>
                    <value>10002</value>
           </property>
           <property>
                    <name>hive.scratch.dir.permission</name>
                    <value>755</value>
           </property>
           </configuration>

            

           由於hive是預設將元資料儲存在本地內嵌的 Derby 資料庫中，但是這種做法缺點也很明顯，Derby不

           支援多會話連線，因此本文將選擇mysql作為元資料儲存，以上就是配置Hive使用mysq作為元資料的

        3. 配置日誌地址hive-log4j.properties檔案

            cp hive-log4j.properties.template hive-log4j.properties

            

            然後vi hive-log4j.properties

            將hive.log日誌的位置改為hive下的tmp目錄下：

            property.hive.log.dir = /home/hive/hive-2.3.2/logs/${sys:user.name}

            

                       

        3.上傳資料庫驅動

            將下載的mysql資料庫驅動上傳到hive的lib目錄下面

                  

        4.在主節點hosts檔案中配置元資料主機地址

           192.168.1.50 hdpc05

                                

六、驗證服務

        1.啟動hadoop叢集

           在主節點上啟動hadoop叢集start-all.sh

           

       2.啟動元資料儲存服務mysql服務

           遠端連線我們的mysql主機，然後啟動MYSQL服務(如果設定了自啟動，則此步驟可以忽略)

              

          啟動hive服務端程式hive --service metastore      

          檢視metastore服務是否啟動nohup hive --service metastore > metastore.log 2>&1 &

           

           檢視hive服務是否啟動nohup hive --service hiveserver2 > hiveserver2.log 2>&1 &

       3.啟動hive服務

           

           使用jps -ml檢視啟動的服務程序：

           

      4.驗證hive服務

          在主節點執行hive命令，然後在終端執行show databases;

          

七、問題反饋

       1.使用hive服務時報如下錯誤：

       Thu Jan 04 00:18:55 EST 2018 WARN: Establishing SSL connection without server's identity

       verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements

       SSL connection must be established by default if explicit option isn't set. For compliance with

       existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need

       either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore

       for server certificate verification.

                

       是因為MySQL 5.5.45+, 5.6.26+ and 5.7.6+版本上都要求使用ssl去連線，因此我們需要在連線時使用

       useSSL=true

      2.啟動hive報如下錯誤：

       Exception in thread "main" java.lang.RuntimeException: org.xml.sax.SAXParseException; systemId:

       file:/home/hive/hive-2.3.2/conf/hive-site.xml; lineNumber: 6; columnNumber: 93; The reference to

       entity "useSSL" must end with the ';' delimiter.

       

       因為在xml檔案中 &符號 需要轉義 這個根據轉義規則更改&為&amp;於是便解決了

      3.使用hive連線元資料庫報如下錯誤：

         FAILED:SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:

         java.lang.RuntimeException: Unable to instantiate

         org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

         

         問題找到了，原來Hive2需要hive元資料庫初始化，我們在終端執行：

         schematool -dbType mysql -initSchema

         

八、總結

          本文主要是對hive資料倉庫叢集的搭建實踐，在過程中遇到很多問題，在上名的問題中也都列了出

來，還有問題的解決辦法，hive的Metastore服務配置一般有三種方式，後面我們會有專門的一片文章來說

明這三種方式，本文中使用的是第三種方式，這種方式也是生產環境中的使用方式。

相關推薦

hive(01)、基於hadoop叢集的資料倉庫Hive搭建實踐

在前面hadoop的一系列文中，我們對hadoop有了初步的認識和使用，以及可以搭建完整的叢集和開發簡單的MapReduce專案，下面我們開始學習基於Hadoop的資料倉庫Apache Hive，將結構化的資料檔案對映為一張資料庫表，將sql語句轉換為MapReduce任務

【轉】基於Hadoop的資料倉庫Hive 基礎知識

基於Hadoop的資料倉庫Hive 基礎知識 - miao君的文章 - 知乎 https://zhuanlan.zhihu.com/p/25608332 Hive是基於Hadoop的資料倉庫工具，可對儲存在HDFS上的檔案中的資料集進行資料整理、特殊查詢和分析處理，提供了類

Hive和SparkSQL：基於 Hadoop 的資料倉庫工具

Hive 前言 Hive 是基於 Hadoop 的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供完整的 SQL 查詢功能，將類 SQL 語句轉換為 MapReduce 任務執行。 資料組織格式 下面是直接儲存在HDFS上的資料組織方式 Table：每個表儲存在HDF

CentOS7.0基於hadoop叢集安裝配置Hive

前言 安裝Apache Hive前提是要先安裝hadoop叢集，並且hive只需要在hadoop的namenode節點叢集裡安裝即可（需要再有的namenode上安裝)，可以不在datanode節點的機器上安裝。還需要說明的是，雖然修改配置檔案並不需要把had

大資料環境---資料倉庫(hive+mysql+hadoop)的構建

       前面已經配置好了叢集環境zookeeper，hadoop。 以及分散式資料庫hbase。 這個階段要開始構建資料倉庫的練習。涉及到的軟體： mysql， hive 。        背景： &nbs

Hadoop的I/O操作（壓縮、序列化、基於檔案的資料結構）

一、序列化序列化就是把結構化物件，轉換成位元組流序列或者其他資料傳輸協議以便於永久化儲存和網路傳輸。反序列化是序列化的逆過程，即將收到的位元組流序列、資料傳輸協議等，轉換成結構化的物件。Hadoop中用於多節點間程序通訊的是RPC（遠端過程呼叫）。RPC序列化格式如下：1、格

hadoop元件---資料倉庫(五)---通過JDBC連線hive的thrift或者hiveserver2

我們在上一篇文章中已經學習了Hive的常用命令，但是如果使用其他的語言如何跟Hive進行互動呢。 Thrift簡介 Hive擁有HiveServer(Thrift)或者Hiveserver2元件，提供了JDBC驅動服務，使得我們可以用Java程式碼或者Pyt

#18 資料倉庫(hive)和資料庫(mysql)有什麼區別?

資料倉庫(hive)和資料庫(mysql)的區別 資料庫（DB=Data Base） 資料倉庫（DW=Data Warehouse） (1)資料的型別 資料庫(mysql):線上交易資料 資料倉庫(hive):歷史資料 (2)

構建資料倉庫Hive

    hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計

基於Hadoop大資料分析應用場景與實戰

一、Hadoop的應用業務分析 大資料是不能用傳統的計算技術處理的大型資料集的集合。它不是一個單一的技術或工具，而是涉及的業務和技術的許多領域。 目前主流的三大分散式計算系統分別為:Hadoop、Spark和Strom： Hadoop當前大資料管理標準之一，運用在當前很多商業應用系統。可以輕鬆地整合結構

大資料系列之資料倉庫Hive知識整理（四）Hive的嚴格模式，動態分割槽，排序，事務，調優

1.Hive的嚴格模式Hive提供了一個嚴格模式，可以防止使用者執行那些產生意想不到的不好的影響的查詢。想想看在那麼大的資料量的前提下，如果我們在分割槽上表上使用查詢所有，或是使用了笛卡爾積查詢資料等等不良情況，那得花費我們多少時間和資源成本，Hive在預設情況下會開啟一種模

《Hadoop構建資料倉庫實踐》PDF新書推介，附帶連結地址

第1章 資料倉庫簡介1.1 什麼是資料倉庫 11.1.1 資料倉庫的定義 11.1.2 建立資料倉庫的原因 31.2 操作型系統與分析型系統 51.2.1 操作型系統 51.2.2 分析型系統 81.2.3 操作型系統和分析型系統對比 91.3 資料倉庫架構 101.3.1 基本架構 101.3.2 主要資料

什麼是Hive——大資料倉庫Hive基礎

Hive是什麼： Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映成一張表，並提供類SQL查詢功能；其本質是將HQL轉化成MapReduce程式。 構建在Hadoop之上的資料倉庫： 使用HQL作為查詢介面

hadoop大資料04---hive 的安裝配置

Centos 7  192.168.2.37 計算機名稱  master 192.168.2.38 計算機名稱 slave1 192.168.2.39 計算機名稱 slave2 hive 要使用到mysql ,所以先安裝mysql , hive 和mysql 都安裝在

大資料資料倉庫——hive學習權威指南

學習hive權威指南目錄：ETL介紹大資料平臺架構概述系統資料流動hive概述hive在hadoop生態系統中hive體系結構hive安裝及使用hive客戶端的基本語句hive在HDFS檔案系統中的結構修改hive元資料儲存的資料庫hive操作命令hive常用配置hive常用

基於pyspark的資料科學與商業實踐視訊課程

基於pyspark的資料科學與商業實踐視訊課程課程分享連結:https://pan.baidu.com/s/1Amy3SzkcgW2dWCSGoaiB6A 密碼:bi7b 課程介紹：客戶洞察是分析型客戶關係管理的核心，是實現客戶智慧的必要手段，其旨在增加CRM系統的商業分析與輔助決策能力。分析型CRM需要整

Hadoop大資料平臺架構與實踐

一、什麼是Apache Hadoop？ 1.1 定義和特性 可靠的、可擴充套件的、分散式計算開源軟體。 Apache Hadoop軟體庫是一個框架，允許使用簡單的程式設計模型，在計算機叢集分散式地處理大型資料集。 它可以從單個伺服器擴充套件到數千臺機器，每個機

用Docker在一臺膝上型電腦上搭建一個具有10個節點7種角色的Hadoop叢集（下）-搭建Hadoop叢集

上篇介紹了快速上手Docker部分，下面接著介紹搭建Hadoop叢集部分。 六、搭建Hadoop偽分佈模式 我們先用前面建立的這個容器來搭建Hadoop偽分佈模式做測試，測試成功後再搭建完全分散式叢集。1.SSH這個centos容器可以看做是一個非常精簡的系統，很多功能沒有，需要自己安裝。Hado

hadoop 叢集HA高可用搭建以及問題解決方案

hadoop 叢集HA高可用搭建 目錄大綱 1. hadoop HA原理 2. hadoop HA特點 3. Zookeeper 配置 4. 安裝Hadoop叢集 5. Hadoop HA配置 搭建環境 環境 版本 地址地址

Spark 2.4 入門之基於Hadoop 2.7.3環境搭建

準備環境 3 臺 Linux VM Server RHL6.8 * 3 Hadoop 2.7.3 叢集環境搭建 下載Spark 2.4 版本 網址： https://spark.apache.org/downloads.html 映象地址 http: