2. 程式人生 > >hadoop生態系統學習之路（六）hive的簡單使用

hadoop生態系統學習之路（六）hive的簡單使用

阿新 • • 發佈：2019-02-17

一、hive的基本概念與原理

Hive是基於Hadoop之上的資料倉庫，可以儲存、查詢和分析儲存在 Hadoop 中的大規模資料。Hive 定義了簡單的類 SQL 查詢語言，稱為 HQL，它允許熟悉 SQL 的使用者查詢資料，允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的複雜的分析工作。Hive 沒有專門的資料格式。
hive的訪問方式：
這裡寫圖片描述
hive的執行原理：
這裡寫圖片描述

二、hive的常用命令

連線進入hive：hive
刪除資料庫：drop database if exists qyk_test cascade;如下圖：
這裡寫圖片描述


然後，我們使用create database qyk_test;建立一個qyk_test的資料庫，如下：
這裡寫圖片描述
接下來，我們執行create table user_info(id bigint, account string, name string, age int) row format delimited fields terminated by ‘\t’;建立一張表，如下：
這裡寫圖片描述
我們可以執行describe user_info;查看錶結構，如下：
這裡寫圖片描述
然後，我們使用create table user_info_tmp like user_info;建立一個和user_info一樣結構的臨時表，如下：
這裡寫圖片描述

然後我們準備一個檔案user_info.txt，以製表符分隔，如下

11  1200.0  qyk1    21
22  1301    qyk2    22
33  1400.0  qyk3    23
44  1500.0  qyk4    24
55  1210.0  qyk5    25
66  124 qyk6    26
77  1233    qyk7    27
88  15011   qyk8    28

接下來執行load data local inpath ‘/tmp/user_info.txt’ into table user_info;可看到如下：
這裡寫圖片描述
然後執行select * from user_info;可看到：
這裡寫圖片描述


然後，我們執行insert into table user_info_tmp select id, account, name, age from user_info;可以看到：
這裡寫圖片描述
這裡，hive將此語句的執行轉為MR，最後將資料入到user_info_tmp。
然後，我們執行select count(*) from user_info_tmp;可看到：
這裡寫圖片描述
同樣的是將sql轉為mr執行。
最後，執行insert overwrite table user_info select * from user_info where 1=0;清空表資料。
執行drop table user_info_tmp;便可刪除表，如下：
這裡寫圖片描述
好了，基本命令就講到這兒，關於外部表、分割槽、桶以及儲存格式相關的概念大家也可以去研究下。

三、編寫MR將資料直接入到hive

此MR只有Mapper，沒有reducer。直接在mapper輸出到hive表。
pom需新增依賴：

<!-- hcatalog相關jar -->
      <dependency>
          <groupId>org.apache.hive.hcatalog</groupId>
          <artifactId>hive-hcatalog-core</artifactId>
          <version>${hive.version}</version>
      </dependency>
      <dependency>
          <groupId>org.apache.hive.hcatalog</groupId>
          <artifactId>hive-hcatalog-hbase-storage-handler</artifactId>
          <version>${hive.version}</version>
      </dependency>
      <dependency>
          <groupId>org.apache.hive.hcatalog</groupId>
          <artifactId>hive-hcatalog-server-extensions</artifactId>
          <version>${hive.version}</version>
      </dependency>
      <dependency>
          <groupId>org.apache.hive.hcatalog</groupId>
          <artifactId>hive-hcatalog-pig-adapter</artifactId>
          <version>${hive.version}</version>
      </dependency>
      <dependency>
          <groupId>org.apache.hive.hcatalog</groupId>
          <artifactId>hive-webhcat-java-client</artifactId>
          <version>${hive.version}</version>
      </dependency>

Mapper類：

/**
 * Project Name:mr-demo
 * File Name:HiveStoreMapper.java
 * Package Name:org.qiyongkang.mr.hivestore
 * Date:2016年4月4日下午10:02:07
 * Copyright (c) 2016, CANNIKIN(http://http://code.taobao.org/p/cannikin/src/) All Rights Reserved.
 *
*/

package org.qiyongkang.mr.hivestore;

import java.io.IOException;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hive.hcatalog.data.DefaultHCatRecord;
import org.apache.hive.hcatalog.data.HCatRecord;
import org.apache.hive.hcatalog.data.schema.HCatSchema;
import org.apache.hive.hcatalog.mapreduce.HCatOutputFormat;

/**
 * ClassName:HiveStoreMapper <br/>
 * Function: Mapper類. <br/>
 * Date:     2016年4月4日 下午10:02:07 <br/>
 * @author   qiyongkang
 * @version  
 * @since    JDK 1.6
 * @see      
 */
public class HiveStoreMapper extends Mapper<Object, Text, WritableComparable<Object>, HCatRecord> {
    private HCatSchema schema = null;

    //每個mapper例項，執行一次
    @Override
    protected void setup(Mapper<Object, Text, WritableComparable<Object>, HCatRecord>.Context context)
            throws IOException, InterruptedException {
        schema = HCatOutputFormat.getTableSchema(context.getConfiguration());
    }

    @Override
    protected void map(Object key, Text value, Mapper<Object, Text, WritableComparable<Object>, HCatRecord>.Context context)
            throws IOException, InterruptedException {
        //每行以製表符分隔   id, account, name, age
        String[] strs = value.toString().split("\t");

        HCatRecord record = new DefaultHCatRecord(4);
        //id，通過列下表
        record.set(0, Long.valueOf(strs[0]));

        //account
        record.set(1, strs[1]);

        //name
        record.set(2, strs[2]);

        //age，通過欄位名稱
        record.set("age", schema, Integer.valueOf(strs[3]));

        //寫入到hive
        context.write(null, record);
    }


    public static void main(String[] args) {
        String value = "1   1200    qyk 24";
        String[] strs = value.toString().split("\t");
        for (int i = 0; i < strs.length; i++) {
            System.out.println(strs[i]);
        }
    }
}

主類：

/**
 * Project Name:mr-demo
 * File Name:LoadDataToHiveMR.java
 * Package Name:org.qiyongkang.mr.hivestore
 * Date:2016年4月4日下午9:55:42
 * Copyright (c) 2016, CANNIKIN(http://http://code.taobao.org/p/cannikin/src/) All Rights Reserved.
 *
*/

package org.qiyongkang.mr.hivestore;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hive.hcatalog.data.DefaultHCatRecord;
import org.apache.hive.hcatalog.data.schema.HCatSchema;
import org.apache.hive.hcatalog.mapreduce.HCatOutputFormat;
import org.apache.hive.hcatalog.mapreduce.OutputJobInfo;

/**
 * ClassName:LoadDataToHiveMR <br/>
 * Function: MR將資料直接入到hive. <br/>
 * Date: 2016年4月4日 下午9:55:42 <br/>
 * 
 * @author qiyongkang
 * @version
 * @since JDK 1.6
 * @see
 */
public class LoadDataToHiveMR {
    public static void main(String[] args) {
        Configuration conf = new Configuration();
        try {
            Job job = Job.getInstance(conf, "hive store");
            job.setJarByClass(LoadDataToHiveMR.class);

            // 設定Mapper
            job.setMapperClass(HiveStoreMapper.class);

            // 由於沒有reducer，這裡設定為0
            job.setNumReduceTasks(0);

            // 設定輸入檔案路徑
            FileInputFormat.addInputPath(job, new Path("/qiyongkang/input"));

            // 指定Mapper的輸出
            job.setMapOutputKeyClass(WritableComparable.class); // map
            job.setMapOutputValueClass(DefaultHCatRecord.class);// map

            //設定要入到hive的資料庫和表
            HCatOutputFormat.setOutput(job, OutputJobInfo.create("qyk_test", "user_info", null));
            //這裡注意是使用job.getConfiguration()，不能直接使用conf
            HCatSchema hCatSchema = HCatOutputFormat.getTableSchema(job.getConfiguration());
            HCatOutputFormat.setSchema(job, hCatSchema);

            //設定輸出格式類
            job.setOutputFormatClass(HCatOutputFormat.class);

            job.waitForCompletion(true);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

}

然後，我們使用maven打個包，上傳到伺服器。
然後，我們準備一個user_info.txt，上傳至hdfs中的/qiyongkang/input下:

11  1200.0  qyk1    21
22  1301    qyk2    22
33  1400.0  qyk3    23
44  1500.0  qyk4    24
55  1210.0  qyk5    25
66  124 qyk6    26
77  1233    qyk7    27
88  15011   qyk8    28

注意以製表符\t分隔。
然後執行yarn jar mr-demo-0.0.1-SNAPSHOT-jar-with-dependencies.jar，在jobhistory可以看到：
這裡寫圖片描述
其實，hive的元資料是放在hdfs上，執行hadoop fs -ls /user/hive/warehouse可以看到：
這裡寫圖片描述
然後，我們在hive命令列執行 select * from user_info;可以看到：
這裡寫圖片描述
說明資料從hdfs寫入到hive成功。

四、使用java jdbc連線Thrift Server查詢元資料

接下來，我們使用java編寫一個客戶端，來查詢剛才入到hive裡面的資料，程式碼如下：

package org.hive.demo;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.ResultSetMetaData;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.log4j.Logger;

public class HiveStoreClient {
    private static String driverName = "org.apache.hive.jdbc.HiveDriver";
    private static String url = "jdbc:hive2://172.31.25.8:10000/qyk_test";
    private static String user = "hive";
    private static String password = "";
    private static final Logger log = Logger.getLogger(HiveStoreClient.class);

    @SuppressWarnings("rawtypes")
    public static void main(String[] args) {
        Connection conn = null;
        Statement stmt = null;
        ResultSet res = null;
        try {
            //載入驅動
            Class.forName(driverName);
            //獲取連線
            conn = DriverManager.getConnection(url, user, password);
            stmt = conn.createStatement();

            // select * query
            String sql = "select * from user_info";
            System.out.println("Running: " + sql);

            //執行查詢
            res = stmt.executeQuery(sql);

            //處理結果集
            List list = convertList(res);
            System.out.println("總記錄:" + list);

            //獲取總個數
            sql = "select count(1) from user_info";
            System.out.println("Running: " + sql);
            res = stmt.executeQuery(sql);
            while (res.next()) {
              System.out.println("總個數:" + res.getString(1));
            }

        } catch (ClassNotFoundException e) {
            e.printStackTrace();
            log.error(driverName + " not found!", e);
            System.exit(1);
        } catch (SQLException e) {
            e.printStackTrace();
            log.error("Connection error!", e);
            System.exit(1);
        } finally {
            try {
                res.close();
                stmt.close();
                conn.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }

    }

    /**
     * 
     * convertList:將結果集轉換成map. <br/>
     *
     * @author qiyongkang
     * @param rs
     * @return
     * @throws SQLException
     * @since JDK 1.6
     */
    @SuppressWarnings({ "rawtypes", "unchecked" })
    public static List convertList(ResultSet rs) throws SQLException {  
        List list = new ArrayList();  
        ResultSetMetaData md = rs.getMetaData();  
        int columnCount = md.getColumnCount(); //Map rowData; 


        while (rs.next()) { //rowData = new HashMap(columnCount);    
            Map rowData = new HashMap();  
            for (int i = 1; i <= columnCount; i++) {  
                rowData.put(md.getColumnName(i), rs.getObject(i));  
            }  
            list.add(rowData);  
        } 
        return list;  
    }
}

執行後，可以看到控制檯輸出如下：
這裡寫圖片描述
開始的異常可以忽略。可以看到資料，說明是成功的。

好了，hive就講到這兒了。其實，hive還可以同步hbase的資料，還可以將hive的表資料同步到impala，因為它們都是使用相同的元資料，這個在後面的博文中再進行介紹。

相關推薦

hadoop生態系統學習之路（六）hive的簡單使用

一、hive的基本概念與原理 Hive是基於Hadoop之上的資料倉庫，可以儲存、查詢和分析儲存在 Hadoop 中的大規模資料。Hive 定義了簡單的類 SQL 查詢語言，稱為 HQL，它允許熟悉 SQL 的使用者查詢資料，允許熟悉 MapReduce 開發

hadoop生態系統學習之路（五）hbase的簡單使用

最近，參與了公司的一個大資料介面平臺的開發，具體的處理過程是這樣的。我們公司負責資料的入庫，也就是一個etl過程，使用MR將資料入到hive裡面，然後同步到impala，然後此介面平臺提供查詢介面，前臺會將sql語句以引數傳過來，然後介面平臺通過呼叫impala

hadoop生態系統學習之路（三）java實現上傳檔案（本地或ftp）至hdfs

在上一篇博文中，我們講了如何編寫、執行、測試一個MR，但是hdfs上的檔案是手動執行命令從本地linux上傳至hdfs的。在真實的執行環境中，我們不可能每次手動執行命令上傳的，這樣太過繁瑣。那麼，我們可以使用hdfs提供的java api實現檔案上傳至hdfs，

hadoop生態系統學習之路（十二）cloudera manager的簡單使用

最近，忙著辭職和考駕照的事，都沒時間寫部落格了，差點把大資料相關的一些技術都給忘了。不過還好做好歸納整理，能夠快速的恢復起來。其實，筆者發現，學習大資料還是有點小竅門的。首先，最好能有個人指引，有什麼問題都可以問他，因為我僅僅只看視訊、資料等，很難挖掘裡面有價值

Hive學習之路 （六）Hive的DDL操作

存儲位置 BE 輔助 cond 允許 param 就是 文件夾 selected 庫操作 1、創建庫 語法結構 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name 　　[COMMENT database_

Hive學習之路 （六）Hive SQL之數據類型和存儲格式

OS big api 而且 好的 存儲 array 文本文件 字符串 一、數據類型 1、基本數據類型 Hive 支持關系型數據中大多數基本數據類型 類型描述示例 boolean true/false TRUE tinyint 1字

PHP學習之路（六）

data 循環 marker 輸出 bsp this 兩個 針對 設計 2017.08.23-24 Day 6　　周三-周四　　晴（臺風） HP數組定義 數組就是一個鍵值對組成的語言結構，鍵類似於酒店的房間號，值類似於酒店房間裏存儲的東西。 如果你去某個酒店住店，服

C++學習之路（六）：關於C++提供的強制類型轉換

code 記錄 是不是 通過 行修改 單元 c語言 enum 表達式 C語言中提供了舊式的強制類型轉換方法。比如： int a =1; char *p = (char *)&a; 上述將a的地址單元強制轉換為char類型的指針。這裏暫且不說上述轉換結果是否合理，但

JAVA基礎學習之路（六）數組與方法參數的傳遞

就是 .com 另一個 AS oid span 參數 spa nbsp 通常，向方法中傳遞的都是基本數據類型，而向方法中傳遞數組時，就需要考慮內存的分配 public class test2 { public static void main(String a

webpack學習之路（六）

Tree Shaking ps:官方文件中本節目錄結構繼承於起步。 Tree Shaking是一個常用於移除js環境中無用程式碼的術語，它依賴於ES2015模組系統中的靜態結構特性比如import和export。它的名字和概念其實興起於ES2015打包工具rollup。 webpack發行後就內建支援E

Vue學習之路（六）---父元件與子元件之間的資料傳遞

前面我講了基本元件的寫法，現在一起學下父元件怎樣傳遞資料到子元件，以及子元件傳遞資料到父元件的 1.父元件傳遞資料到子元件 1.1 通過props傳遞 父元件App.vue中 <component-a big-num=98></component-a&g

Netty學習之路（六）-分隔符和定長解碼器的應用

之前已經使用了LineBasedFrameDecoder解決TCP粘包問題，現在再學兩種解決TCP粘包的方法。 DelimiterBasedFrameDecoder：可以自動完成以分隔符做結束標誌的訊息的解碼，分隔符自定義。 FixedLengthFrameDecoder:

Linux 學習之路（六）：bash指令碼編寫

bash指令碼程式設計：整數測試及特殊變數 exit:退出指令碼 exit # 如果指令碼沒有明確定義退出狀態碼，那麼，最後執行的一條命令的退出碼即為指令碼的退出狀態碼。 bash中常用的條件測試有三種： 測試方法： 命令測試法 [ expression ] 關

Docker學習之路（六）用commit命令建立映象

構建映象 構建映象的兩種方法： 使用docker commit 命令使用docker build命令和Dockerfile檔案 Dockerfile更搶到、靈活，推薦使用。 一般來說不是真的“建立”新映象，而是基於一個已有的基礎映象，比如Ubuntu、Fedora等，

Nginx學習之路（六）NginX中的記憶體管理之---Nginx中的記憶體對齊和記憶體分頁

Nginx由於極高的效能受到大家的追捧，而Nginx的高效能與它優秀的記憶體管理方式是分不開的，今天就來聊一聊Nginx中的記憶體對齊和記憶體分頁。先說下Nginx中的記憶體對齊，Nginx中的記憶體對齊機制是它高效能的關鍵因素之一，先說點基礎的東西，什麼是記憶體對齊呢？ 記

Netty框架學習之路（六）—— 引導

前言 之前的博文介紹了Channel、EventLoop及由其衍生出來的相關概念。但這些都是靜態的概念，為了能使Netty程式執行起來，必須要有一個全域性的元件將上述內容串聯起來，這便就是本文所講內容——引導。 引導類 引導類的層次結構如下： 主

Android外掛化學習之路（六）之動態建立Activity

靜態代理Activity模式的限制 我們在代理Activity模式一文裡談到啟動外掛APK裡的Activity的兩個難題嗎，由於外掛裡的Activity沒在主專案的Manifest裡面註冊，所以無法經歷系統Framework層級的一系列初始化過程，最終導致獲得

Linux命令列學習之路（六）——重定向和管道

今天我們來總結一下個人認為linux下最為實用和厲害的重定向和管道 在說今天的重點之前，必須要先學一點其他的新知識：標準輸入（stdin）、標準輸出（stdout）、標準錯誤輸出（stderr） 標準輸入（stdin）：程式碼為0，使用<或<<   輸入

React-Native學習之路（六）Navigator

Navigator頁面跳轉和資料傳遞 2018年7月21日 15:37 1.首先需要匯入 npm install react-native-deprecated-custom-components --save 然後在專案中使用navigator的時候 impor

Hive學習之路 （二）Hive安裝

different 0.10 director lar blog cut cti mysql extend Hive的下載 下載地址http://mirrors.hust.edu.cn/apache/ 選擇合適的Hive版本進行下載，進到stable-2文件夾可以看到穩