1. 程式人生 > >hive的安裝配置步驟簡單記錄

hive的安裝配置步驟簡單記錄

本文簡單記錄一下hive的安裝配置步驟
tar -xzvf hive-0.11.0-bin.tar.gz

在~home目錄中配置path變數將hive bin目錄加入path
export PATH=$PATH:/home/hadoop/hadoop-0.20.2/bin:/home/hadoop/hbase-0.92.1/bin:/home/hadoop/zookeeper-3.4.5/bin:/home/hadoop/hive-0.11.0-bin/bin

配置Hive
進入hive/conf目錄
依據hive-env.sh.template,建立hive-env.sh檔案
cp  hive-env.sh.template hive-env.sh
修改hive-env.sh
指定hive配置檔案的路徑
export HIVE_CONF_DIR=/home/hadoop/hive-0.11.0-bin/conf
指定Hadoop路徑
HADOOP_HOME=/home/hadoop/hadoop-0.20.2  

配置HADOOP_HOME後,Hive將資料倉庫檔案儲存在HDFS檔案系統;metastore儲存在Hive自帶的嵌入式資料庫Derby中。
在HDFS檔案系統中建立如下目錄
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

測試執行hive
hive> create table test(key string);
hive> show tables;

在本地檔案系統建立一個如下的文字檔案:/home/hadoop/hiveimpt/student.txt
C01,N0101,82
C01,N0102,59
C01,N0103,65
C02,N0201,81
C02,N0202,82
C02,N0203,79
C03,N0301,56
C03,N0302,92
C03,N0306,72
建立一個hive的表
create table student(classNo string, stuNo string, score int) row format delimited fields terminated by ',';
將資料load到表中
load data local inpath '/home/hadoop/hiveimpt/student.txt'overwrite into table student;

這個命令將student.txt檔案內容載入到表student中。這個載入操作將直接把student.txt檔案複製到hive的warehouse目錄中,這個目錄由hive.metastore.warehouse.dir配置項設定,預設值為/user/hive/warehouse。Overwrite選項將導致Hive事先刪除student目錄下所有的檔案。
Hive不會對student.txt做任何格式處理,因為Hive本身並不強調資料的儲存格式。
此例中,Hive將資料儲存於HDFS系統中。當然,Hive也可以將資料儲存於本地。

可以執行類似SQL的命令:
hive> select * from student;

hive> Select classNo,count(score) from student where score>=60 group by classNo;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapred.reduce.tasks=<number>
Starting Job = job_201403182323_0001, Tracking URL = http://hadoopsrv:50030/jobdetails.jsp?jobid=job_201403182323_0001
Kill Command = /home/hadoop/hadoop-0.20.2/bin/../bin/hadoop job  -kill job_201403182323_0001
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2014-03-19 00:42:27,572 Stage-1 map = 0%,  reduce = 0%
2014-03-19 00:42:34,861 Stage-1 map = 100%,  reduce = 0%
2014-03-19 00:42:43,972 Stage-1 map = 100%,  reduce = 33%
2014-03-19 00:42:47,029 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201403182323_0001
MapReduce Jobs Launched:
Job 0: Map: 1  Reduce: 1   HDFS Read: 116 HDFS Write: 18 SUCCESS
Total MapReduce CPU Time Spent: 0 msec
OK
C01     2
C02     3
C03     2
Time taken: 38.263 seconds, Fetched: 3 row(s)

由此看見,HiveQL的使用和SQL及其類似。我們用到了group和count,其實在後臺Hive將這些操作都轉換成了MapReduce操作提交給Hadoop執行,並最終輸出結果。
用安裝在另外一臺機器的mysql儲存metastore:
在mysql上建立db和使用者
mysql>create database hive;
mysql> CREATE USER 'hive' IDENTIFIED BY 'hive';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;
mysql> flush privileges;
在hive的機器上驗證連線:
mysql -h 192.168.2.3 -u hive -phive

在hive的機器上配置hive-site.xml
    <property>
        <name>hive.metastore.local</name>
        <value>true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.2.3:3306/hive?characterEncoding=UTF-8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hive</value>
    </property>

常見異常:    
com.mysql.jdbc.exceptions.MySQLSyntaxErrorException: Specified key was toolong; max key length is nnn bytes
改資料庫編碼

alter database hive character set latin1;

http://www.cnblogs.com/linjiqin/archive/2013/03/04/2943025.html

相關推薦

hive安裝配置步驟簡單記錄

本文簡單記錄一下hive的安裝配置步驟 tar -xzvf hive-0.11.0-bin.tar.gz 在~home目錄中配置path變數將hive bin目錄加入path export PATH=$PATH:/home/hadoop/hadoop-0.20.2/bin:

Openfiler安裝配置步驟

openfiler第一步、下載系統Openfiler是開源免費程序可以到http://www.openfiler.com/community/download/下載第二步、安裝步驟選擇linux系統64位安裝步驟配置網卡IP地址登錄地址第三步、添加本地硬盤第四步、配置Openfiler本文出自 “馬廣傑——博

Hive安裝配置要點

操作 ont tex val 自動創建 官網 後來 sql value 官網下載安裝包; 在Profile下面定義HIVE_HOME以及HADOOP_HOME,然後在PATH下面添加HOME/bin目錄,用於在命令行直接敲beeline,hive即可執行命令; 需要在had

自動化運維工具-pdsh工具安裝配置簡單使用講解

stat 運維 條件 ati etc amp gen nodes ogl 1、先決條件: 安裝pssh工具的主機針對遠程主機需要配置免秘鑰認證: ssh-keygen -t rsa ssh-copy-id [remotehost] 2、下載pssh工具安裝介質: https

自動化運維工具-mussh工具安裝配置簡單使用講解

cal 解壓 -i remote --help 1.0 host port href 1、先決條件: 安裝pssh工具的主機針對遠程主機需要配置免秘鑰認證: ssh-keygen -t rsa ssh-copy-id [remotehost] 2、下載mussh工具安裝介質

Linux環境下Redis安裝配置步驟[轉]

http redis-cli ont == LV 成功 fcm space 執行 在LInux下安裝Redis的步驟如下: 1、首先下載一個Redis安裝包,官網下載地址為:https://redis.io/ 2、在Linux下解壓redis: tar -zxvf re

Python版本OpenCV安裝配置簡單實例

ima all bubuko 管理 產品 包管理工具 named () www # 2018-06-03 # 1. Python下載:https://www.python.org/downloads/ 選擇對應平臺對應版本的的Python進行安裝。 2. Pyt

Mac上安裝配置簡單使用PostgreSQL(仍然很不懂)

ui s 暫時 psql 控制 Go 修改 文本編輯 CI 推薦 因為想要使用推薦的rails-template。需要使用postgres。並初始化了一個用戶postgres,密碼是postgres。( e.g. $ createuser -d postgres ) 需要買

asp.Net Core免費開源分布式異常日誌收集框架Exceptionless安裝配置以及簡單使用圖文教程

true 類型 全部 界面 目錄 () 程序包 light set 最近在學習張善友老師的NanoFabric 框架的時了解到Exceptionless : https://exceptionless.com/ !因此學習了一下這個開源框架!下面對Exceptionless

NodeJs、NPM安裝配置步驟(windows版本)

高效 node 管理 tar 學習 node.js tps .com 系統 Node.js 是一個基於 Chrome V8 引擎的 JavaScript 運行環境。Node.js 使用了一個事件驅動、非阻塞式 I/O 的模型,使其輕量又高效。 Node.

Saltstack 安裝配置簡單操作示例

服務器 信任 accep 客戶服務 通過 角色 提高 cmd.run 範圍 Saltstack 介紹 通過部署 Saltstack環境,可以在成千上萬臺服務器上批量執行命令。對於不同的業務進行集中管理、分發文件、采集數據、軟件包管理等,有利於運維人員提高工作效率,規範業務配

InteliiJ IDEA的安裝配置簡單使用

idea 用戶界面 時間 配置文件 環境 簡單 警告 sun公司 收購 小Alan前段時間一直在家裏搬磚,已經很久沒有接觸技術了,從今天開始重拾技術,工欲善其事,必先利其器,以前在做Java開發的時候最常用的IDE就是Eclipse莫屬了,不過隨著歲月的流逝,在2016年的

Hive 安裝配置

apach require pan tom 初始 tomat -a cti etc 0. 說明   在安裝好 Hadoop 集群和 ZooKeeper 分布式的基礎上裝好 MySQL,再進行 Hive 安裝配置    1. 安裝   1.1 將 Hive

ETCD叢集安裝配置簡單應用

環境配置 CentOS Linux release 7.3.1611 (Core)  etcd-v3.2.6 192.168.108.128 節點1 192.168.108.129 節點2 192.168.108.130 節點3 ETCD

hadoop環境安裝配置步驟詳解

hadoop環境安裝配置步驟詳解 在上一篇的分享文章中我是給大家分享了執行部署hadoop的一些安裝準備工作,這篇接上一篇繼續為大家分享一些個人的學習經驗總結。我學習用的是大快發行版DKHadoop,所以所有的經驗分享都是以DKHadoop為基礎,這裡要先說明一下。個人覺得DKHadoop對

ubuntu 18.04下安裝配置Hue問題記錄

前段時間將Hadoop 在ubuntu環境下裝好,接下來嘗試安裝Hue來管理Hadoop,參照的資料有: 1、高可用Hadoop平臺-Hue In Hadoop 2、ubuntu16.04 安裝單機Hadoop&HIVE&HUE 現將過程中的一些問題記錄下來,供碰到類似問題的同學參考

atlassian-jira-software-7.5.2 (7.10.2)安裝配置及問題記錄

安裝過程網上資料很多,這裡不再搬磚,只記錄下遇到的問題: 1. 在配置資料庫頁面,測試連線時報錯,嘗試在命令列下登陸,報錯資訊如下: [***@localhost ~]$ mysql -ujira -pjirapasswd ERROR 1045 (28000): Access denied

安裝vscode 編輯python程式碼,需要的常用外掛安裝配置步驟,格式yapf 自動提示錯誤flake8

用VSCode寫python的正確姿勢 最近在學習python,之前一直用notepad++作為編輯器,偶然發現了VScode便被它的顏值吸引。用過之後發現它啟動快速,外掛豐富,下載安裝後幾乎不用怎麼配置就可以直接使用,而且還支援markdown

Tomcat介紹、安裝配置以及簡單的實現Tomcat負載均衡

              Tomcat介紹、安裝配置以及簡單的實現Tomcat負載均衡 ------------------------------------------------------------------------

DKhadoop環境安裝配置步驟詳解

在上一篇的分享文章中我是給大家分享了執行部署hadoop的一些安裝準備工作,這篇接上一篇繼續為大家分享一些個人的學習經驗總結。我學習用的是大快發行版DKHadoop,所以所有的經驗分享都是以DKHadoop為基礎,這裡要先說明一下。個人覺得DKHadoop對新手還是算是很友好的了,新手朋友們可以大快搜索網站下