1. 程式人生 > >hive安裝過程:metastore(元資料儲存)的三種方式之本地mysql方式

hive安裝過程:metastore(元資料儲存)的三種方式之本地mysql方式

Hive版本:apache-hive-1.2.1
Hadoop版本:hadoop-2.5.1

Hive中metastore(元資料儲存)的三種方式:
   a)本地Derby方式
   b)本地mysql方式
   c)Remote方式

2、解壓

# tar -zxvf apache-hive-1.2.1-bin.tar.gz

3、重新命名

# mv apache-hive-1.2.1-bin apache-hive-1.2.1

4、新增Hive環境變數

# vi  ~/.bash_profile

新增:
export HIVE_HOME=/home/apache-hive-1.2
.1 export PATH=$PATH:$HIVE_HOME/bin

5、確定Hive裡的jline版本與hadoop裡的jline版本一致
     Hive裡的jline在:HIVE_HOME/lib
     Hadoop裡的jline在:HADOOP_HOME/share/hadoop/yarn/lib
若有問題則將Hive裡的jline複製到Hadoop裡

6、修改hive-default.xml.template檔案,將檔案複製並且重新命名為hive-site.xml

# cp hive-default.xml.template hive-site.xml

     編輯hive-site.xml

# vi hive-site.xml

     清空裡配置資訊,游標定位到下方執行清空命令.,$-1d

     在configuration裡新增:

<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive_remote/warehouse</value>  
</property>  

<property>  
  <name>hive.metastore.local</name>
<value>true</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property>

7、在本地執行一個mysql伺服器,並且將mysql的jar包拷貝到$HIVE_HOME/lib目錄下

8、啟動hadoop

9、啟動hive

相關推薦

hive安裝過程metastore資料儲存方式本地mysql方式

Hive版本:apache-hive-1.2.1 Hadoop版本:hadoop-2.5.1 Hive中metastore(元資料儲存)的三種方式:    a)本地Derby方式    b)本地mysql方式    c)Remote方式 2、解壓

Hadoop Hive基礎SQL語法(DML 操作:資料儲存)

2. DML操作:元資料儲存 hive不支援用insert語句一條一條的進行插入操作,也不支援update操作。資料是以load的方式載入到建立好的表中。資料一旦匯入就不可以修改。 DML包括:INSERT插入、UPDATE更新、DELETE刪除 •向

【小家java】POP面向過程程式設計、OOP面向物件程式設計、AOP面向切面程式設計程式設計思想的區別和聯絡

相關閱讀 【小家java】java5新特性(簡述十大新特性) 重要一躍 【小家java】java6新特性(簡述十大新特性) 雞肋升級 【小家java】java7新特性(簡述八大新特性) 不溫不火 【小家java】java8新特性(簡述十大新特性) 飽受讚譽 【小家java】java9

最長迴文子串Longest Palindromic Substring——時間複雜度的解法

public String longestPalindrome(String s) {        List<Character> s_new = new ArrayList<>();        for(int i = 0;i < s.length();i++){     

Android使用者登入資料儲存方式

登入的頁面: 佈局程式碼: <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"     xmlns:tools="http://schemas.android.co

Hive簡介及資料儲存Metastore配置方式

一 Hive介紹 Hive是基於Hadoop的一個數據倉庫,Hive能夠將SQL語句轉化為MapReduce任務進行執行。   Hive架構圖分為以下四部分:    1、Hive有三個使用者介面: a. 命令列介面(CLI):以命令列的形式輸入SQL語句進行資料資料

資料資料治理|Apache Atlas安裝過程詳解初步版本

                                  Apache Atlas安裝過程詳解 一 

Hive-0.13.1本地獨立模式安裝 資料儲存到MariaDB-10.1.0 Hadoop-2.4.0

tar -zxvf apache-hive-0.13.1-bin.tar.gz 解壓後,編輯java.sh(java.sh為自己建立的指令碼): vim /etc/profile.d/java.sh export HIVE_HOME=/opt/modules/hive/apache-hive-0.13.1

[瘋狂Java]JDBCResultSetMetaData結果集資料分析

1. 描述ResultSet資訊的資料——ResultSetMetaData:     1) MetaData即元資料,即描述其它資料的資料,因此ResultSetMetaData就是描述ResultSet的元資料;     2) 通常在你對查詢結果不瞭解的情況下可以使用該

hue安裝步驟+mysql資料儲存hive、hadoop做整合

1. 使用yum工具來安裝hue相關的依賴軟體:sudo yum install krb5-develcyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-developenldap

hive-1.1.0-cdh5.7.0 的編譯安裝並修改資料儲存資料庫為MySQL

1 準備工作 1.1 配置jdk1.7 1.2 部署MySQL 1.3 安裝maven 1.4編譯安裝 hadoop-2.6.0-cdh5.7.0.src.tar.gz 1.5建立hadoop使用者 安裝的目錄結構:/opt/s

Kubernetes學習筆記訪問Pod資料與Kubernetes API

## Downward API 我們已經瞭解到,使用ConfigMap和Secret嚮應用傳遞配置資料,這對於執行前預設的資料是可行的。但是對於那些不能預先知道的,就需要使用Downward API。 Downward API允許我們通過環境變數或者卷的方式嚮應用傳遞元資料。可傳遞的資料包括:Pod的IP、

vm12pro 安裝winxp過程 記錄1涵個人問題

amp so文件 com htm baidu bsp blog 過程 iso 1.百度的xp資源 選好iso文件後出現如下情景: 2.百度以後是要在一開始的首次界面就選擇從哪個盤開始 3.選擇了“Windowgs PE”選項…加載出界面後選擇了ghost xp…現在…黑屏

例項建立一個表格,分頁顯示資料MongoDB資料庫儲存,功能實現增刪改查

需求:建立一個表格,分頁顯示資料,功能:實現增刪改查 效果圖: 自動建立一個專案 命令列: express mongodb-demo --view=ejs cd mongodb-demo npm install npm install mongodb --save npm sta

pytorch實現簡單的GANMNIST資料

# -*- coding: utf-8 -*- """ Created on Sat Oct 13 10:22:45 2018 @author: www """ import torch from torch import nn from torch.autograd import Vari

資料十三MapJoinDistributedCache分散式快取資料清理例項與計數器應用

一、在map端表合併(DistributedCache分散式快取) 1.適用場景         適合用於關聯表中有小表的情形。         可以將小表分發到所有的

mac系統下nginx的詳細安裝過程及使用適合新手

介紹nginx,nginx配置說明,nginx安裝過程,Homebrew安裝及說明,nginx安裝及說明,nginx啟動,重啟,關閉,nginx出錯解決辦法,nginx常用指令及修改 目錄結構       · 前置條件:介紹nginx   &nbs

機器學習筆記十八TensorFlow實戰十影象資料處理

1 - 引言 之前我們介紹了通過卷積神經網路可以給影象識別技術帶來突破性的進展,現在我們從影象的預處理這個角度來繼續提升我們影象識別的準確率。 輸入的預處理需要使用TFRecord格式來同一不同的原始資料格式,並且更加有效的管理不同的屬性。 並且TensorFlow支援影象處理函式,

Hive和SparkSQL基於 Hadoop 的資料倉庫工具

Hive 前言 Hive 是基於 Hadoop 的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供完整的 SQL 查詢功能,將類 SQL 語句轉換為 MapReduce 任務執行。 資料組織格式 下面是直接儲存在HDFS上的資料組織方式 Table:每個表儲存在HDF

kubernetes安裝過程中錯誤kube-dns 狀態一直是Pending,master節點是NotReady

安裝環境如下: cenos7系統 kubeadm安裝方法 版本是:kubernetes1.10 K8s安裝完成後,發現所有的pod都起了,除了kube-dns ,顯示的狀態一直是Pending.