hive安裝過程:metastore(元資料儲存)的三種方式之本地mysql方式
Hive版本:apache-hive-1.2.1
Hadoop版本:hadoop-2.5.1
Hive中metastore(元資料儲存)的三種方式:
a)本地Derby方式
b)本地mysql方式
c)Remote方式
2、解壓
# tar -zxvf apache-hive-1.2.1-bin.tar.gz
3、重新命名
# mv apache-hive-1.2.1-bin apache-hive-1.2.1
4、新增Hive環境變數
# vi ~/.bash_profile
新增:
export HIVE_HOME=/home/apache-hive-1.2 .1
export PATH=$PATH:$HIVE_HOME/bin
5、確定Hive裡的jline版本與hadoop裡的jline版本一致
Hive裡的jline在:HIVE_HOME/lib
Hadoop裡的jline在:HADOOP_HOME/share/hadoop/yarn/lib
若有問題則將Hive裡的jline複製到Hadoop裡
6、修改hive-default.xml.template檔案,將檔案複製並且重新命名為hive-site.xml
# cp hive-default.xml.template hive-site.xml
編輯hive-site.xml
# vi hive-site.xml
清空裡配置資訊,游標定位到下方執行清空命令.,$-1d
在configuration裡新增:
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>password</value>
</property>
7、在本地執行一個mysql伺服器,並且將mysql的jar包拷貝到$HIVE_HOME/lib目錄下
8、啟動hadoop
9、啟動hive
相關推薦
hive安裝過程:metastore(元資料儲存)的三種方式之本地mysql方式
Hive版本:apache-hive-1.2.1 Hadoop版本:hadoop-2.5.1 Hive中metastore(元資料儲存)的三種方式: a)本地Derby方式 b)本地mysql方式 c)Remote方式 2、解壓
Hadoop Hive基礎SQL語法(DML 操作:元資料儲存)
2. DML操作:元資料儲存 hive不支援用insert語句一條一條的進行插入操作,也不支援update操作。資料是以load的方式載入到建立好的表中。資料一旦匯入就不可以修改。 DML包括:INSERT插入、UPDATE更新、DELETE刪除 •向
【小家java】POP(面向過程程式設計)、OOP(面向物件程式設計)、AOP(面向切面程式設計)三種程式設計思想的區別和聯絡
相關閱讀 【小家java】java5新特性(簡述十大新特性) 重要一躍 【小家java】java6新特性(簡述十大新特性) 雞肋升級 【小家java】java7新特性(簡述八大新特性) 不溫不火 【小家java】java8新特性(簡述十大新特性) 飽受讚譽 【小家java】java9
最長迴文子串(Longest Palindromic Substring)——三種時間複雜度的解法
public String longestPalindrome(String s) { List<Character> s_new = new ArrayList<>(); for(int i = 0;i < s.length();i++){
Android使用者登入資料儲存的三種方式
登入的頁面: 佈局程式碼: <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.co
Hive簡介及元資料儲存(Metastore的三種配置方式)
一 Hive介紹 Hive是基於Hadoop的一個數據倉庫,Hive能夠將SQL語句轉化為MapReduce任務進行執行。 Hive架構圖分為以下四部分: 1、Hive有三個使用者介面: a. 命令列介面(CLI):以命令列的形式輸入SQL語句進行資料資料
元資料與資料治理|Apache Atlas安裝過程詳解(初步版本)
Apache Atlas安裝過程詳解 一
Hive-0.13.1本地獨立模式安裝 元資料儲存到MariaDB-10.1.0 Hadoop-2.4.0
tar -zxvf apache-hive-0.13.1-bin.tar.gz 解壓後,編輯java.sh(java.sh為自己建立的指令碼): vim /etc/profile.d/java.sh export HIVE_HOME=/opt/modules/hive/apache-hive-0.13.1
[瘋狂Java]JDBC:ResultSetMetaData(結果集元資料分析)
1. 描述ResultSet資訊的資料——ResultSetMetaData: 1) MetaData即元資料,即描述其它資料的資料,因此ResultSetMetaData就是描述ResultSet的元資料; 2) 通常在你對查詢結果不瞭解的情況下可以使用該
hue安裝步驟+mysql元資料儲存、hive、hadoop做整合
1. 使用yum工具來安裝hue相關的依賴軟體:sudo yum install krb5-develcyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-developenldap
hive-1.1.0-cdh5.7.0 的編譯安裝並修改元資料儲存資料庫為MySQL
1 準備工作 1.1 配置jdk1.7 1.2 部署MySQL 1.3 安裝maven 1.4編譯安裝 hadoop-2.6.0-cdh5.7.0.src.tar.gz 1.5建立hadoop使用者 安裝的目錄結構:/opt/s
Kubernetes學習筆記(七):訪問Pod元資料與Kubernetes API
## Downward API 我們已經瞭解到,使用ConfigMap和Secret嚮應用傳遞配置資料,這對於執行前預設的資料是可行的。但是對於那些不能預先知道的,就需要使用Downward API。 Downward API允許我們通過環境變數或者卷的方式嚮應用傳遞元資料。可傳遞的資料包括:Pod的IP、
vm12pro 安裝winxp過程 記錄1(涵個人問題)
amp so文件 com htm baidu bsp blog 過程 iso 1.百度的xp資源 選好iso文件後出現如下情景: 2.百度以後是要在一開始的首次界面就選擇從哪個盤開始 3.選擇了“Windowgs PE”選項…加載出界面後選擇了ghost xp…現在…黑屏
例項:建立一個表格,分頁顯示資料(MongoDB資料庫儲存),功能:實現增刪改查
需求:建立一個表格,分頁顯示資料,功能:實現增刪改查 效果圖: 自動建立一個專案 命令列: express mongodb-demo --view=ejs cd mongodb-demo npm install npm install mongodb --save npm sta
pytorch:實現簡單的GAN(MNIST資料集)
# -*- coding: utf-8 -*- """ Created on Sat Oct 13 10:22:45 2018 @author: www """ import torch from torch import nn from torch.autograd import Vari
大資料(十三):MapJoin(DistributedCache分散式快取)、資料清理例項與計數器應用
一、在map端表合併(DistributedCache分散式快取) 1.適用場景 適合用於關聯表中有小表的情形。 可以將小表分發到所有的
mac系統下nginx的詳細安裝過程及使用(適合新手)
介紹nginx,nginx配置說明,nginx安裝過程,Homebrew安裝及說明,nginx安裝及說明,nginx啟動,重啟,關閉,nginx出錯解決辦法,nginx常用指令及修改 目錄結構 · 前置條件:介紹nginx &nbs
機器學習筆記(十八):TensorFlow實戰十(影象資料處理)
1 - 引言 之前我們介紹了通過卷積神經網路可以給影象識別技術帶來突破性的進展,現在我們從影象的預處理這個角度來繼續提升我們影象識別的準確率。 輸入的預處理需要使用TFRecord格式來同一不同的原始資料格式,並且更加有效的管理不同的屬性。 並且TensorFlow支援影象處理函式,
Hive和SparkSQL:基於 Hadoop 的資料倉庫工具
Hive 前言 Hive 是基於 Hadoop 的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供完整的 SQL 查詢功能,將類 SQL 語句轉換為 MapReduce 任務執行。 資料組織格式 下面是直接儲存在HDFS上的資料組織方式 Table:每個表儲存在HDF
kubernetes安裝過程中錯誤(kube-dns 狀態一直是Pending,master節點是NotReady)
安裝環境如下: cenos7系統 kubeadm安裝方法 版本是:kubernetes1.10 K8s安裝完成後,發現所有的pod都起了,除了kube-dns ,顯示的狀態一直是Pending.