1. 程式人生 > >hive-1.1.0-cdh5.7.0 的編譯安裝並修改元資料儲存資料庫為MySQL

hive-1.1.0-cdh5.7.0 的編譯安裝並修改元資料儲存資料庫為MySQL

1 準備工作

1.1 配置jdk1.7

1.2 部署MySQL

1.3 安裝maven

1.4編譯安裝 hadoop-2.6.0-cdh5.7.0.src.tar.gz

1.5建立hadoop使用者

 安裝的目錄結構:/opt/software

參考該部落格
下載地址(hive-1.1.0-cdh5.7.0 和 hadoop-2.6.0-cdh5.7.0.src.tar.gz )

2 下載hive-1.1.0-cdh5.7.0-src.tar.gz(版本號要對應)

下載:hive-1.1.0-cdh5.7.0-src.tar.gz
[[email protected]
software]$wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz
  • 我在解壓的時候出現了一個問題 :Exiting with failure status due to previous errors
    解決方法:切換至root使用者進行解壓或者賦予零食root許可權即加上sudo。

3 編譯,解壓

[root@zydatahadoop001 hive-1.1.0-cdh5.7.0]# mvn clean package -DskipTests -Phadoop-2 -Pdist

編譯之後,會在原始碼目錄下面的packaging/target目錄下面生成一個tar包,相關的hive模組jar包都能在這個tar包裡面找到。
檔名稱:apache-hive-1.1
.0-cdh5.7.0-bin.tar.gz 把編譯好的檔案mv到software目錄下 解壓: [root@zydatahadoop001 software]#tar -zxvf apache-hive-1.1.0-cdh5.7.0-bin.tar.gz

4 安裝部署

4.1 修改使用者和使用者組

檢視下載好的hive-1.1.0-cdh5.7.0
這裡已經把編譯好的mv到了software目錄下
[[email protected] software]# ll
total 460064
drwxr-xr-x.  8 root   root        4096 Jan 14 05:22
apache-hive-1.1.0-cdh5.7.0-bin -rw-r--r--. 1 root root 105763125 Jan 14 02:57 apache-hive-1.1.0-cdh5.7.0-bin.tar.gz drwxr-xr-x. 6 root root 4096 Nov 10 2015 apache-maven-3.3.9 -rw-r--r--. 1 root root 8617253 Jan 14 2018 apache-maven-3.3.9-bin.zip lrwxrwxrwx. 1 hadoop hadoop 35 Jan 14 01:23 hadoop -> /opt/software/hadoop-2.6.0-cdh5.7.0 drwxr-xr-x. 15 hadoop hadoop 4096 Jan 14 01:50 hadoop-2.6.0-cdh5.7.0 -rw-r--r--. 1 root root 311585484 Jan 13 23:29 hadoop-2.6.0-cdh5.7.0.tar.gz drwxrwxr-x. 32 root root 4096 Jan 14 02:46 hive-1.1.0-cdh5.7.0 -rw-r--r--. 1 root root 14652104 Jan 13 21:46 hive-1.1.0-cdh5.7.0-src.tar.gz -rw-r--r--. 1 root root 29966286 Jan 14 2018 sqoop-1.4.6-cdh5.7.0.tar.gz [[email protected] software]# chown -R hadoop:hadoop apache-hive-1.1.0-cdh5.7.0-bin 建立軟連線兵修改使用者和使用者組: [[email protected] software]# ln -s apache-hive-1.1.0-cdh5.7.0-bin hive [[email protected] software]# chown -R hadoop:hadoop hive [[email protected] software]# chown -R hadoop:hadoop hive/* (這裡沒什麼要進行兩次chown呢? 對軟連線使用chown和資料夾使用chown的區別,以前部落格中有介紹。)

4.2 新增HIVE_HOME到系統環境變數

[[email protected] ~]# vi /etc/profile
新增下面內容:
export HIVE_HOME=/opt/software/hive

export PATH=$HIVE_HOME/bin:$PATH

4.3Hive配置修改(hive-env.sh)

[[email protected] hive]$ cd conf/

修改hive-env.sh.template 為 hive-env.sh
[[email protected] conf]$ cp hive-env.sh.template  hive-env.sh
[[email protected] conf]$ vi hive-env.sh

在hive-env.sh新增一行
# Set HADOOP_HOME to point to a specific hadoop install directory
# HADOOP_HOME=${bin}/../../hadoop
新增該行:
HADOOP_HOME=/opt/software/hadoop

4.4 新增hive-site.xml mysql的連線檔案(統一的元元資料管理)

建立資料夾hive-site.xml
[[email protected] conf]$ vi hive-site.xml

新增下面的內容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/basic01?createDatabaseIfNotExist=true</value>  (自動建立basic01資料庫)
    </property>
    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        </property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>  (使用者名稱)
    </property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>   (密碼)
    </property>
</configuration>

4.5在lib下新增mysql驅動包

上傳mysql驅動
[hadoop@zydatahadoop001 lib]$ rz

解壓
[hadoop@zydatahadoop001 lib]$ unzip mysql-connector-java-5.1.45

將mysql-connector-java-5.1.45-bin.jar移動到lib目錄下:
[hadoop@zydatahadoop001 lib]$ cp mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar .

5 建立表進行測試

啟動hive:
[[email protected] hive]$ hive
which: no hbase in (/usr/java/jdk1.8.0_45/bin:/opt/software/hive/bin:/opt/software/hadoop-cdh/sbin:/opt/software/hadoop-cdh/bin:/opt/software/findbugs-1.3.9/bin:/usr/local/protobuf/bin:/opt/software/apache-maven-3.3.9/bin:/usr/java/jdk1.8.0_45/bin:/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin)

Logging initialized using configuration in jar:file:/opt/software/hive-1.1.0-cdh5.7.0/lib/hive-common-1.1.0-cdh5.7.0.jar!/hive-log4j.properties

hive> show databases;
OK
default
Time taken: 1.548 seconds, Fetched: 1 row(s)
hive> use default;
OK
Time taken: 0.086 seconds

建立一張表:
hive> create table helloword (id int,name string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

hive> show tables;
OK
helloword
Time taken: 0.145 seconds, Fetched: 1 row(s)

向表中新增資料
hive> load data local inpath '/home/hadoop/helloword.txt' into table helloword;
Loading data to table default.helloword
Table default.helloword stats: [numFiles=1, totalSize=27]
OK
Time taken: 9.705 seconds
hive> select * from helloword;
OK
1       zhangsan
2       lisi
3       wangwu
Time taken: 0.294 seconds, Fetched: 3 row(s)

相關推薦

hive-1.1.0-cdh5.7.0編譯安裝修改資料儲存資料庫MySQL

1 準備工作 1.1 配置jdk1.7 1.2 部署MySQL 1.3 安裝maven 1.4編譯安裝 hadoop-2.6.0-cdh5.7.0.src.tar.gz 1.5建立hadoop使用者 安裝的目錄結構:/opt/s

Spark-2.1.0-hadooop-2.6.0-cdh5.7.0原始碼編譯

       目前 Spark 編譯指令碼已經將Maven 整合進來了,以方便編譯以及部署。這個指令碼將會在它本地 build/ 編譯目錄自動下載和安裝所有編譯過程中所必需的( Maven,Scala 和 Zinc )。可以手動修改dev/make-distribution

[Hadoop] CentOS7 安裝flume-ng-1.6.0-cdh5.7.0

1. Flume 安裝部署 根據官方文件描述,市面上的Flume主流版本有兩個:0.9.x and 1.x。這兩個版本差異非常非常大,舊版本已經被淘汰了,要用的話就使用新版本。當然本文中既定版本為cd

CDH版hadoop2.6.0-cdh5.7.0原始碼編譯

前置要求 hadoop2.6.0-cdh5.7.0 原始碼包 下載 jdk 1.7+ 下載 maven 3.0+ 下載 protobuf 2.5+ 下載 安裝依賴庫 $>yum install -y svn ncurses-devel gcc

spark2.4 整合 hadoop2.6.0-cdh5.7.0 原始碼編譯

1.前置要求 java 8 + maven 3.5.4 + scala 2.11 2.下載 spark2.4 原始碼包 在spark官網 下載頁面中選擇對應的spark版本和原始碼包 [[email protected] softwore

Spark 2.2原始碼編譯 & 支援hadoop-2.6.0-cdh5.7.0

JDK & Maven & Scala & Git軟體安裝 & 前置準備 編譯Spark原始碼的前置要求: Maven 3.3.9 or newer Java 8+ Scala Git(後文會通過分析make-d

Mac 安裝Hadoop-2.6.0-cdh5.7.0偽分散式

下載Hadoop-2.6.0-cdh5.7.0 單機下載自己需要的版本,我下載的是hadoop-2.6.0-cdh5.7.0 一. 解壓 tar -zxvf hadoop-2.6.0-cdh5.7.0.

hadoop-2.6.0-cdh5.7.0偽分散式搭建

1,這個我們是直接在linux中下載hadoop-2.6.0-cdh5.7.0,(當然你也可以在本地下載後再上傳,這步就可以忽略)首先確保你的虛擬機器有網路,可以先ping百度測試有網沒,如下程式碼就是有網路的情況。 [[email protected

hive修改預設資料儲存資料庫derby改mysql

進入mysql mysql -uroot -p //預設沒有密碼 為hive建立相應的使用者以及密碼 CREATE USER 'hive' IDENTIFIED BY 'mysql'; 授權hive使用者訪問許可權 GRANT ALL

spark2.1.0編譯 cdh5.7.0版本

一、實現目標 從spark官網下載2.1.0的原始碼,然後編譯對應hadoop版本的spark,從而可以解決很多相容性問題,使程式執行環境更加優越,順暢。 二、環境準備 1.硬體 無論雲主機還是虛擬機器,記憶體一定要4G以上,最好8G+。 2.軟體 (1)java:spark

hadoop2.6.0-cdh5.7.1偽分散式編譯安裝

環境相關: OS:CentOS release 6.9 IP:192.168.1.10 MEM:10G(推薦4G以上) DISK:50G 1. 主機克隆,基礎環境部署 參照《CentOS6實驗機模板搭建部署》 克隆一臺實驗機,調整記憶體為10G,並

安裝impala報錯python-setuptools is needed by impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86

安裝impala的rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm報錯 [[email protected] soft]# rpm -ivh impala-ku

編譯打包spark-1.6.0-cdh5.11.0-src詳細過程及問題記錄

簡介 要深入學習spark,閱讀原始碼,修改原始碼,學會自己編譯打包spark是必須邁過的一道坎。折騰了兩天,先後編譯打包了spark-1.6.0-cdh5.11.0-src,spark-1.6.0-cdh5.13.0-src版本,現在記錄過程,及遇到的問題如下。 環境

阿里雲虛擬機器搭建Hadoop-2.6.0-cdh5.7.1安裝詳解(偽分散式環境)

首先先搭配安全組 開啟映象後輸入以下內容:             重要:  yum -y install lrzsz HOSTNAME=(自己的主機名字) hostname $HOSTNAME echo "$(grep -E '127|::1' /etc/host

hive-1.1.0-cdh5.14.0安裝

平臺:    Linux系統所需安裝軟體:    mysql下載軟體:安裝hive:解壓:tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C /home/hadoop/apps進入hive:cd /home/hadoop/apps/hive-1.

深度學習服務器環境配置: Ubuntu17.04+Nvidia GTX 1080+CUDA 9.0+cuDNN 7.0+TensorFlow 1.3

顯卡 right const andrew ng extra framework abi credit packages 本文來源地址:http://www.52nlp.cn/tag/cuda-9-0 一年前,我配置了一套“深度學習服務器”,並且寫過兩篇關於深度學習服務器環

使用Hbase協作器(Coprocessor)同步資料到ElasticSearch(hbase 版本 1.2.0-cdh5.8.0, es 2.4.0 版本)

參考 https://gitee.com/eminem89/Hbase-Observer-ElasticSearch 上面的程式碼,但是由於我的es版本是2.4.0 和作者的版本不對應導致功能無法正常使用,所以特此記錄修改成能參考   程式碼如

cdh5.7.0偽分散式叢集之hive安裝

基本環境及軟體: 軟體版本 軟體包 centos-6.4   JDK-1.8 jdk-8u191-linux-x64.tar.gz hadoo

安裝CUDA 9.0時,NIVDIA安裝程式失敗,解決方法。win10+vs2017+python 3.6+cuda 9.0+cudnn 7.0+tensorflow 1.5

在win10+vs2017+python 3.6+cuda 9.0+cudnn 7.0+tensorflow 1.5的環境配置過程中,安裝cuda 9.0就一直出錯,一直無法安裝,如下圖(找不到9.0的圖片,就用了個8.0失敗的圖片)好,現在就來說解決方法:就是清楚所有的顯示

Hive-0.13.1本地獨立模式安裝 資料儲存到MariaDB-10.1.0 Hadoop-2.4.0

tar -zxvf apache-hive-0.13.1-bin.tar.gz 解壓後,編輯java.sh(java.sh為自己建立的指令碼): vim /etc/profile.d/java.sh export HIVE_HOME=/opt/modules/hive/apache-hive-0.13.1