原文地址

附帶連結（待看）

中級篇學習筆記

進度：內容很多很雜，先看一下後半部分的hadoop生態系統。
操作：並未實際操作。

hadoop生態系統

最常用的是hive和hbase，因此著重學習這兩個。

hive相關學習

hive的概念

hive是hadoop的資料倉庫。
從這幾個角度來思考hive是什麼：它是什麼，有什麼功能，如何使用，與hadoop什麼關係，與hbase什麼關係。

hive是什麼
進度：已看完，但是仍未理解透徹，可能是因為沒有實戰。
操作：沒有實際操作。

1.hive是什麼
wiki百科：
The apahce Hive data warehouse software

facilitates querying and managing large datasets residing in distributed storage. Built on top of Apache Hadoop, it provides:
(1) tools to enable esay data extract/transform/load(ETL)
(2) a mechanism to impose structure on a variety of data formats
(3) access to files stored either directly in Apache HDFS or in orther storage systems such as Apache HBase
(4)query execution via MapReduce
上面英文的大致意思是：
Apache Hive資料倉庫軟體提供對儲存在分散式中的大型資料集的查詢和管理，它本身是建立在Apache Hadoop之上，主要提供以下功能：
（1）它提供了一系列的工具，可用來對資料進行提取/轉化/載入（ETL）；
（2）是一種可以儲存、查詢和分析儲存在HDFS（或者HBase）中的大規模資料的機制；
（3）查詢是通過MapReduce來完成的（並不是所有的查詢都需要MapReduce來完成，比如select * from XXX就不需要）
（4）在Hive0.11對類似select a,b from XXX的查詢通過配置也可以不通過MapReduce來完成
簡言之：Hive是一種建立在Hadoop檔案系統上的資料倉庫架構，並對儲存在HDFS中的資料進行分析和管理；（也就是說對儲存在HDFS中的資料進行分析和管理，我們不想使用手工，我們建立一個工具把，那麼這個工具就可以是hive）
ps：什麼是資料倉庫？
資料庫一般儲存線上交易資料，資料倉庫儲存的一般是歷史資料。

2.hive如何分析和管理資料
（1）Hive定義了一種類似SQL的查詢語言，被稱為HQL，對於熟悉SQL的使用者可以直接利用Hive來查詢資料。
（2）同時也允許開發者開發自定義的mappers和reducers來處理內建的mappers和reducers無法完成的複雜的分析工作。
（3）Hive可以允許使用者編寫自己定義的函式UDF，來在查詢中使用。Hive中有3種UDF：User Defined Functions（UDF）、User Defined Aggregation Functions（UDAF）、User Defined Table Generating Functions（UDTF）。

3.hive與hbase的聯絡與區別
共同點：
（1）hbase與hive都是架構在hadoop之上的。都是用hadoop作為底層儲存。
區別：
（1）Hive是建立在Hadoop之上為了減少MapReduce jobs編寫工作的批處理系統，HBase是為了支援彌補Hadoop對實時操作的缺陷的專案 。
（2）想象你在操作RMDB資料庫，如果是全表掃描，就用Hive+Hadoop,如果是索引訪問，就用HBase+Hadoop 。
（3）Hive本身不儲存和計算資料，它完全依賴於HDFS和MapReduce，Hive中的表純邏輯。Hbase是物理表，不是邏輯表，提供一個超大的記憶體hash表，搜尋引擎通過它來儲存索引，方便查詢操作。

hive安裝指導

hive的安裝分為單機與叢集安裝兩種。

進度：大致瀏覽過，對流程有了瞭解但是並未詳細看細節。
操作：目前並未實際安裝。
問題：樓下提的問題。
hive報Invalid maximum heap size: -Xmx4096m錯誤解決方法
[email protected]:~/hive-0.6.0bin/hiveInvalidmaximumheapsize:−Xmx4096mThespecifiedsizeexceedsthemaximumrepresentablesize.CouldnotcreatetheJavavirtualmachine.解決方法：/hive−0.6.0/bin/ext/util vim execHiveCmd.sh修改HADOOP_HEAPSIZE=4096為HADOOP_HEAPSIZE=256

1.前提
（1）安裝了hadoop-1.0.4正常執行
（2）安裝了hbase-0.94.3, 正常執行

2.下載
step1：從http://hive.apache.org下載hive-0.9.0
step2：建立目錄/hive
step3：將安裝檔案保存於/hive下

3.解壓縮
[[email protected] download]# cd /hive
[[email protected] hive]# ls
hive-0.9.0.tar.gz
[[email protected] hive]# tar xfz hive-0.9.0.tar.gz （這裡的xfz是什麼？？？）

[[email protected] hive-0.9.0]# ls
bin conf docs examples lib LICENSE NOTICE README.txt RELEASE_NOTES.txt scripts src
[[email protected] hive-0.9.0]#

4.配置
step1：進入conf目錄
[[email protected] hive-0.9.0]# cd conf
[[email protected] conf]# ls
hive-default.xml.template hive-env.sh.template hive-exec-log4j.properties.template hive-log4j.properties.template
[[email protected] conf]#

step2：首先複製幾個template檔案
[[email protected] conf]# cp hive-default.xml.template hive-default.xml
[[email protected] conf]# cp hive-env.sh.template hive-env.sh
[[email protected] conf]# cp hive-log4j.properties.template hive-log4j.properties
[[email protected] conf]# cp hive-exec-log4j.properties.template hive-exec-log4j.properties

step3：配置對應的配置檔案（這有點沒懂）
a: hive-default.xml
預設先不修改
b:hive-env.sh
預設的為256M，此處暫時不調整

step4：啟動
[[email protected] conf]# cd ../bin
[[email protected] bin]# ls
ext hive hive-config.sh
[[email protected] bin]# ./hive
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in file:/hive/hive-0.9.0/conf/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_root_201301032313_932376477.txt
hive>
hive> show tables;
OK
Time taken: 21.874 seconds
hive>

hive完全分散式叢集安裝過程（mysql）
上面需要說明的是hive預設資料庫並不是mysql，但是因為預設資料庫存在侷限，所以最好使用mysql。
進度：已經看完，每一步都理解了，但是具體要改的檔案和引數，沒法自己解決，得看著一步步操作才行。所以是理解了動作但是沒理解動作的含義和聯絡。
操作：未實際操作。

1.準備環境
Hadoop版本：0.20.2
Hive版本：0.9.0
mysql版本: 5.6.11

2.安裝
step1：在mysql中建立hive使用者，並且賦予足夠許可權
[[email protected] mysql]# mysql -u root -p
Enter password:

mysql> create user ‘hive’ identified by ‘hive’;
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on . to ‘hive’ with grant option;
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)

step2：測試hive使用者是否能正常連線mysql，並且建立hive資料庫
[[email protected] mysql]# mysql -u hive -p
Enter password:

mysql> create database hive;
Query OK, 1 row affected (0.00 sec)

mysql> use hive;
Database changed
mysql> show tables;
Empty set (0.00 sec)

step3：解壓縮hive安裝包
tar -xzvf hive-0.9.0.tar.gz
[[email protected] ~]cdhive−0.9.0[hadoop@node01hive−0.9.0] ls
bin conf docs examples lib LICENSE NOTICE README.txt RELEASE_NOTES.txt scripts src

step4：下載mysql連線java的驅動，並拷入hive home的lib下
[[email protected] ~]$ mv mysql-connector-java-5.1.24-bin.jar ./hive-0.9.0/lib

step5：修改環境變數，把hive加到PATH
/etc/profile
export HIVE_HOME=/home/hadoop/hive-0.9.0
export PATH=PATH:HIVE_HOME/bin

step6：修改hive-env.sh
[[email protected] conf]$ cp hive-env.sh.template hive-env.sh
[[email protected] conf]$ vi hive-env.sh

step7：拷貝hive-default.xml並命名為hive-site.xml
[[email protected] conf]$ cp hive-default.xml.template hive-site.xml
[[email protected] conf]$ vi hive-site.xml

修改四個關鍵配置 為上面mysql的配置（修改哪個檔案？）

step8：啟動hadoop，開啟hive shell測試
[[email protected] conf]$ start-all.sh

records在HDFS中就是一個檔案：
[[email protected] home]$ hadoop fs -ls /user/hive/warehouse/records
Found 1 items
-rw-r–r– 2 hadoop supergroup 7118627 2013-04-15 20:06 /user/hive/warehouse/records/access_log.txt

hive基本操作
重點兩個：熟練的增刪改查；與傳統資料庫的區別；更高階的是理解其中的原理，這樣遇到問題的時候就能自己解決。
進度：瀏覽完畢，但是語法這種東西不用的時候看過會就忘了。所以知道大概然後用的時候來看就行。
操作：未實際操作。
中級篇中有很多關於hive的學習連結，暫不詳細的一一去看了。

hive與hibase的結合使用

to be continued~