1. 程式人生 > >Hadoop 2.2 & HBase 0.96 Maven 依賴總結

Hadoop 2.2 & HBase 0.96 Maven 依賴總結

由於Hbase 0.94對Hadoop 2.x的支援不是非常好,故直接新增Hbase 0.94的jar依賴可能會導致問題。

     但是直接新增Hbase0.96的依賴,由於官方並沒有釋出Hbase 0.96的jar包,通過maven編譯專案的時候會出現找不到jar包導致編譯失敗。

     通過網上的資料,得知Hbase 0.94後版本,直接新增Hbase-Client的依賴,通過查詢得知需要以下依賴:

  1. <dependency>
  2.     <groupId>commons-io</groupId>
  3.     <artifactId>commons-io</artifactId>
  4.     <version>1.3.2</version>
  5.  </dependency
    >
  6.  <dependency>
  7.     <groupId>commons-logging</groupId>
  8.     <artifactId>commons-logging</artifactId>
  9.     <version>1.1.3</version>
  10. </dependency>
  11. <dependency>
  12.     <groupId>log4j</groupId>
  13.     <artifactId>log4j</artifactId>
  14.     <version
    >1.2.17</version>
  15. </dependency>
  16. <dependency>
  17.     <groupId>org.apache.hbase</groupId>
  18.     <artifactId>hbase-client</artifactId>
  19.     <version>0.96.1-hadoop2</version>
  20. </dependency>
  21. <dependency>
  22.     <groupId>com.google.protobuf</groupId>
  23.     <
    artifactId>protobuf-java</artifactId>
  24.     <version>2.5.0</version>
  25. </dependency>
  26. <dependency>
  27.     <groupId>io.netty</groupId>
  28.     <artifactId>netty</artifactId>
  29.     <version>3.6.6.Final</version>
  30. </dependency>
  31. <dependency>
  32.     <groupId>org.apache.hbase</groupId>
  33.     <artifactId>hbase-common</artifactId>
  34.     <version>0.96.1-hadoop2</version>
  35. </dependency>
  36. <dependency>
  37.     <groupId>org.apache.hbase</groupId>
  38.     <artifactId>hbase-protocol</artifactId>
  39.     <version>0.96.1-hadoop2</version>
  40. </dependency>
  41. <dependency>
  42.     <groupId>org.apache.zookeeper</groupId>
  43.     <artifactId>zookeeper</artifactId>
  44.     <version>3.4.5</version>
  45. </dependency>
  46. <dependency>
  47.     <groupId>org.cloudera.htrace</groupId>
  48.     <artifactId>htrace-core</artifactId>
  49.     <version>2.01</version>
  50. </dependency>
  51. <dependency>
  52.     <groupId>org.codehaus.jackson</groupId>
  53.     <artifactId>jackson-mapper-asl</artifactId>
  54.     <version>1.9.13</version>
  55. </dependency>
  56. <dependency>
  57.     <groupId>org.codehaus.jackson</groupId>
  58.     <artifactId>jackson-core-asl</artifactId>
  59.     <version>1.9.13</version>
  60. </dependency>
  61. <dependency>
  62.     <groupId>org.codehaus.jackson</groupId>
  63.     <artifactId>jackson-jaxrs</artifactId>
  64.     <version>1.9.13</version>
  65. </dependency>
  66. <dependency>
  67.     <groupId>org.codehaus.jackson</groupId>
  68.     <artifactId>jackson-xc</artifactId>
  69.     <version>1.9.13</version>
  70. </dependency>
  71. <dependency>
  72.     <groupId>org.slf4j</groupId>
  73.     <artifactId>slf4j-api</artifactId>
  74.     <version>1.6.4</version>
  75. </dependency>
  76. <dependency>
  77.     <groupId>org.slf4j</groupId>
  78.     <artifactId>slf4j-log4j12</artifactId>
  79.     <version>1.6.4</version>
  80. </dependency>

    若要使用org.apache.hadoop.hbase.mapreduce的API,需要加上:

                <dependency>

                        <groupId>org.apache.hbase</groupId>

                       <artifactId>hbase-server</artifactId>

                       <version>0.96.1-hadoop2</version>

               </dependency>

     最後,把Hadoop的依賴也貼上來,以防自己忘記:

           <!--hdoop-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.3.0</version>
        </dependency>
        <dependency>
            <groupId>commons-configuration</groupId>
            <artifactId>commons-configuration</artifactId>
            <version>1.6</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>2.3.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.3.0</version>
        </dependency>

相關推薦

Hadoop 2.2 & HBase 0.96 Maven 依賴總結

由於Hbase 0.94對Hadoop 2.x的支援不是非常好,故直接新增Hbase 0.94的jar依賴可能會導致問題。      但是直接新增Hbase0.96的依賴,由於官方並沒有釋出Hbase 0.96的jar包,通過maven編譯專案的時候會出現找不到jar包導致

spark1.4 讀取hbase 0.96 報錯 java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytes

spark接hbase讀取資料: val sc = new SparkContext(sparkConf) val conf = HBaseConfiguration.create()

關於hadoop各種專案中用到的maven依賴

-----------------scala-spark <dependencies>         <!--spark依賴-->         <dependency>

Flume-ng將資料插入hdfs與HBase-0.96.0

問題導讀:1.如何配置分散式flume2.master與node之間該如何配置,有什麼異同?3.啟動命令是什麼?4.flume把資料插入hbase,該如何配置?一、Flume-ng配置插入hdfs1)簡介 Flume是一個分散式、可靠、和高可用的海量日誌聚合的系統,支援在系統中定製各類資料傳送方,用於收集資

Hbase MapReduce的Maven依賴

由於Hbase 0.94對Hadoop 2.x的支援不是非常好,故直接新增Hbase 0.94的jar依賴可能會導致問題。      但是直接新增Hbase0.96的依賴,由於官方並沒有釋出Hbase 0.96的jar包,通過maven編譯專案的時候會出現找不到jar包導

hbase-2.1.0 程式設計 , 缺少 hadoop-auth-2.7.4.jar ?

問題: maven倉庫映象設定為     <mirror>       <id>alimaven</id>       <mirrorOf>central</mirrorOf>       <name>

maven課程 專案管理利器-maven 3-7 maven依賴範圍 2

本節主要講了maven的依賴範圍: 在pom.xml   dependency標籤的scope中。eclipse中有編譯的路徑,maven中有編譯,執行,測試的路徑。   1  scope為test,為測試路徑,多為junit jar包 2  scope為compile,

Hadoop-1.2.1/1.0.1 install on Ubuntu

1.hadoop-1.2.1官方包:點我    Hadoop-1.0.1官方包:點我 1.1 解壓到home目錄中的Hadoop下 sudo tar -zxvf 包名 cd hadoop-1.2.1 2.jdk 1.6 點我  &nbs

spark-2.2.0 叢集安裝部署以及hadoop叢集部署

Spark在生產環境中,主要部署在安裝Linux系統的叢集中。在linux系統中安裝Spark需要預先安裝JDK、Scala等所需要的依賴。 由於Spark是計算框架,所以需要預先在叢集內有搭建好儲存資料的持久化層,如HDFS、Hive、Cassandra等,最後可以通過啟動指令碼執行應用。

技術分享2018/11/2-Maven依賴作用範圍

Maven 依賴作用範圍 scope 取值 有效範圍(compile,runtime,test) 依賴傳遞 舉例 test test 否 JUnit

Hadoop 2.2.0 環境 HIVE 0.11安裝

  準備工作: 1、Hadoop 2.2.0環境執行正常; 2、下載HIVE0.11版本。     操作步驟: 1、解壓HIVE 0.11的檔案 tar zxvf hive-0.11.0-bin.tar.gz -C /opt 2、修改

Hadoop 2.2.0下Pig安裝及Pig的基礎使用

準備工作: 1、正常執行的Hadoop2.2.0環境; 2、自行編譯好適用於Hadoop2.2.0環境的的Pig 0.12.0版本。     1)NameNode的機器上安裝apache-ant,將ant的可執行檔案路徑放入環境變數PATH中; &nbs

hadoop 2.2.0 執行MapReduce程式

  環境: 2臺虛擬機器搭建Hadoop環境 系統Fedora 10 Hadoop 2.2.0   準備工作: 1、Hadoop 2.2.0 環境配置執行 2、建立Hdfs的輸入資料夾和輸入檔案: hadoop fs -copyFromLoca

Missing artifact com.oracle:ojdbc6:jar:11.2.0.3 Maven中不能引入ojdbc解決方法

今天在建立Maven專案的時候出現了一個問題,在POM檔案的overview窗口出現**Missing artifact com.oracle:ojdbc6:jar:11.2.0.3。**提示,著實不知道是啥情況。 在網上找了半天資料才知道,原來objdc6.j

編譯 hadoop 2.2.0

2013-10-17 周海漢 /文 2013.10.17 Hadoop 2.2 是 Hadoop 2 即yarn的第一個穩定版。並且解決單點問題。 maven安裝 解壓後放到/usr/local目錄下。 增加國內m

yarn hadoop mapreduce 2.0 編譯

2012-09-19 周海漢 /文 2012.9.19 ## 下載 [[email protected] ~]$ wget http://labs.mop.com/apache-mirror/hadoop/ch

Windows環境下搭建Hadoop(2.6.0)+Hive(2.2.0)環境並連線Kettle(6.0)

前提:配置JDK1.8環境,並配置相應的環境變數,JAVA_HOME 一.Hadoop的安裝   1.1 下載Hadoop (2.6.0) http://hadoop.apache.org/releases.html     1.1.1 下載對應版本的winutils(https://gith

hadoop 2.2.0編譯WordCount

javac -classpath common/hadoop-common-2.2.0.jar:common/lib/commons-cli-1.2.jar:common/lib/hadoop-annotations-2.2.0.jar:mapreduce/hadoop-m

open-vm-tools-dkms : 依賴: open-vm-tools (>= 2:9.4.0-1280544-5ubuntu3) 但是它將不會被安裝

我的環境: [email protected]:~/桌面$ cat /proc/version Linux version 3.16.0-30-generic ([email protected]) (gcc version 4.8.2 (Ubuntu

kettle 5.1.0 連線 Hadoop hive 2 (hive 1.2.1)

1. 配置HiveServer2,在hive-site.xml中新增如下的屬性 <property>     <name>hive.server2.thrift.bind.host</name>     <value>192.