1. 程式人生 > >nutch系列2——nutch2.x的編譯、安裝和配置

nutch系列2——nutch2.x的編譯、安裝和配置

也可以通過命令的形式直接下載:

wget http://mirror.bit.edu.cn/apache/nutch/2.3.1/apache-nutch-2.3.1-src.tar.gz 

2、解壓nutch(目錄:/opt/work/)

tar zxvf apache-nutch-2.3.1-src.tar.gz 

3、修改 $NUTCH_HOME/conf/nutch-site.xml 在 configuration節點中增加如下內容:

<property>
    <name>storage.data.store.class</name>
    <value
>
org.apache.gora.hbase.store.HBaseStore</value> <description>Default class for storing data</description> </property>

4、修改 $NUTCH_HOME/ivy/ivy.xml 去掉如下注釋,啟用 gora-hbase:

<!-- Uncomment this to use HBase as Gora backend. -->

<dependency org="org.apache.gora" name
="gora-hbase" rev="0.6.1" conf="*->default" />

這裡寫圖片描述

5、修改$NUTCH_HOME/conf/gora.properties ,新增如下內容:

gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

這裡寫圖片描述

6、配置倉庫地址
這邊解釋一下:如果不配置國內的映象,使用官網的映象,會出現不明的異常。保險起見

修改ivy中配置的maven倉庫地址,具體方法:$NUTCH_HOME/ivy/ivysettings.xml 找到如下程式碼:

 <property name="repo.maven.org"
value="http://maven.oschina.net/content/groups/public/" override="false"/>

這裡寫圖片描述

7、接下來回到$NUTCH_HOME 目錄
執行:

ant runtime

需要等待比較久的時間,因為要去遠端下載依賴jar包

這裡寫圖片描述

出現以上 SUCCESSFUL表示編譯成功…

8、配置環境變數
編輯/etc/profile

vim /etc/profile

加入以下程式碼:

export NUTCH_HOME=/opt/work/apache-nutch-2.3.1/runtime/local
export PATH=$NUTCH_HOME/bin:$PATH

這裡寫圖片描述

這裡寫圖片描述