一、搜尋引擎的原理簡介

1.一個抓網路頁面程式

把www中的各網站的內容抓到本地

2.一個檔案解析工具

把抓下來的html、doc等原始檔處理為更精確的格式文字

3.一個全文檢索、分詞、資料探勘，解析文字，把資料抓到結構化資料庫中

可以採取工具軟體，未必要自己寫。資料庫可以是檔案資料庫。

4.開發一個搜尋頁面，從資料庫裡查詢關鍵字

對查詢關鍵字，進行一些邏輯處理。然後返回名稱和url到頁面。

二、Lucene和Nutch簡介

而nutch是基於lucene的一個完整的搜尋引擎，包括了上述4個方面。即適合入門，也適合在這個上面做二次開發。http://lucene.apache.org/nutch/

三、下載

下載cygwin，一個在windows下模擬Linux的嵌入式系統，http://www.cygwin.com/

JDK，1.5.X以上

Tomcat

四、安裝

安裝完後需要設定一下幾個環境變數：

JAVA_HOME，設定成你安裝的Jdk的路徑，比如D:/soft/jdk6

NUTCH_JAVA_HOME，設定成和JAVA_HOME一樣

TOMCAT_HOME，設定Tomcat的安裝目錄，比如D:/Soft/Tomcat60

把這些新增到Path中，%JAVA_HOME%/bin;TOMCAT_HOME%/bin/

CLASSPATH，新增 .;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar

參考Intranet Crawling部分。只是有幾個需要注意：

1.建立urls檔案

在nutch目錄下，建立urls目錄，在urls目錄下，建立nutch初始爬取檔案，格式為txt，檔名任意，裡面設定搜尋的站點起始位，如加入：

2.修改nutch下的conf/crawl-urlfilter.txt檔案，將# accept hosts in MY.DOMAIN.NAME這行下的

MY.DOMAIN.NAME修改成你想抓取的域名，比如修改成下面這樣的：

+^http://([a-z0-9]*/.)*apache.org/，表示要抓取apache的網頁

3.conf/nutch-site.xml檔案的http.agent.name，一定要定義值

<property>

<name>http.agent.name</name>

<value></value>///這裡一定要定義

</property >

如果報NullPointerException，nutch-default.xml裡面的http.agent.name也要定義。

nutch-site.xml裡，還要定義搜尋目錄，即抓下來的程式放置的地方。

<property>

<name>searcher.dir</name>

<value>D:/website</value>

</property>

4.執行命令

在cygwin裡執行，或者把cygwin/bin目錄加到path裡，直接在command視窗執行執行命令，要通過bash跑，比如tutorial8.html的命令是

bin/nutch crawl urls -dir crawl -depth 3 -topN 50

在windows下，要這麼跑

bash bin/nutch crawl urls -dir crawl -depth 3 -topN 50

5.配置Tomcat

把nutch-1.0.war複製到Tomcat下的webapps裡，啟動Tomcat，會自動deploy。

再關閉Tomcat，到webapps/nutch-1.0目錄下的WEB-INF/classes裡的nutch-site.xml裡，增加搜尋的目錄

<property>

<name>searcher.dir</name>

<value>D:/website</value>

</property>

為了支援中文，在tomcat/conf的server.xml裡的<Connector port="8080" protocol="HTTP/1.1" 裡面，增加URIEncoding="UTF-8" useBodyEncodingForURI="true"配置，

最後如：

<Connector port="8080" protocol="HTTP/1.1"

connectionTimeout="20000"

redirectPort="8443"

URIEncoding="UTF-8" useBodyEncodingForURI="true"/>

6. Luke

用JRE開啟lukeall-0.7.1.jar，選擇下載的目錄的index，如D:/website/index，開啟就可以圖形化檢視索引資料庫，如關鍵字，還可以查詢。

具體參考Luke的圖示