Stopping at depth=0 - no more URLs to fetch

看了好多版本的lnutch-1.2/conf/crawl-urlfilter.txt修改

從國內的：

urls/url.txt 或# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*\.)*163.com/

 者是urls/urllist.txt

http://www.163.com/

到國外的appache

# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*\.)*appache.com/

urls/url.txt 或者是urls/urllist.txt

http://www.appache.com/

看到有人說：nutch0.9 的url.txt要改成兩個相同地址，只有一個nutch會忽然掉第一個地址，所以就沒了。

也照做了，還是沒有辦法。

最後出現一個想法，因為hadoop的每個機器上的程式碼都要一致的。

之前已經配好了hadoop，已經啟動了。

再配置crawl-urlfilter.txt的時候，我沒有scp到其他的linux下。所以我嘗試著把crawl-urlfilter.txt檔案scp到其他的linux機器對應目錄上。再次 

hdfs  urls/url.txt裡的內容是：

$ nutch crawl  urls -dir crawl -depth 3 -topN 10
 

Generator: 0 records selected for fetching, exiting ...
Stopping at depth=1 - no more URLs to fetch.