crawler4j是Java實現的開源網路爬蟲。提供了簡單易用的介面，可以在幾分鐘內建立一個多執行緒網路爬蟲。

<dependency>
      <groupId>edu.uci.ics</groupId>
      <artifactId>crawler4j</artifactId>
      <version>4.2</version>
 </dependency>

編寫自定義爬蟲類MyCrawler

package com.hbk.test;

import java.util.Set;
import
 
 java.util.regex.Pattern;

import edu.uci.ics.crawler4j.crawler.Page;
import edu.uci.ics.crawler4j.crawler.WebCrawler;
import edu.uci.ics.crawler4j.parser.HtmlParseData;
import edu.uci.ics.crawler4j.url.WebURL;

/**
 * 自定義爬蟲類需要繼承WebCrawler類，決定哪些url可以被爬以及處理爬取的頁面資訊
 * 
 * @author 黃寶康 2017年8月29日 下午2:24:06
 */
 

public class MyCrawler extends WebCrawler {

    /**
     * 正則匹配指定的字尾檔案
     */
    private final static Pattern FILTERS = Pattern.compile(".*(\\.(css|js|gif|jpg|png|mp3|mp3|zip|gz))$");

    /**
     * 這個方法主要是決定哪些url我們需要抓取，返回true表示是我們需要的，返回false表示不是我們需要的Url
     * 第一個引數referringPage封裝了當前爬取的頁面資訊 第二個引數url封裝了當前爬取的頁面url資訊
     */
 

    @Override
    public boolean shouldVisit(Page referringPage, WebURL url) {
        String href = url.getURL().toLowerCase(); // 得到小寫的url
        return !FILTERS.matcher(href).matches() // 正則匹配，過濾掉我們不需要的字尾檔案
                && href.startsWith("http://zhdw.71zhihui.com"); // url必須是http://zhdw.71zhihui.com開頭，規定站點
    }

    /**
     * 當我們爬到我們需要的頁面，這個方法會被呼叫，我們可以盡情的處理這個頁面 page引數封裝了所有頁面資訊
     */
    @Override
    public void visit(Page page) {
        String url = page.getWebURL().getURL(); // 獲取url
        System.out.println("URL: " + url);
        if (page.getParseData() instanceof HtmlParseData) {// 判斷是否是html資料
            HtmlParseData htmlParseData = (HtmlParseData) page.getParseData(); // 強制型別轉換，獲取html資料物件
             String text = htmlParseData.getText();  // 獲取頁面純文字（無html標籤）
             String html = htmlParseData.getHtml();  // 獲取頁面Html
             Set<WebURL> links = htmlParseData.getOutgoingUrls();  // 獲取頁面輸出連結

             System.out.println("純文字: " + text);
             System.out.println("html: " + html);
             System.out.println("輸出連結個數: " + links.size());
        }
    }
}

編寫爬蟲控制器類Controller

package com.hbk.test;

import edu.uci.ics.crawler4j.crawler.CrawlConfig;
import edu.uci.ics.crawler4j.crawler.CrawlController;
import edu.uci.ics.crawler4j.fetcher.PageFetcher;
import edu.uci.ics.crawler4j.robotstxt.RobotstxtConfig;
import edu.uci.ics.crawler4j.robotstxt.RobotstxtServer;

/**
 * 爬蟲控制器
 * @author 黃寶康
 * 2017年8月29日 下午2:36:33
 */
public class Controller {

    public static void main(String[] args) throws Exception {
        String crawlStorageFolder = "c:/crawl"; // 定義爬蟲資料儲存位置
        int numberOfCrawlers = 7; // 定義7個爬蟲，也就是7個執行緒

        CrawlConfig config = new CrawlConfig(); // 定義爬蟲配置
        config.setCrawlStorageFolder(crawlStorageFolder); // 設定爬蟲檔案儲存位置

        /*
         * 例項化爬蟲控制器
         */
        PageFetcher pageFetcher = new PageFetcher(config); // 例項化頁面獲取器
        RobotstxtConfig robotstxtConfig = new RobotstxtConfig(); // 例項化爬蟲機器人配置 比如可以設定 user-agent

        // 例項化爬蟲機器人對目標伺服器的配置，每個網站都有一個robots.txt檔案 規定了該網站哪些頁面可以爬，哪些頁面禁止爬，該類是對robots.txt規範的實現
        RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher); 
        // 例項化爬蟲控制器
        CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer);

        /**
         * 配置爬蟲種子頁面，就是規定的從哪裡開始爬，可以配置多個種子頁面
         */
        controller.addSeed("http://zhdw.71zhihui.com");
        /**
         * 啟動爬蟲，爬蟲從此刻開始執行爬蟲任務，根據以上配置
         */
        controller.start(MyCrawler.class, numberOfCrawlers);
    }

}

執行Controller的main方法，爬起頁面結果在控制檯中輸出了html程式碼資料等。

專案中只用到了兩個類，一個pom.xml配置jar檔案依賴，適合初學者學習Crawler4j入門。

並且在磁碟上自動生成了以下檔案：

推廣連結

新款廚房臥室櫥櫃貼紙，大量有貨，支援分銷代銷，分享此內容到朋友圈，憑截圖找賣家免費領取保溫杯一個（包郵），活動真實有效，每天只有前60個名額，發貨領取獎品請掃碼聯絡店主。