（1）定義資料庫爬取的title：

package shuju;

public class baidu {

    private String author;// 編號

    public String getAuthor() {
        return author;
    }

    public void setAuthor(String author) {
        this.author = author;
    }

    public String toString() {
        return "shuju [author=" + author + "]"
 
;
    }
}

（2）連線到資料庫 （dao檔案）

package shuju;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class baiduDao {

    private Connection conn = null;
    public baiduDao() {
        try {
            Class.forName("com.mysql.jdbc.Driver"
 
);
            String url =   "jdbc:mysql://localhost:3306/test?"
                    + "user=root&password=******&useUnicode=true&characterEncoding=UTF8";

            //String url = "jdbc:mysql://127.0.0.1:3306/test?user=root&password=******";

            conn = DriverManager.getConnection(url);
            conn.createStatement();
        } catch
 
 (ClassNotFoundException e) {
            e.printStackTrace();
        } catch (SQLException e) {
            e.printStackTrace();
        }

    }

    public int add(baidu shuju) {
        try {
            String sql = "INSERT INTO `test`.`shuju` (`author`) VALUES (?);";
            PreparedStatement ps = conn.prepareStatement(sql);
            ps.setString(1, shuju.getAuthor());

            return ps.executeUpdate();
        } catch (SQLException e) {
            e.printStackTrace();
        }
        return -1;
    }
}

（3）定製爬蟲的核心部分

package shuju;

import java.util.List;

import javax.management.JMException;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.monitor.SpiderMonitor;
import us.codecraft.webmagic.pipeline.JsonFilePipeline;
import us.codecraft.webmagic.processor.PageProcessor;
 /** 
    定製爬蟲的核心部分
 */  
public class baiduzhengti implements PageProcessor {  
    private Site site = Site.me().setSleepTime(1);  
    public Site getSite() {  
        return site;  
    }  
    int temp=1;  
     //process（過程）  
     //學科列表
     //初始頁面的url的正則表示式
    public static final String URL_LIST=
            "http://zhidao\\.baidu\\.com/list\\?"
            +"cid=110106\\&tag=\\w+";

       //某學科的問題列表
       //問題頁面的正則表示式
      public static final String URL_AIRICLE = 
            "http://zhidao\\.baidu\\.com/question"
            +"/\\d+\\.html\\?fr=qlquick\\&entry"
            +"=qb_list_default";

    public void process(Page page) {  
        //class是每個頁面中問題列表中單個問題的url
        List<String> pages = page.getHtml().xpath("[@class='question-list-item']").links().all(); 
        //如果進入這個頁面後class符合要求那麼就將其連結加入爬取佇列
        page.addTargetRequests(pages);
        //將資料存入資料庫
        baidu shuju = new baidu();
        //將列表中的一條開啟後的頁面的標題獲取。class為單個問題頁面的class。
        page.putField("title", page.getHtml().xpath("//[@class='ask-title']/text()").toString()); 
        shuju.setAuthor(page.getHtml().xpath("//[@class='ask-title']/text()").get());       
        new baiduDao().add(shuju);
        // 把物件輸出控制檯
        System.out.println(shuju);
        // System.out.println(pages);
    }

    //執行這個main方法，即可在控制檯看到抓取結果。webmagic預設有3秒抓取間隔，請耐心等待。  
    public static void main(String[] args) {  
        //Spider是爬蟲的入口類,addurl為入口url  
        Spider oschinaSpider = Spider.create(new baiduzhengti()).addUrl("http://zhidao.baidu.com/list?cid=110106&tag=JSP")   //Pipeline是結果輸出和持久化的介面，這裡ConsolePipeline表示結果輸出到控制檯  

//類                     說明                  備註
//ConsolePipeline 輸出結果到控制檯  抽取結果需要實現toString方法
//FilePipeline     儲存結果到檔案  抽取結果需要實現toString方法
//JsonFilePipeline     JSON格式儲存結果到檔案     
//ConsolePageModelPipeline (註解模式)輸出結果到控制檯    
//FilePageModelPipeline   (註解模式)儲存結果到檔案  
//JsonFilePageModelPipeline   (註解模式)JSON格式儲存結果到檔案   想要持久化的欄位需要有getter方法
.addPipeline(new JsonFilePipeline("F:/data")); 
 //將檔案存貯到本地繼續進行解析jsoup
        try {  
            //新增到JMT監控中  
            SpiderMonitor.instance().register(oschinaSpider);  
            //設定執行緒數  
            //oschinaSpider.thread(5);  
            oschinaSpider.run();  
        } catch (JMException e) {  
            e.printStackTrace();  
        }   
    }  
}