由於今日頭條等頭條類產品的出現，以今日頭條為代表所使用的爬蟲技術正在逐漸火熱，在爬蟲領域具有良好效能和較好效果的Python在最近一年的時間裡逐漸火熱起來，同時因為Python良好的資料分析和機器學習的能力，Python的應用越來越廣泛。不過，今天我們要提到的是基於java 的簡單爬蟲，為使用java作為開發語言的人做一個參考。

爬蟲實現

HttpClient 是 Apache Jakarta Common 下的子專案，可以用來提供高效的、最新的、功能豐富的支援 HTTP 協議的客戶端程式設計工具包，並且它支援 HTTP 協議最新的版本和建議。

jsoup 是一款Java 的HTML解析器，可直接解析某個URL地址、HTML文字內容。它提供了一套非常省力的API，可通過DOM，CSS以及類似於jQuery的操作方法來取出和操作資料。

httpClient操作程式碼,值得注意的是，我們將html存入資料庫的時候，最好將資料庫對應的欄位設定為text型別或者是longtext型別。存入的時候使用setString即可。否則可能 出現。Data too long for row錯誤。

public class pachongMain {

    public static void main(String[] args) throws Exception {
        for (int j = 2000; j >0; j = j - 1) {
            CloseableHttpClient client = HttpClients.createDefault();
            HttpGet get
 
 = new HttpGet("http://www.bysocket.com/?p=" + j);



            HttpResponse response = client.execute(get);
//          System.out.println(response.getStatusLine().getStatusCode());
            if (response.getStatusLine().getStatusCode() !=200 ) {
                continue ;
            }
            HttpEntity entity = response.getEntity();
            String content = EntityUtils.toString(entity, "utf-8"
 
);
                        // 使用Jsoup解析網頁
            Document doc = Jsoup.parse(content);
            Elements element3 = doc.select("h1[class=entry-title]");
            String title = element3.text();


            Elements element2 = doc.select("div[class=entry-content]");
            String article =element2.html();
           new StoreData().store(j,article,title);

        }

    }

}

資料儲存類

public class StoreData {
    public void store(Integer id, String content, String  title) throws Exception {
        String driverClassName = "com.mysql.jdbc.Driver";

        String url = "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8";

        String username = "root";

        String password = "123456";
        // 載入驅動類
        Class.forName(driverClassName);
        Connection con = (Connection) DriverManager.getConnection(url, username, password);
        // 建立sql語句模板
        String sql = "INSERT blog VALUES(?,?,?)";
        // 建立一個宣告物件
        PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql);
        // 用迴圈將資料新增到sql模板中
            pst.setInt(1, id);
            pst.setString(2, content);
            //pst.set
            pst.setString(3, title);

        pst.addBatch();
        // 將sql語句傳送到mysql上
        int[] res = pst.executeBatch();
        System.out.println(res);
        pst.close();
    }
}

爬取的效果：

但是隻是這種普通的爬取會出現請求超時的情況，
出現這種請求頭設定有誤，使用瀏覽器，分析請求資訊，對於url請求，將請求頭資訊新增到java的程式中即可。