http連線請求

進行http請求時，根據需要設定request header，不同網站的頭部設定不一樣，要利用F12進行檢視。

靜態頁面爬取

通過http get 請求獲取頁面的Document物件：
Document doc = Jsoup.connect(url).get();
然後就可用css選擇器進行元素的選擇，如以下示例：
1) Id=”shangbiaolist”的元素選擇：
Elements shangbiaoList = doc.select(“#shangbiaolist”);
或者 Element shangbiaolist = doc.getElementById(“shangbiaolist”)
2) Div塊的選擇對應結構選擇：
Elements elements = doc.select(“div.panel-body a:eq(0)”);
3)獲取元素內的html文字：
Element.html()
4)獲取元素的屬性值：
Element.attr(“href”)

以企查查為例：

實際網頁：

執行結果：

動態頁面爬取

1)利用三方軟體phantomjs進行頁面的捕獲

步驟2. 獲取對應頁面資訊：
程式碼示例：

頁面為：

執行結果為：

//獲取元素的資訊
WebElement.getText();//html文字內容
WebElement.getAttribute(“href”);//元素的屬性值
WebElement.findElement(By by);//在該元素下查詢內容

步驟3. 自動獲取區域性分頁資訊 或者 獲取彈出框的資訊：
/獲取到該彈出框彈出的元素
WebElement e4 = e1.findElement(By.cssSelector(“a”));
e4.click();
//然後等待modalSleep毫秒，再對分頁內容 或者 彈出框進行元素獲取
Thread.sleep(modalSleep);

2)利用三方框架htmlunit 進行爬取
程式碼示例：

頁面為：

執行結果為：