網頁資訊抓取進階 支援Js生成資料 Jsoup的不足之處
阿新 • • 發佈：2019-02-20
轉載請標明出處：http://blog.csdn.net/lmj623565791/article/details/23866427
今天又遇到一個網頁資料抓取的任務，給大家分享下。
說道網頁資訊抓取，相信Jsoup基本是首選的工具，完全的類JQuery操作，讓人感覺很舒服。但是，今天我們就要說一說Jsoup的不足。
1、首先我們新建一個頁面
頁面上觀察是這樣顯示的：<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <html> <head> <title>main.html</title> <meta http-equiv="keywords" content="keyword1,keyword2,keyword3"> <meta http-equiv="description" content="this is my page"> <meta http-equiv="content-type" content="text/html; charset=UTF-8"> <style type="text/css"> a { line-height: 30px; margin: 20px; } </style> <!--<link rel="stylesheet" type="text/css" href="./styles.css">--> <script type="text/javascript"> var datas = [ { href : "http://news.qq.com/a/20140416/017800.htm", title : "高校一保安長相酷似作家莫言" }, { href : "http://news.qq.com/a/20140416/015167.htm", title : "男子單臂託舉懸空女半小時" }, { href : "http://news.qq.com/a/20140416/013808.htm", title : "女子上門討房租遭強姦拍裸照" }, { href : "http://news.qq.com/a/20140416/016805.htm", title : "澳洲駱駝愛喝冰鎮啤酒解暑" } ]; window.onload = function() { var infos = document.getElementById("infos"); for( var i = 0 ; i < datas.length ; i++) { var a = document.createElement("a"); a.href = datas[i].href ; a.innerText = datas[i].title; infos.appendChild(a); infos.appendChild(document.createElement("br")) } } </script> </head> <body> Hello Main HttpUnit! <br> <div id="infos" style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;"> </div> </body> </html>
我們審查元素：
如果你看到這樣的頁面，你會覺得拿Jsoup來抓取，簡直就是呵呵，小菜一疊，於是我們寫了這樣的程式碼：
你會覺得就這幾行程式碼，輕輕鬆鬆搞定，快快樂樂下班。於是執行發現，其實什麼的抓取不到。@Test public void testUserJsoup() { try { Document doc = Jsoup.connect( "http://localhost:8080/strurts2fileupload/main.html") .timeout(5000).get(); Elements links = doc.body().getElementsByTag("a"); for (Element link : links) { System.out.println(link.text() + " " + link.attr("href")); } } catch (IOException e) { e.printStackTrace(); } }
於是我們再回到頁面，開啟頁面原始碼，也就是上面的HTML程式碼，你恍然大悟，我靠，body裡面根本沒有資料，難怪抓不到。這就是Jsoup的不足，如果Jsoup去抓取的頁面的資料，全都是頁面載入完成後，ajax獲取形成的，是抓取不到的。
下面給大家推薦另一個開源專案：HttpUnit，看名字是用於測試的，但是用來抓取資料也不錯
我們開始編寫類似Jsoup的程式碼：
再看一下執行結果：@Test public void testUserHttpUnit() throws FailingHttpStatusCodeException, MalformedURLException, IOException { /** HtmlUnit請求web頁面 */ WebClient wc = new WebClient(BrowserVersion.CHROME); wc.getOptions().setUseInsecureSSL(true); wc.getOptions().setJavaScriptEnabled(true); // 啟用JS直譯器，預設為true wc.getOptions().setCssEnabled(false); // 禁用css支援 wc.getOptions().setThrowExceptionOnScriptError(false); // js執行錯誤時，是否丟擲異常 wc.getOptions().setTimeout(100000); // 設定連線超時時間 ，這裡是10S。如果為0，則無限期等待 wc.getOptions().setDoNotTrackEnabled(false); HtmlPage page = wc .getPage("http://localhost:8080/strurts2fileupload/main.html"); DomNodeList<DomElement> links = page.getElementsByTagName("a"); for (DomElement link : links) { System.out .println(link.asText() + " " + link.getAttribute("href")); } }
完美解決，HttpUnit其實就相當於一個沒有UI的瀏覽器，它可以讓頁面上的js執行完成後，再抓取資訊，具體的介紹，google一下就行。主要給大家介紹一種方案！
如果你覺得這篇文章對你有用，就頂一個~