Java抓取網頁數據(原網頁+Javascript返回數據)
轉載請註明出處!
原文鏈接:http://blog.csdn.net/zgyulongfei/article/details/7909006
有時候由於種種原因,我們需要采集某個網站的數據,但由於不同網站對數據的顯示方式略有不同!
本文就用Java給大家演示如何抓取網站的數據:(1)抓取原網頁數據;(2)抓取網頁Javascript返回的數據。
一、抓取原網頁。
這個例子我們準備從http://ip.chinaz.com上抓取ip查詢的結果:
第一步:打開這個網頁,然後輸入IP:111.142.55.73,點擊查詢按鈕,就可以看到網頁顯示的結果:
第二步:查看網頁源碼,我們看到源碼中有這麽一段:
從這裏可以看出,查詢的結果,是重新請求一個網頁之後顯示的。
再看看查詢之後的網頁地址:
也就是說,我們只要訪問形如這樣的網址,就可以得到ip查詢的結果,接下來看代碼:
[java] view plain copy
- public void captureHtml(String ip) throws Exception {
- String strURL = "http://ip.chinaz.com/?IP=" + ip;
- URL url = new URL(strURL);
- HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
- InputStreamReader input = new InputStreamReader(httpConn
- .getInputStream(), "utf-8");
- BufferedReader bufReader = new BufferedReader(input);
- String line = "";
- StringBuilder contentBuf = new StringBuilder();
- while ((line = bufReader.readLine()) != null) {
- contentBuf.append(line);
- }
- String buf = contentBuf.toString();
- int beginIx = buf.indexOf("查詢結果[");
- int endIx = buf.indexOf("上面四項依次顯示的是");
- String result = buf.substring(beginIx, endIx);
- System.out.println("captureHtml()的結果:\n" + result);
- }
使用HttpURLConnection連接網站,用bufReader保存網頁返回的數據,然後通過自定義的一個解析方式將結果顯示出來。
這裏我只是隨便的解析了一下,要解析的非常準確的話自己需再處理。
解析結果如下:
captureHtml()的結果:
查詢結果[1]: 111.142.55.73 ==>> 1871591241 ==>> 福建省漳州市 移動</strong><br />
二、抓取網頁JavaScript返回的結果。
有時候網站為了保護自己的數據,並沒有把數據直接放在網頁源碼中返回,而是采用異步的方式,用JS返回數據,這樣可以避免搜索引擎等工具對網站數據的抓取。
首先看一下這個網頁:
用第一種方式查看該網頁的源碼,卻沒有發現該運單的跟蹤信息,因為它是通過JS的方式獲取結果的。
但有時候我們很需要獲取到JS的數據,這個時候要怎麽辦呢?
這個時候我們需要用到一個工具:HTTP Analyzer,這個工具可以截獲Http的交互內容,我們通過這個工具來達到我們的目的。
首先點擊Start按鈕之後,它就開始監聽網頁的交互行為了。
我們打開網頁:http://www.kiees.cn/sf.php ,可以看到HTTP Analyzer列出了所有該網頁的請求數據以及結果:
為了更方便的查看JS的結果,我們先清空這些數據,然後再網頁中輸入快遞單號:107818590577,點擊查詢按鈕,然後查看HTTP Analyzer的結果:
這個就是點擊查詢按鈕之後,HTTP Analyzer的結果,我們繼續查看:
從上面兩幅圖中可以看出,HTTP Analyzer可以截獲JS返回的數據,並在Response Content中顯示,同時可以看到JS請求的網頁地址。
既然如此,我們只要分析HTTP Analyzer的結果,然後模擬JS的行為就可獲取到數據,即我們只要訪問JS請求的網頁地址來獲取數據,當然前提是這些數據是沒有經過加密的,我們記下JS請求的URL:http://www.kiees.cn/sf.php?wen=107818590577&channel=&rnd=0
然後讓程序去請求這個網頁的結果即可!
下面是代碼:
[java] view plain copy
- public void captureJavascript(String postid) throws Exception {
- String strURL = "http://www.kiees.cn/sf.php?wen=" + postid
- + "&channel=&rnd=0";
- URL url = new URL(strURL);
- HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
- InputStreamReader input = new InputStreamReader(httpConn
- .getInputStream(), "utf-8");
- BufferedReader bufReader = new BufferedReader(input);
- String line = "";
- StringBuilder contentBuf = new StringBuilder();
- while ((line = bufReader.readLine()) != null) {
- contentBuf.append(line);
- }
- System.out.println("captureJavascript()的結果:\n" + contentBuf.toString());
- }
看到了吧,抓取JS的方式和前面抓取原網頁的代碼一模一樣,我們只不過做了一個分析JS的過程。
下面是程序執行的結果:
captureJavascript()的結果:
<div class="results"><div id="ali-itu-wl-result" class="ali-itu-wl-result"><h2 class="logisTitle">運單<span class="mail-no">【107818590577】</span>的跟蹤信息</h2><div class="trace_result"><ul><li><span class="time">2012-07-16 15:46:00</span><span class="info">已收件 </span></li><li><span class="time">2012-07-16 16:03:00</span><span class="info">快件在 廣州\t,準備送往下一站廣州集散中心 </span></li><li><span class="time">2012-07-16 19:33:00</span><span class="info">快件在 廣州集散中心,準備送往下一站佛山集散中心 </span></li><li><span class="time">2012-07-17 01:56:00</span><span class="info">快件在 佛山集散中心\t,準備送往下一站佛山 </span></li><li><span class="time">2012-07-17 09:41:00</span><span class="info">正在派件.. </span></li><li><span class="time">2012-07-17 11:28:00</span><span class="info">派件已簽收 </span></li><li><span class="time">2012-07-17 11:28:00</span><span class="info">簽收人是:已簽收 </span></li></ul><div></div></div></div> </div>
這些數據就是JS返回的結果了,我們的目的達到了!
希望本文能夠對需要的朋友有一點幫助,需要程序源碼的,請點擊這裏下載!http://download.csdn.net/download/zgyulongfei/4526567
Java抓取網頁數據(原網頁+Javascript返回數據)