2. 程式人生 > >實現從網頁上抓取資料(htmlparser)

實現從網頁上抓取資料(htmlparser)

阿新 • • 發佈：2019-02-19
package com.jscud.test;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStreamReader;

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.nodes.TextNode;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
import org.htmlparser.visitors.HtmlPage;
import org.htmlparser.visitors.TextExtractingVisitor;

import com.jscud.util.LogMan; //一個日誌記錄類

/**
* 演示了Html Parse的應用.
* 
* @author scud 
http://www.jscud.com (http://www.jscud.com/)
*/

public class ParseHtmlTest
{

public static void main(String[] args) throws Exception
{
String aFile = "e:/jscud/temp/test.htm";

String content = readTextFile(aFile, "GBK");

test1(content);
System.out.println("====================================");

test2(content);
System.out.println("====================================");

test3(content);
System.out.println("====================================");

test4(content);
System.out.println("====================================");

test5(aFile);
System.out.println("====================================");

//訪問外部資源,相對慢
test5("
http://www.jscud.com (http://www.jscud.com/)"); 
System.out.println("====================================");

}

/**
* 讀取檔案的方式來分析內容.
* filePath也可以是一個Url.
* 
* @param resource 檔案/Url
*/
public static void test5(String resource) throws Exception
{
Parser myParser = new Parser(resource);

//設定編碼
myParser.setEncoding("GBK");

HtmlPage visitor = new HtmlPage(myParser);

myParser.visitAllNodesWith(visitor);

String textInPage = visitor.getTitle();

System.out.println(textInPage);
}

/**
* 按頁面方式處理.對一個標準的Html頁面,推薦使用此種方式.
*/
public static void test4(String content) throws Exception
{
Parser myParser;
myParser = Parser.createParser(content, "GBK");

HtmlPage visitor = new HtmlPage(myParser);

myParser.visitAllNodesWith(visitor);

String textInPage = visitor.getTitle();

System.out.println(textInPage);
}

/**
* 利用Visitor模式解析html頁面.
*
* 小優點:翻譯了<>等符號 
* 缺點:好多空格,無法提取link
* 
*/
public static void test3(String content) throws Exception
{
Parser myParser;
myParser = Parser.createParser(content, "GBK");

TextExtractingVisitor visitor = new TextExtractingVisitor();

myParser.visitAllNodesWith(visitor);

String textInPage = visitor.getExtractedText();

System.out.println(textInPage);
}

/**
* 得到普通文字和連結的內容.
* 
* 使用了過濾條件.
*/
public static void test2(String content) throws ParserException
{
Parser myParser;
NodeList nodeList = null;

myParser = Parser.createParser(content, "GBK");

NodeFilter textFilter = new NodeClassFilter(TextNode.class);
NodeFilter linkFilter = new NodeClassFilter(LinkTag.class);

//暫時不處理 meta
//NodeFilter metaFilter = new NodeClassFilter(MetaTag.class);

OrFilter lastFilter = new OrFilter();
lastFilter.setPredicates(new NodeFilter[] { textFilter, linkFilter });

nodeList = myParser.parse(lastFilter);

Node[] nodes = nodeList.toNodeArray();

for (int i = 0; i < nodes.length; i++)
{
Node anode = (Node) nodes[i];

String line = "";
if (anode instanceof TextNode)
{
TextNode textnode = (TextNode) anode;
//line = textnode.toPlainTextString().trim();
line = textnode.getText();
}
else if (anode instanceof LinkTag)
{
LinkTag linknode = (LinkTag) anode;

line = linknode.getLink();
//@todo ("") 過濾jsp標籤:可以自己實現這個函式
//line = StringFunc.replace(line, "<%.*%>", "");
}

if (isTrimEmpty(line))
continue;

System.out.println(line);
}
}

/**
* 解析普通文字節點.
* 
* @param content
* @throws ParserException
*/
public static void test1(String content) throws ParserException
{
Parser myParser;
Node[] nodes = null;

myParser = Parser.createParser(content, null);

nodes = myParser.extractAllNodesThatAre(TextNode.class); //exception could be thrown here

for (int i = 0; i < nodes.length; i++)
{
TextNode textnode = (TextNode) nodes[i];
String line = textnode.toPlainTextString().trim();
if (line.equals(""))
continue;
System.out.println(line);
}

}

/**
* 讀取一個檔案到字串裡.
* 
* @param sFileName 檔名
* @param sEncode String
* @return 檔案內容
*/
public static String readTextFile(String sFileName, String sEncode)
{
StringBuffer sbStr = new StringBuffer();

try
{
File ff = new File(sFileName);
InputStreamReader read = new InputStreamReader(new FileInputStream(ff),
sEncode);
BufferedReader ins = new BufferedReader(read);

String dataLine = "";
while (null != (dataLine = ins.readLine()))
{
sbStr.append(dataLine);
sbStr.append("\r\n");
}

ins.close();
}
catch (Exception e)
{
LogMan.error("read Text File Error", e);
}

return sbStr.toString();
}

/**
* 去掉左右空格後字串是否為空
* @param astr String
* @return boolean
*/
public static boolean isTrimEmpty(String astr)
{
if ((null == astr) || (astr.length() == 0))
{
return true;
}
if (isBlank(astr.trim()))
{
return true;
}
return false;
}

/**
* 字串是否為空:null或者長度為0.
* @param astr 源字串.
* @return boolean
*/
public static boolean isBlank(String astr)
{
if ((null == astr) || (astr.length() == 0))
{
return true;
}
else
{
return false;
}
}

}

相關推薦

實現從網頁上抓取資料(htmlparser)

package com.jscud.test; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.InputStreamReader; impo

Java實現從網頁上傳匯入excel資料到資料庫

       一晃已經是十月份的最後一天了，時間過得很快...        專案中通過excel往資料庫批量匯入的功能頗為常見，所以今天整理出來一份簡單的例子，為了以後方便使用，同時也為大家實現功能作為一個參考

利用python_opencv和dlib實現從視訊中抓取人臉照片並儲存(親測有效)

系統：win10 編譯環境：pycharm python庫：cv2、dlib(自己安裝) 程式碼： import dlib import cv2 # 載入並初始化檢測器 detector = dlib.get_frontal_face_detector() camera = cv2.

Java工具 java實現從網頁上覆製表格，自動生成Markdown形式表格

java實現從網頁上覆製表格 需求分析 例如我這裡有一個表格： 表格裡的文字是可複製的，複製下來的文字如下。 序號 方法 描述 1 public URL(String spec) throws MalformedURLExceptio

PHP + curl 實現 http 或 https 抓取資料：

/** * 抓取資料 https 或 http 形式 * @param $url 連結 * @param $data 引數 * @return mixed 返回資料 */ private

Android系統匯入burp證書實現抓取資料包

Burpsuit設定代理 瀏覽器設定代理   瀏覽器訪問IP下載burp證書   匯出的證書後綴名為.der，這裡我們更改字尾名為.crt 匯入手機中 複製貼上在我們能記住的目錄 後

vue專案中jsonp抓取資料實現方式

先安裝依賴：cnpm install --save jsonp 程式碼如下： 1. 然後建立一個jsonp.js import originJSONP from 'jsonp'   //引用jsonp 　　export default function jsonp(url,data,opt

七種方法實現Python抓取資料的視覺化

  Python 的scientific stack（一個介紹Python科學計算包的網站）已經完全成熟，並且有各種各樣用例的庫，包括機器學習（連結：machine learning），資料分析（連結：data analysis）。資料視覺化是探索資料和清晰的解釋結果很重要的一部分，

Sql Server儲存過程從一個表中抓取資料填充到另一張表中

  set ANSI_NULLS ON set QUOTED_IDENTIFIER ON go -- ============================================= -- Author:  <alex,,Name> -- Create

python爬蟲"Hello World"級入門例項（二）,使用json從中國天氣網抓取資料

一、二話不說先上程式碼 python2.7版 #!/usr/bin/python2.7 #-*- coding=UTF-8 -*- import urllib import json def get_dic(url): page = urll

Android APK實現WIFI協議包抓取(上)-實現思路

一次偶然的機會聽到一個需求，甲方希望能在手機上實現一個APK，這個APK能夠記錄附近WIFI的站點資訊，然後由強到弱抓取WIFI協議包，轉送到雲端進行WIFI破解。大致調研了幾天，實現思路如下： 1. 準備工具-nexus 4手機，root後，在手機上安裝b

c#關於網頁內容抓取，簡單爬蟲的實現。（包括動態，靜態的）

整理一下最近做的幾個專案。總結幾個用到的知識點和關鍵部分程式碼，以供大家學習交流。 1、爬蟲抓取網頁內容資訊。可以用System.Net.WebRequest、webclient等類來處理。 2、對於某些動態網頁，生成頁面信心由javascript動態生成連結資訊的。也可以

Java實現網路爬蟲001-抓取網頁

package com.okayisoft.okayspider.demo; import org.apache.commons.httpclient.HttpClient; import org.

python——爬蟲實現網頁資訊抓取

首先實現關於網頁解析、讀取等操作我們要用到以下幾個模組 import urllib import urllib2 import re 我們可以嘗試一下用readline方法讀某個網站，比如說百度 def test():    f=urllib.urlopen('http:/

網頁抓取資料並分析，特別包括分頁資料的抓取

[csharp]  包括8個按鈕，每個按鈕下的程式碼都可執行（第5、6個可能需要除錯一下）。   [csharp]  有基本的頁面抓取，不含分頁資料的；   [csharp  有含分頁資料，且【下一頁】的連結是網址的；   [csharp]  有含分頁資料，且【下一頁】的連

R網頁抓取資料

R網頁抓取資料web上有大量可用的資料。其中一些是以格式化的、可下載的data-sets的形式，易於訪問。但大多數線上資料都是作為網路內容存在的，如部落格、新聞故事和烹飪菜譜。使用格式化的檔案，訪問資料相當簡單；只需下載檔案，必要時解壓縮，然後匯入到r。然而，對於“wild”

從高德地圖抓取資料

                resultStr1 + =“ < DIV ID = 'DIVID”+第（i + 1）+“' 的onmouseover = 'openMarkerTipById1（”+ I +“時，此）' 的onmouseout= 'onmouseout_MarkerStyle（

一次遍歷網頁抓取資料經歷

起因：杭電ACM的試題列表不能按照指定條件顯示。 例如： 按試題被AC次數倒排序。對未被我解決的試題，按被AC次數倒排序。任務分解： 獲取網頁html資料到程式記憶體。使用URL類可輕鬆完成此任務。將html轉換成document。使用Cobra包可輕鬆完成此任務。定位獲取

網頁資訊抓取進階 支援Js生成資料 Jsoup的不足之處

轉載請標明出處：http://blog.csdn.net/lmj623565791/article/details/23866427今天又遇到一個網頁資料抓取的任務，給大家分享下。說道網頁資訊抓取，相信Jsoup基本是首選的工具，完全的類JQuery操作，讓人感覺很舒服。但是

（資料科學學習手札59）從抓取資料到生成shp檔案並展示

一、簡介 　　shp格式的檔案是地理資訊領域最常見的檔案格式之一，很好的結合了向量資料與對應的標量資料，而在Python中我們可以使用pyshp來完成建立shp檔案的過程，本文將從如何從高德地圖獲取向量資訊開始，最終構造出相應的shp檔案，並利用R中的leaflet進行視覺化；   二、資料獲