2. 程式人生 > >php解析html類庫simple_html_dom(爬蟲相關)

php解析html類庫simple_html_dom(爬蟲相關)

阿新 • • 發佈：2019-01-23
下載地址：https://github.com/samacs/simple_html_dom

解析器不僅僅只是幫助我們驗證html文件；更能解析不符合W3C標準的html文件。它使用了類似jQuery的元素選擇器，通過元素的id，class，tag等等來查詢定位；同時還提供新增、刪除、修改文件樹的功能。當然，這樣一款強大的html Dom解析器也不是盡善盡美；在使用的過程中需要十分小心記憶體消耗的情況。不過，不要擔心；本文中，筆者在最後會為各位介紹如何避免消耗過多的記憶體。
開始使用
上傳類檔案以後，有三種方式呼叫這個類：
從url中載入html文件
從字串中載入html文件
從檔案中載入html文件 
<?php
// 新建一個Dom例項
$html = new simple_html_dom();

// 從url中載入
$html->load_file('http://www.jb51.net');

// 從字串中載入
$html->load('<html><body>從字串中載入html文件演示</body></html>');

//從檔案中載入
$html->load_file('path/file/test.html');
?>


如果從字串載入html文件，需要先從網路上下載。建議使用CURL來抓取html文件並載入DOM中。

PHP Simple HTML DOM Parser提供了3種方式來建立DOM物件 :

// Create a DOM object from a string 
$html = str_get_html('<html><body>Hello!</body></html>'); 
// Create a DOM object from a URL 
$html = file_get_html('http://www.google.com/'); 
// Create a DOM object from a HTML file 
$html = file_get_html('test.htm');


查詢html元素
可以使用find函式來查詢html文件中的元素。返回的結果是一個包含了物件的陣列。我們使用HTML DOM解析類中的函式來訪問這些物件，下面給出幾個示例：
 
<?php

//查詢html文件中的超連結元素
$a = $html->find('a');

//查詢文件中第(N)個超連結，如果沒有找到則返回空陣列.
$a = $html->find('a', 0);

// 查詢id為main的div元素
$main = $html->find('div[id=main]',0);

// 查詢所有包含有id屬性的div元素
$divs = $html->find('div[id]');

// 查詢所有包含有id屬性的元素
$divs = $html->find('[id]');
?>



還可以使用類似jQuery的選擇器來查詢定位元素：
 
<?php
// 查詢id='#container'的元素
$ret = $html->find('#container');

// 找到所有class=foo的元素
$ret = $html->find('.foo');

// 查詢多個html標籤
$ret = $html->find('a, img');

// 還可以這樣用
$ret = $html->find('a[title], img[title]');
?>


解析器支援對子元素的查詢
 
<?php

// 查詢 ul列表中所有的li項
$ret = $html->find('ul li');

//查詢 ul 列表指定class=selected的li項
$ret = $html->find('ul li.selected');

?>


如果你覺得這樣用起來麻煩，使用內建函式可以輕鬆定位元素的父元素、子元素與相鄰元素
 
<?php
// 返回父元素
$e->parent;

// 返回子元素陣列
$e->children;

// 通過索引號返回指定子元素
$e->children(0);

// 返回第一個資源速
$e->first_child ();

// 返回最後一個子元素
$e->last _child ();

// 返回上一個相鄰元素
$e->prev_sibling ();

//返回下一個相鄰元素
$e->next_sibling ();
?>



元素屬性操作
使用簡單的正則表示式來操作屬性選擇器。
[attribute] – 選擇包含某屬性的html元素
[attribute=value] – 選擇所有指定值屬性的html元素
[attribute!=value]- 選擇所有非指定值屬性的html元素
[attribute^=value] -選擇所有指定值開頭屬性的html元素
[attribute$=value] 選擇所有指定值結尾屬性的html元素
[attribute*=value] -選擇所有包含指定值屬性的html元素
在解析器中呼叫元素屬性
在DOM中元素屬性也是物件： 
<?php
// 本例中將$a的錨鏈接值賦給$link變數
$link = $a->href;
?>

或者： 
<?php
$link = $html->find('a',0)->href;
?


每個物件都有4個基本物件屬性:
tag – 返回html標籤名
innertext – 返回innerHTML
outertext – 返回outerHTML
plaintext – 返回html標籤中的文字
在解析器中編輯元素
編輯元素屬性的用法和呼叫它們是類似的： 
<?php
//給$a的錨鏈接賦新值
$a->href = 'http://www.jb51.net';

// 刪除錨鏈接
$a->href = null;

// 檢測是否存在錨鏈接
if(isset($a->href)) {
//程式碼
}
?>


解析器中沒有專門的方法來新增、刪除元素，不過可以變通一下使用： 
<?php
// 封裝元素
$e->outertext = '<div class="wrap">' . $e->outertext . '<div>';

// 刪除元素
$e->outertext = '';

// 新增元素
$e->outertext = $e->outertext . '<div>foo<div>';

// 插入元素
$e->outertext = '<div>foo<div>' . $e->outertext;
?>



儲存修改後的html DOM文件也非常簡單： 
<?php
$doc = $html;
// 輸出
echo $doc;
?>



如何避免解析器消耗過多記憶體
在本文的開篇中，筆者就提到了Simple HTML DOM解析器消耗記憶體過多的問題。如果php指令碼佔用記憶體太多，會導致網站停止響應等一系列嚴重的問題。解決的方法也很簡單，在解析器載入html文件並使用完成後，記得清理掉這個物件就可以了。當然，也不要把問題看得太嚴重了。如果只是載入了2、3個文件，清理或不清理是沒有多大區別的。當你載入了5個10個甚至更多的文件的時候，用完一個就清理一下記憶體 
<?php
$html->clear();
?>


一個例項:

<p>簡單範例  
<?PHP
    include "simple_html_dom.php" ;//載入simple_html_dom.php檔案  
    $html = file_get_html('http://www.google.com/');//獲取html                            
    $dom = new simple_html_dom(); //new simple_html_dom物件                            
    $dom->load($html)  //載入html                                            
    // Find all images                                          
    foreach($dom->find('img') as $element) {   
    //獲取img標籤陣列                                      
	    echo $element->src . '<br>'; //獲取每個img標籤中的src 
	}                                                       
    // Find all links                                               
    foreach($dom->find('a') as $element){ //獲取a標籤的陣列                                         
    echo $element->href . '<br>';//獲取每個a標籤中的href                               
	}
    $html = file_get_html('http://slashdot.org/'); //獲取html                                
    $dom = new simple_html_dom(); //new simple_html_dom物件                                
    $dom->load($html); //載入html                                         
    // Find all article blocks                                          
    foreach($dom->find('div.article') as $article) {                                           
    $item['title'] = $article->find('div.title', 0)->plaintext; //plaintext 獲取純文字
    $item['intro'] = $article->find('div.intro', 0)->plaintext;                              
    $item['details'] = $article->find('div.details', 0)->plaintext;                                
    $articles[] = $item;
	}
print_r($articles); 

    // Create DOM from string    
$html = str_get_html('<div id="hello">Hello</div><div id="world">World</div>');  
    $dom = new simple_html_dom();     //new simple_html_dom物件</p><p>    
    $dom->load($html);      //載入html  
    $dom->find('div', 1)->class = 'bar';    //class = 賦值 給第二個div的class賦值</p><p>   
    $dom->find('div[id=hello]', 0)->innertext = 'foo';   //innertext內部文字</p><p>    
    echo $dom; 
    
 //Output: 
    <div id="hello">foo</div><div id="world" class="bar">World</div>
    <p> DOM methods & properties   
    	Name Description   
    	void __construct ( [string $filename] ) 建構函式,將檔名引數將自動載入內容,無論是文字或檔案/ url。   
    	string plaintext 純文字   
    	void clear () 清理記憶體   
    	void load ( string $content ) 載入內容   
    	string save ( [string $filename] ) Dumps the internal DOM tree back into a string. If the $filename is set, result string   will save to file.   
    	void load_file ( string $filename ) Load contents from a from a file or a URL.   
    	void set_callback ( string $function_name ) 設定一個回撥函式。   
    	mixed find ( string $selector [, int $index] ) 找到元素的CSS選擇器。返回第n個元素物件如果索引設定,否則返回一個數組物件。 </p>

  1.     4.find 方法詳細介紹</p><p>  
  2.     find ( string $selector [, int $index] )   
  3.     // Find all anchors, returns a array of element objects a標籤陣列
  4.     $ret = $html->find('a');</p><p>  // Find (N)th anchor, returns element object or null if not found (zero based)第一個a標籤
  5.     $ret = $html->find('a', 0);</p><p>   // Find lastest anchor, returns element object or null if not found (zero based)最後一個a標籤
  6.     $ret = $html->find('a', -1); </p><p> // Find all <div> with the id attribute 
  7.     $ret = $html->find('div[id]');</p><p>    // Find all <div> which attribute id=foo
  8.     $ret = $html->find('div[id=foo]'); </p><p>  
  9.     // Find all element which id=foo
  10.     $ret = $html->find('#foo');</p><p>   // Find all element which class=foo
  11.     $ret = $html->find('.foo');</p><p>   // Find all element has attribute id
  12.     $ret = $html->find('*[id]'); </p><p> // Find all anchors and images a標籤與img標籤陣列 
  13.     $ret = $html->find('a, img');  </p><p>  // Find all anchors and images with the "title" attribute
  14.     $ret = $html->find('a[title], img[title]');</p><p>  
  15.     // Find all <li> in <ul> 
  16.     $es = $html->find('ul li'); ul標籤下的li標籤陣列</p><p>  // Find Nested <div> tags
  17.     $es = $html->find('div div div');  div標籤下div標籤下div標籤陣列</p><p>   // Find all <td> in <table> which class=hello 
  18.     $es = $html->find('table.hello td'); table標籤下td標籤陣列</p><p>   // Find all td tags with attribite align=center in table tags 
  19.     $es = $html->find(''table td[align=center]'); </p><p>   
  20.     5.Element  的方法  
  21.     $e = $html->find("div", 0);                              //$e 所擁有的方法如下表所示
  22.     Attribute Name Usage   
  23.     $e->tag 標籤   
  24.     $e->outertext 外文字   
  25.     $e->innertext 內文字   
  26.     $e->plaintext 純文字 </p><p> </p><p>   // Example
  27.     $html = str_get_html("<div>foo <b>bar</b></div>");   
  28.     echo$e->tag; // Returns: " div"
  29.     echo$e->outertext; // Returns: " <div>foo <b>bar</b></div>"
  30.     echo$e->innertext; // Returns: " foo <b>bar</b>"
  31.     echo$e->plaintext; // Returns: " foo bar"</p><p>
  32.     6.DOM traversing 方法  
  33.     Method Description   
  34.     mixed$e->children ( [int $index] ) 子元素   
  35.     element$e->parent () 父元素   
  36.     element$e->first_child () 第一個子元素   
  37.     element$e->last_child () 最後一個子元素   
  38.     element$e->next_sibling () 後一個兄弟元素   
  39.     element$e->prev_sibling () 前一個兄弟元素 </p><p>  
  40.     // Example
  41.     echo$html->find("#div1", 0)->children(1)->children(1)->children(2)->id;  
  42.     // or 
  43.     echo$html->getElementById("div1")->childNodes(1)->childNodes(1)->childNodes(2)->getAttribute('id');  
  44. </p>  

相關推薦

php解析html類庫simple_html_dom(爬蟲相關)

下載地址：https://github.com/samacs/simple_html_dom解析器不僅僅只是幫助我們驗證html文件；更能解析不符合W3C標準的html文件。它使用了類似jQuery的元素選擇器，通過元素的id，class，tag等等來查詢定位；同時還提供新

php解析html類庫simple_html_dom

響應 過多 echo 記得 正則 下載 int curl sse 下載地址：https://github.com/samacs/simple_html_dom解析器不僅僅只是幫助我們驗證html文檔；更能解析不符合W3C標準的html文檔。它使用了類似jQuery的元素選擇

基於php的mongodb類庫

第一次使用mongo的時候給我的感覺就是文件物件處理起來麻煩，查詢語法拼接不夠平滑好記，因為處理慣了陣列，所以這裡基於嘗試著以tp的方式封裝了一個類庫，方便使用 呼叫方式都在最下面已經註釋掉的部分，快來試試吧 <?php  /**  * mongodb驅動類 &

DOM解析核心類庫預覽

Java中的DOM解析 xml文件的主要作用就是用於資料的儲存,java中定義有一些對xml檔案內容讀取的類庫,DOM解析技術就是其中一種,其他還有"SAX"解析,JDOM解析,DOM4J解析, 其中DOM解析是w3c定義的一套標準介面規範,主要的特點就是跨平臺(其他

php解析html dom節點樹

不得不感嘆用DOM直接解析HTML DOM樹的靈活和強大，因為基本的HTML元素就是那麼幾種常見的，再加上ID屬性或者CLASS屬性之類的。。 在解析html檔案時，完全可以用正則中脫離出來，畢竟HTML檔案中存在大量相似的模式，而且程式碼看上去功能比較顯而易見，當然正則

一個C++解析HTML的庫

HTTP協議使用廣泛，相應的，C++在這塊需求也開始增加。一個好的解析庫可以達到事半功倍的效果，在此貼出我的解析庫的程式碼，方便新手朋友們使用。 hHttpParse.h #ifndef __H_HTML_PARSE_H__ #define __H_HTML_PARSE_

PHP通過PHPMailer類庫實現QQ郵箱傳送方法

其實PHP郵箱傳送功能並非每個專案都一定用得到，但其實每個完整的專案，一般都會包含一個PHP郵箱傳送功能。 一般郵箱傳送功能普遍用於註冊啟用，密碼找回，以及留言回覆等等功能上。而且這也是很多人頭疼的問

【原創】開源Math.NET基礎數學類庫使用(09)相關數論函式使用

1 /// <summary> 2 /// 整數數論函式 3 /// Integer number theory functions. 4 /// </summary> 5 public static class Euclid 6 { 7

PHP QR CODE 類庫生成二維碼

ges new from brush sam code ORC 組合圖 mst <?php /** * 生成簡單的二維碼 * 測試已通過 */ // include ‘phpqrcode.php‘; // QRcode::png(‘http://www

PHP 依據 Mysqli 類庫打造完美分頁

本篇文章是基於的是我的上篇博文（PHP資料庫操作之基於 Mysqli 的資料庫操作類庫）而量身打造，怎麼使用 M 類庫中的 FetchAll 方法做出完美分頁。 分頁在我們每個專案中都是必不可少的，而且出現的頻率非常之多。這樣就要求我們程式設計師在專案中怎樣去以最快的速度、

使用php加phpexcel類庫將數據導出到表格

表示 iter nbsp public new 直接 數據 ring amp /** * execl數據導出 * @param string $file_name 用於導出生成文件名的前綴 * @param array $cellName 表頭及字段名 * @p

HTML 解析類庫HtmlAgilityPack

html解析 類型 dht 好的 cts 布爾 repos 通過 節點 1. HtmlAgilityPack簡介 網站中首先遇到的問題是爬蟲和解析HTML的問題，一般情況在獲取頁面少量信息的情況下，我們可以使用正則來精確匹配目標。不過本身正則表達式就比較復雜，同時正

Java開源Html解析類庫（轉載）

  NekoHTML  NekoHTML是一個簡單地HTML掃描器和標籤補償器(tag balancer) ,使得程式能解析HTML文件並用標準的XML介面來訪問其中的資訊。這個解析器能投掃描HTML檔案並“修正”許多作者（人或機器）

爬蟲2解析HTML頁面-第三方庫Beautiful Soup

1.安裝BeautifulSoup–pip install beautifulSoup4 Beautiful Soup庫也叫beautifulsoup4或bs4 2.解析demo頁面 import requests r=requests.get(“http://python123.io/

[Swift通天遁地]七、數據與安全-(2)使用Fuzi(斧子)類庫實現對XML和HTML文檔的快速解析

contents 控制 元素 frame uikit works 配置文件 cocoapods over 本文將演示使用Fuzi(斧子)類庫實現對XML和HTML文檔的快速解析。 首先確保在項目中已經安裝了所需的第三方庫。 點擊【Podfile】,查看安裝配置文件。

26）PHP，數據庫表格中項的數據類型

com 最長 .cn char ges spa alt png mage 類型展示： tinyint-----1個字節 smallint----2個字節 mediumint--3個字節 int------4個字節 bigint---8個字節 1 字符串類型 2 最

php解析入庫跟出庫

har cti mls 鏈接地址 php 數據 str lac -- 轉載：http://www.jb51.net/article/39092.htm 數據放入數據庫和取出來顯示在頁面需要註意什麽 入庫時 $str=addslashes($str); $sql=\"inse

Python爬蟲系列（四）：Beautiful Soup解析HTML之把HTML轉成Python對象

調用 nor 結束 版本 現在 name屬性 data 官方文檔 get 在前幾篇文章，我們學會了如何獲取html文檔內容，就是從url下載網頁。今天開始，我們將討論如何將html轉成python對象，用python代碼對文檔進行分析。 (牛小妹在學校折騰了好幾天，也沒把h

C# 網絡爬蟲利器之Html Agility Pack如何快速實現解析Html

mlp get 設計 navig send 介紹 sca 元素 對象 簡介 　　現在越來越多的場景需要我們使用網絡爬蟲，抓取相關數據便於我們使用，今天我們要講的主角Html Agility Pack是在爬取的過程當中，能夠高效的解析我們抓取到的html數據。 優勢 　　在.

php類庫到sublime完成

ThinkPHP sublime PHP 插件 完成 起因 前一篇寫了反射類生成php速查表。過年了在家也沒事，想完成自己想要實現的sublime自動完成文件生成。就是sublime裏輸入關鍵字後按tab自動補全一個全的函數名和參數的，按tab可以切換一致到最後的。也是給別人的承諾，今年