【php網頁爬蟲】php抓取網頁資料
阿新 • • 發佈：2019-02-19
外掛介紹：
PHP Simple HTML DOM解析類：Simple HTML DOM parser 幫我們很好地解決了使用 php html 解析 問題。可以通過這個php類來解析html文件，對其中的html元素進行操作 (PHP5+以上版本)。
使用方法：
1.引入simplehtmldom
<?php
// 新建一個Dom例項
$html = new simple_html_dom();
//一下三種載入方式按照需求選擇其中一種即可 // 從url中載入 $html->load_file('http://www.jb51.net'); // 從字串中載入 $html->load('<html><body>從字串中載入html文件演示</body></html>'); //從檔案中載入 $html->load_file('path/file/test.html');
2.獲取html內容
/查詢html文件中的超連結元素
$a = $html->find('a');
//查詢文件中第(N)個超連結，如果沒有找到則返回空陣列.
$a = $html->find('a', 0);
// 查詢id為main的div元素
$main = $html->find('div[id=main]',0);
// 查詢所有包含有id屬性的div元素
$divs = $html->find('div[id]');
// 查詢所有包含有id屬性的元素
$divs = $html->find('[id]');<?php // 查詢id='#container'的元素 $ret = $html->find('#container'); // 找到所有class=foo的元素 $ret = $html->find('.foo'); // 查詢多個html標籤 $ret = $html->find('a, img'); // 還可以這樣用，查詢含title屬性的a標籤和img標籤 $ret = $html->find('a[title], img[title]'); ?>
解析器支援對子元素的查詢
<?php
// 查詢 ul列表中所有的li項
$ret = $html->find('ul li');
//查詢 ul 列表指定class=selected的li項
$ret = $html->find('ul li.selected');使用內建函式可以輕鬆定位元素的父元素、子元素與相鄰元素
<?php // 返回父元素 $e->parent; // 返回子元素陣列 $e->children; // 通過索引號返回指定子元素 $e->children(0); // 返回第一個資源速 $e->first_child (); // 返回最後一個子元素 $e->last _child (); // 返回上一個相鄰元素 $e->prev_sibling (); //返回下一個相鄰元素 $e->next_sibling ();
元素屬性操作
使用簡單的正則表示式來操作屬性選擇器。
div[attribute] – 選擇包含某屬性的div元素
div[attribute=value] – 選擇所有指定值屬性的div元素
div[attribute!=value]- 選擇所有非指定值屬性的div元素
div[attribute^=value] -選擇所有指定值開頭屬性的div元素
div[attribute$=value] 選擇所有指定值結尾屬性的div元素
div[attribute*=value] -選擇所有包含指定值屬性的div元素在DOM中元素屬性也是物件：
<?php
// 本例中將$a的錨鏈接值賦給$link變數
$link = $a->href;
?>或者：
<?php
$link = $html->find('a',0)->href;
?每個物件都有4個基本物件屬性:
tag – 返回html標籤名
innertext – 返回innerHTML
outertext – 返回outerHTML
plaintext – 返回html標籤中的文字在解析器中編輯元素
編輯元素屬性的用法和呼叫它們是類似的：
<?php
//給$a的錨鏈接賦新值
$a->href = 'http://www.jb51.net';
// 刪除錨鏈接
$a->href = null;
// 檢測是否存在錨鏈接
if(isset($a->href)) {
//程式碼
}
?>解析器中沒有專門的方法來新增、刪除元素，不過可以變通一下使用：
<?php
// 封裝元素
$e->outertext = '<div class="wrap">' . $e->outertext . '<div>';
// 刪除元素
$e->outertext = '';
// 新增元素
$e->outertext = $e->outertext . '<div>foo<div>';
// 插入元素
$e->outertext = '<div>foo<div>' . $e->outertext;
?儲存修改後的html DOM文件也非常簡單：
<?php
$doc = $html;
// 輸出
echo $doc;
?>如何避免解析器消耗過多記憶體
如果php指令碼佔用記憶體太多，會導致網站停止響應等一系列嚴重的問題。解決的方法也很簡單，在解析器載入html文件並使用完成後，記得清理掉這個物件就可以了。當然，也不要把問題看得太嚴重了。如果只是載入了2、3個文件，清理或不清理是沒有多大區別的。當你載入了5個10個甚至更多的文件的時候，用完一個就清理一下記憶體絕對是對自己負責啦^_^
<?php
$html->clear();
?>參考文章：http://www.jb51.net/article/39526.htm