php利用simple_html_dom類，獲取頁面內容，充當爬蟲角色
阿新 • • 發佈：2017-08-16
contents names mac tro upd tool one mit 一個
PHP腳本扮演爬蟲的角色，可能大家第一時間想到可能會是會正則，個人對正則的規則老是記不住，表示比較難下手，今天工作中有個需求需要爬取某個網站上的一些門店信息
無意間在網上看到一個比較好的類庫叫：simple_html_dom
github下載地址：https://github.com/samacs/simple_html_dom
最重要的一步：你得先了解別人網站的結構，知道從哪個tab開始是你想要的數據
下面演示下過程吧
實現過程我分了三步
1、將門店信息的經緯度，名稱等一些重要信息先插入本地表
[php] view plain copy
- set_time_limit(0);
- $host = ‘127.0.0.1‘;
- $user = ‘root‘;
- $user_pwd = ‘‘;
- $database = ‘dataname‘;
- $conn = mysql_connect($host,$user,$user_pwd) or die(‘sss‘);
- mysql_select_db($database,$conn) or die(‘dddd‘);
- mysql_query(‘set names utf8‘);
- include(‘./simple_html_dom-master/simple_html_dom.php‘);
- $url = ‘需要爬取的網站URL‘;
- $html = file_get_html($url);
- $n = 1;
- foreach($html->find(‘li[data-counts=0]‘) as $e){
- $storeid = $e->storeid;
- $star = $e->level.‘.0‘;
- $work_time = $e->time;
- $mapx = $e->mapx;
- $mapy = $e->mapy;
- $nickname = $e->mapname;
- $mapadd = $e->mapadd;
- $maptel = $e->maptel;
- $time = date(‘Y-m-d H:i:s‘);
- $query = "INSERT INTO `store` (`storeid`,`star`,`work_time`,`longitude`,`latitude`,`create_time`,`nickname`,`address`,`tel`)
- VALUES ($storeid,‘".$star."‘,‘".$work_time."‘,‘".$mapx."‘,‘".$mapy."‘,‘".$time."‘,‘".$nickname."‘,‘".$mapadd."‘,‘".$maptel."‘)";
- $res = mysql_query($query);
- //echo $query;exit();
- if($res){
- echo ‘成功導入第‘.$n.‘個門店<br>‘;
- $n++;
- }else{
- die(‘失敗<br>‘);
- }
- }
2、跳入站點的另一個頁面獲取門店LOGO圖片
[php] view plain copy
- $query = "SELECT storeid FROM store order by id desc";
- $row = mysql_query($query);
- while($rows = mysql_fetch_array($row)){
- $url = ‘http://別人站點域名/‘.$rows[‘storeid‘].‘.jhtml‘;
- $html = file_get_html($url);
- foreach($html->find(‘div.onlyOnePic‘) as $e){
- //獲取img的src屬性
- $img = $e->firstChild()->src;
- //將遠程圖片保存到本地
- $content = file_get_contents($img);
- file_put_contents(‘./store/‘.$rows[‘storeid‘].‘.jpeg‘, $content);
- }
- }
3、更新表中對應門店的LOGO字段
[php] view plain copy
- $query = "SELECT storeid FROM store order by id desc";
- $row = mysql_query($query);
- $n = 1;
- while($rows = mysql_fetch_array($row)){
- $img = "https://我自己站點域名/".$rows[‘storeid‘].".jpeg";
- $sql = "UPDATE store set img_url=‘".$img."‘ where storeid=".$rows[‘storeid‘];
- $res = mysql_query($sql);
- if($res){
- echo ‘成功更新第‘.$n.‘個門店<br>‘;
- $n++;
- }else{
- echo ‘失敗‘;
- }
- }
OK，功能實現了，不過還沒有更深入的了解這個類庫的其他功能，這裏也只是做個記錄，方便以後需要的時候用
php利用simple_html_dom類，獲取頁面內容，充當爬蟲角色