演示：檔案搜wjsou.com 資料採集於各大網盤搜尋引擎，並刪去失效的。

1.使用谷歌自動義搜尋。但谷歌咱訪問不了。

2.但有些人能訪問，VPN或在國外等，這些網盤搜尋引擎有錢搞，那我就採集他們網站的。通過爬蟲爬各大網盤搜尋引擎。

3.通過爬蟲爬其它大量分享的。

下面就來試試

1.獲得搜尋關鍵詞：通過百度風雲排行榜獲得，還可以通過各大網盤搜尋引擎的首頁獲得。

2.各大網盤搜尋引擎為了SEO，一般加幾個子網面。但都有固定的結構，這樣就好辦了。

3.通過最終網盤連結頁提取資料。檔名，連結，檔案大小，檔案型別，分享時間，是否有效等

倒著來說

一.通過最終網盤連結頁提取資料。

1.提取：檔名

要採集的示例：https://pan.baidu.com/share/link?uk=2433762860&shareid=2999758878

原始碼：右鍵檢視原始碼

檔名name 正則表示式：<title>(?<name>.*)_免費高速下載\|百度網盤-分享無限制</title> 

說明連結是有效的。

發現原始碼裡沒有檔案大小，那應該是動態獲得的。百度網盤10萬次每天就會封IP，第二天也不能訪問。

二.通過倒數第二連結頁提取資料。

1.提取：檔名
示例：http://www.pansoso.com/?a=url&u=aHR0cDovL3Bhbi5iYWlkdS5jb20vc2hhcmUvbGluaz91az01OTAyMDczODcmc2hhcmVpZD0zMTYxNDEyMjc2&t=MzYw5rqQ56CBLnppcA==&s=5rqQ56CB
正則表示式：(?<=<title>).*?(?=下載_網盤下載_盤搜搜</title>)
結果：360原始碼.zip


2.提取：檔案連結
示例：view-source:http://www.pansoso.com/?a=url&u=aHR0cDovL3Bhbi5iYWlkdS5jb20vc2hhcmUvbGluaz91az01OTAyMDczODcmc2hhcmVpZD0zMTYxNDEyMjc2&t=MzYw5rqQ56CBLnppcA==&s=5rqQ56CB
正則表示式：(?<=href=")(http|https)://(pan|yun)\.baidu\.com/.*?(?=")

結果：http://pan.baidu.com/share/link?uk=590207387&shareid=3161412276

三.通過搜尋結果頁提取資料。http://www.pansoso.com/zh/%E7%81%B5%E5%9F%9F
<div class="des">檔名:[動畫]靈.域5 , 檔案大小:1KB , 分享時間:2017-10-31 , 下載次數:3次 ... 登入百度雲網盤客戶端下載送2T空間 電腦版</div>


<a href="/?a=url&amp;[email protected]IyMzQmdWs9MzQxMTA2OTc2OQ==&amp;t=W!WKqOeUu13ngbUu5Z!fNQ==&amp;s=54G15Z!f" target="_blank" rel="nofollow" id="pss-8cfbeff2">[動畫]靈.域5</a>


1.提取：檔名
示例：http://www.pansoso.com/zh/%E7%81%B5%E5%9F%9F
正則表示式：(?<=檔名:).*?(?= ,)   某某之後，非換行，儘可能少，某某之前
結果：[動畫]靈.域5


2.提取：通向檔案地址的連結
示例：http://www.pansoso.com/zh/%E7%81%B5%E5%9F%9F
正則表示式：/?a=url.*?(?=")
結果：a=url&

[email protected]IyMzQmdWs9MzQxMTA2OTc2OQ==&t=W!WKqOeUu13ngbUu5Z!fNQ==&s=54G15Z!f


3.提取：檔案大小
示例：http://www.pansoso.com/zh/%E7%81%B5%E5%9F%9F
正則表示式：(?<=檔案大小:).*?(?= ,)
結果：1KB


4.提取：分享時間
示例：http://www.pansoso.com/zh/%E7%81%B5%E5%9F%9F
正則表示式：(?<=分享時間:).*?(?= ,)
結果：2017-10-31


5.提取：下載次數
示例：http://www.pansoso.com/zh/%E7%81%B5%E5%9F%9F
正則表示式：(?<=下載次數:).*?(?=次)
結果：3