http://rfyiamcool.blog.51cto.com/1030776/1287810

對與要時不時要抓取頁面的我們來說，是痛苦的~

由於目前的Web開發中AJAX、Javascript、CSS的大量使用，一些網站上的重要資料是由Ajax或Javascript動態生成的，並不能直接通過解析html頁面內容就能獲得（例如採用urllib2，mechanize、lxml、Beautiful Soup ）。要實現對這些頁面資料的爬取，爬蟲必須支援Javacript、DOM、HTML解析。

比如： 像監控的資料就不能用簡單的curl和urllib解析到的。。。  

還有這個用ajax 渲染的頁面，用urllib2直接解析不了的。

常見的抓資料的方法：

urllib2+urlparse+re

最原始的辦法，其中urllib2是python的web庫、urlparse能處理url、re是正則庫，這種方法寫起來比較繁瑣，但也比較“實在”

urllib2+beautifulsoup

這裡的得力干將是beautifulsoup，beautifulsoup可以非常有效的解析HTML頁面，就可以免去自己用re去寫繁瑣的正則等。

Mechanize+BeautifulSoup

Mechanize是對於urllib2的部分功能的替換，使得除了http以外其他任何連線也都能被開啟，也更加動態可配置

其實像上面的頁面，要是不嫌麻煩，可以從頁面狂找介面，下出來的大多是xml的格式，然後你再費勁的去解析。。。是在他折騰了。

這時候大家可以用 webkit核心的web 客戶端。  他會像真正的瀏覽器一樣來解析頁面的。

WebKit: Safari, Google Chrome,傲遊3 360瀏覽器 等等都是基於 Webkit 核心開發。

我們一般是終端取值的，這些也有不少封裝好的工具

Pyv8，PythonWebKit，Selenium，PhantomJS，Ghost.py  等等。。。。

我這裡推薦用ghost.py 。。。。 因為他夠直接和實用

發現國內webkit的資料很少，ghost.py的資料就更少了，那我就根據官方的文件，簡單的翻譯下 ~

一個小例子，感受下Ghost~

安裝Ghost.py　以及相關的東東～~

用webkit，我們需要有pyqt或者是PySide

這些都安裝好了後，再開始  

運氣好的直接 pip install Ghost.py

運氣不好的：

中間會遇到好多蛋疼的問題，大家多搜搜~

要是解決不了了，請回帖哈~