Python十分適合用來開發網頁爬蟲，理由如下：
1、抓取網頁自身的介面
比較與其他靜態程式語言，如java，c#，c++，python抓取網頁文件的介面更簡練；比較其他動態指令碼語言，如perl，shell，python的urllib2包供給了較為完整的訪問網頁文件的API。（當然ruby也是很好的挑選）
此外，抓取網頁有時候需求模仿瀏覽器的行為，許多網站對於僵硬的爬蟲抓取都是封殺的。這是咱們需求模仿user agent的行為構造適宜的請求，比如模仿使用者登陸、模仿session/cookie的儲存和設定。在python裡都有十分優秀的第三方包幫你搞定，如Requests，mechanize

<p "="">2、網頁抓取後的處理
抓取的網頁一般需求處理，比如過濾html標籤，提取文字等。python的beautifulsoap供給了簡練的文件處理功用，能用極短的程式碼完結大部分文件的處理。
其實以上功用許多語言和東西都能做，可是用python能夠幹得最快，最乾淨，

特產網。 獲取網上真實的語料資料，自身對Py的掌握不是很好，記載下自己學習的過程，希望對你有協助。 # python3 取得taoeba的語料http://www.suyezi.com特產網（不知道從哪翻到的這個網站，有各國語言的句子，訪問速度較慢
header用來偽裝自己是個瀏覽器，有時也會需要cookie等。 檢視你的瀏覽器的user-agent