以前在學校做科研都是直接利用網上共享的一些資料，就像我們經常說的dataset、beachmark等等。但是，對於實際的工業需求來說，爬取網路的資料是必須的並且是首要的。最近在國內一家網際網路公司實習，我的mentor交給我的第一件事就是去網路上爬取資料，並對爬取的資料進行相關的分析和解析。

1.利用urllib2對指定的URL抓取網頁內容

　　網路爬蟲（Web Spider），顧名思義就是將龐大的網際網路看做是一張大網，而我們要做的就是用程式碼去構造一個類似於爬蟲的實體，在這張大網上爬取我們需要的資料。

　　所謂網頁抓取，就是把URL地址中指定的網絡資源從網路流中讀取出來，儲存到本地。

　　最簡單的抓取網路的Python程式碼，四行就可以搞定：

1 import urllib2  
2 response = urllib2.urlopen('http://www.toutiao.com/')  
3 html = response.read()  
4 print html

　　顯示抓取的結果：

　　我們可以開啟百度主頁，右擊，選擇檢視原始碼（火狐OR谷歌瀏覽器均可），會發現也是完全一樣的內容。也就是說，上面這四行程式碼將我們訪問百度時瀏覽器收到的程式碼們全部列印了出來。這就是一個最簡單的利用urllib2進行網頁爬取的例子。

 　　當然，有的網站為了防止爬蟲，可能會拒絕爬蟲的請求，這就需要我們來修改http中的Header項了。還有一些站點有所謂的反盜鏈設定，其實說穿了很簡單，就是檢查你傳送請求的header裡面，referer站點是不是他自己，所以我們只需要像把headers的referer改成該網站即可。有關Header項的修改請轉至下邊的連結檢視，裡邊詳細地介紹了Header的修改、Cookie和表單的處理，等等。

2. 使用正則表示式過濾抓取到的網頁資訊

　　如果說網頁爬蟲爬取的網頁資訊是資料大海的話，那麼正則表示式就是我們進行“大海撈針”的工具。

　　首先宣告一點，正則表示式不是Python的語法，並不屬於Python，其他的語言中也同樣支援正則表示式的使用。具體來說，它是一種強大的字串匹配和處理規則。

2.1 正則表示式介紹

　　下圖展示了使用正則表示式進行匹配的流程：

　　下圖列出了Python支援的正則表示式元字元和語法：

2.1.1 正則表示式元字元

2.1.2 數量詞的貪婪模式與非貪婪模式

　　正則表示式通常用於在文字中查詢匹配的字串。貪婪模式，總是嘗試匹配儘可能多的字元；非貪婪模式則相反，總是嘗試匹配儘可能少的字元。Python裡數量詞預設是貪婪的。

　　例如：正則表示式"ab*"如果用於查詢"abbbc"，將找到"abbb"。而如果使用非貪婪的數量詞"ab*?"，將找到"a"。

2.1.3 反斜槓的問題

　　與大多數程式語言相同，正則表示式裡使用"\"作為轉義字元，這就可能造成反斜槓困擾。假如你需要匹配文字中的字元"\"，那麼使用程式語言表示的正則表示式裡將需要4個反斜槓"\\\\"：第一個和第三個用於在程式語言裡將第二個和第四個轉義成反斜槓，轉換成兩個反斜槓\\後再在正則表示式裡轉義成一個反斜槓用來匹配反斜槓\。這樣顯然是非常麻煩的。

　　Python裡的原生字串很好地解決了這個問題，這個例子中的正則表示式可以使用r"\\"表示。同樣，匹配一個數字的"\\d"可以寫成r"\d"

2.2 Python的re模組

　　Python通過re模組提供對正則表示式的支援。

　　使用re的一般步驟是：

　　Step1：先將正則表示式的字串形式編譯為Pattern例項。

　　Step2：然後使用Pattern例項處理文字並獲得匹配結果（一個Match例項）。

　　Step3：最後使用Match例項獲得資訊，進行其他的操作。

　　一個使用Python的re模組進行正則表示式匹配的例子：

1. # -*- coding: utf-8 -*-  
   #一個簡單的re例項，匹配字串中的hello字串  
     
   #匯入re模組  
   import re  
      
   # 將正則表示式編譯成Pattern物件，注意hello前面的r的意思是“原生字串”  
   pattern = re.compile(r'hello')  
      
   # 使用Pattern匹配文字，獲得匹配結果，無法匹配時將返回None  
   match1 = pattern.match('hello world!')  
   match2 = pattern.match('helloo world!')  
   match3 = pattern.match('helllo world!')  
     
   #如果match1匹配成功  
   if match1:  
       # 使用Match獲得分組資訊  
       print match1.group()  
   else:  
       print 'match1匹配失敗！'  
     
     
   #如果match2匹配成功  
   if match2:  
       # 使用Match獲得分組資訊  
       print match2.group()  
   else:  
       print 'match2匹配失敗！'  
     
     
   #如果match3匹配成功  
   if match3:  
       # 使用Match獲得分組資訊  
       print match3.group()  
   else:  
       print 'match3匹配失敗！'　　　

　　輸出結果：

　　　　hello

hello

　　　 match3匹配失敗！

　　當然，也可以省略編譯pattern的過程，如下所示：

# -*- coding: utf-8 -*-  
#一個簡單的re例項，匹配字串中的hello字串  
import re  
  
m = re.match(r'hello', 'hello world!')  
print m.group() 

　　除了match以外，Python中還提供了其他的匹配模式，可以針對不同的環境和用途來選擇不同的匹配模式。　　

　　1）match：只從字串的開始與正則表示式匹配，匹配成功返回matchobject，否則返回none；
　　2）search：將字串的所有字串嘗試與正則表示式匹配，如果所有的字串都沒有匹配成功，返回none，否則返回matchobject；（re.search相當於perl中的預設行為）

　　3）findall：匹配所有匹配成功的結果。

　　詳細的使用細則，可以檢視下邊的內容：

　　當然，如果你覺得使用正則表示式太繁瑣的話，Python提供了BeautifulSoup外掛來取代正則表示式，進行網頁的解析。想了解有關BeautifulSoup方面的知識，請移至下邊連結：

2.3 Python正則表示式彙總

　　2.3.1 正則表示式模式

　　模式字串使用特殊的語法來表示一個正則表示式：

　　字母和數字表示他們自身。一個正則表示式模式中的字母和數字匹配同樣的字串。

　　多數字母和數字前加一個反斜槓時會擁有不同的含義。

　　標點符號只有被轉義時才匹配自身，否則它們表示特殊的含義。

　　反斜槓本身需要使用反斜槓轉義。

　　由於正則表示式通常都包含反斜槓，所以你最好使用原始字串來表示它們。模式元素(如 r'/t'，等價於'//t')匹配相應的特殊字元。

　　下表列出了正則表示式模式語法中的特殊元素。如果你使用模式的同時提供了可選的標誌引數，某些模式元素的含義會改變。

　　2.3.2 正則表示式例項

　　字元匹配:

　　字元類:

　　特殊字元類：

　　更加詳細的正則表示式教程請見正則表示式手冊。