寫在前面：本文比較詳細，不想看囉嗦的可以直接到這裡下載原始碼

0x00. 起因

因為參加學校大學生創新競賽，研究有關微博博文表達的情緒，需要大量微博博文，而網上無論是國內的某度、csdn，還是國外谷歌、gayhub、codeproject等都找不到想要的程式，沒辦法只能自己寫一個程式了。
ps.在爬盟找到類似的程式，但是是windows下的，並且閉源，而且最終爬取儲存的檔案用notepad++開啟有很多奇怪的問題，所以放棄了。

0x01. 基礎知識

本程式由Python寫成，所以基本的Python知識是必須的。另外，如果你有一定的計算機網路基礎，在前期準備時會有少走很多彎路。
對於爬蟲，需要明確幾點：
1. 對爬取物件分類，可以分為以下幾種：第一種是不需要登入的，比如博主以前練手時爬的

中國天氣網，這種網頁爬取難度較低，建議爬蟲新手爬這類網頁；第二種是需要登入的，如豆瓣、新浪微博，這些網頁爬取難度較高；第三種獨立於前兩種，你想要的資訊一般是動態重新整理的，如AJAX或內嵌資源，這種爬蟲難度最大，博主也沒研究過，在此不細舉（據同學說淘寶的商品評論就屬於這類）。
2. 如果同一個資料來源有多種形式（比如電腦版、手機版、客戶端等），優先選取較為“純淨的”展現。比如新浪微博，有網頁版，也有手機版，而且手機版可以用電腦瀏覽器訪問，這時我優先選手機版新浪微博。
3. 爬蟲一般是將網頁下載到本地，再通過某些方式提取出感興趣的資訊。也就是說，爬取網頁只完成了一半，你還要將你感興趣的資訊從下載下來的html檔案中提取出來。這時就需要一些xml的知識了，在這個專案中，博主用的是XPath提取資訊，另外可以使用XQuery等等其他技術，詳情請訪問

w3cschool。
4. 爬蟲應該儘量模仿人類，現在網站反爬機制已經比較發達，從驗證碼到禁IP，爬蟲技術和反爬技術可謂不斷博弈。

0x02. 開始

決定了爬蟲的目標之後，首先應該訪問目標網頁，明確目標網頁屬於上述幾種爬蟲的哪種，另外，記錄為了得到感興趣的資訊你需要進行的步驟，如是否需要登入，如果需要登入，是否需要驗證碼；你要進行哪些操作才能獲得希望得到的資訊，是否需要提交某些表單；你希望得到的資訊所在頁面的url有什麼規律等等。

以下博文以博主專案為例，該專案爬取特定新浪微博使用者從註冊至今的所有微博博文和根據關鍵詞爬取100頁微博博文（大約1000條）。

0x03. 收集必要資訊

首先訪問目標網頁，發現需要登入，進入登入頁面如下

注意url後半段有很多形如”%xx”的轉義字元，本文後面將會講到。
從這個頁面可以看到，登入新浪微博手機版需要填寫賬號、密碼和驗證碼。
這個驗證碼是近期（本文創作於2016.3.11）才需要提供的，如果不需要提供驗證碼的話，將有兩種方法進行登入。
第一種是填寫賬號密碼之後執行js模擬點選“登入”按鈕，博主之前寫過一個Java爬蟲就是利用這個方法，但是現在找不到工程了，在此不再贅述。
第二種需要一定HTTP基礎，提交包含所需資訊的HTTP POST請求。我們需要Wireshark 工具來抓取登入微博時我們發出和接收的資料包。如下圖我抓取了在登入時發出和接收的資料包

在搜尋欄提供搜尋條件”http”可得到所有http協議資料包，右側info顯示該資料包的縮略資訊。圖中藍色一行是POST請求，並且info中有”login”，可以初步判斷這個請求是登入時發出的第一個資料包，並且這個180.149.153.4應該是新浪微博手機版登入認證的伺服器IP地址，此時我們並沒有任何的cookie。

在序號為30是資料包中有一個從該IP發出的HTTP資料包，裡面有四個Set-Cookie欄位，這些cookie將是我們爬蟲的基礎。

早在新浪微博伺服器反爬機制升級之前，登入是不需要驗證碼的，通過提交POST請求，可以拿到這些cookie，在專案原始碼中的TestCookie.py中有示例程式碼。
ps.如果沒有wireshark或者不想這麼麻煩的話，可以用瀏覽器的開發者工具，以chrome為例，在登入前開啟開發者工具，轉到Network，登入，可以看到發出和接收的資料，登入完成後可以看到cookies，如下圖

接下來訪問所需頁面，檢視頁面url是否有某種規律。由於本專案目標之一是獲取某使用者的全部微博，所以直接訪問該使用者的微博頁面，以央視新聞 為例。

圖為央視新聞微博第一頁，觀察該頁面的url可以發現，新浪微博手機版的微博頁面url組成是 “weibo.cn/(displayID)?page=(pagenum)” 。這將成為我們爬蟲拼接url的依據。

接下來檢視網頁原始碼，找到我們希望得到的資訊的位置。開啟瀏覽器開發者工具，直接定位某條微博，可以發現它的位置，如下所示。

觀察html程式碼發現，所有的微博都在<div>標籤裡，並且這個標籤裡有兩個屬性，其中class屬性為”c”，和一個唯一的id屬性值。得到這個資訊有助於將所需資訊提取出來。
另外，還有一些需要特別注意的因素
* 微博分為原創微博和轉發微博
* 按照發布時間至當前時間的差距，在頁面上有”MM分鐘前”、”今天HH:MM”、”mm月dd日 HH:MM”、”yyyy-mm-dd HH:MM:SS”等多種顯示時間的方式
* 手機版新浪微博一個頁面大約顯示10條微博，所以要注意對總共頁數進行記錄
以上幾點都是細節，在爬蟲和提取的時候需要仔細考慮。

0x04. 編碼

1.爬取使用者微博

本專案開發語言是Python 2.7，專案中用了一些第三方庫，第三方庫可以用pip的方法新增。
既然程式自動登入的想法被驗證碼擋住了，想要訪問特定使用者微博頁面，只能使用者提供cookies了。
首先用到的是Python的request模組，它提供了帶cookies的url請求。

import request
print request.get(url, cookies=cookies).content

使用這段程式碼就可以列印帶cookies的url請求頁面結果。

首先取得該使用者微博頁面數，通過檢查網頁原始碼，查詢到表示頁數的元素，通過XPath等技術提取出頁數。

專案使用lxml模組對html進行XPath提取。
首先匯入lxml模組，在專案裡只用到了etree，所以

from lxml import etree

然後利用下面的方法返回頁數

def getpagenum(self):
        url = self.geturl(pagenum=1)
        html = requests.get(url, cookies=self.cook).content  # Visit the first page to get the page number.
        selector = etree.HTML(html)
        pagenum = selector.xpath('//input[@name="mp"]/@value')[0]
        return int(pagenum)

接下來就是不斷地拼接url->訪問url->下載網頁。
需要注意的是，由於新浪反爬機制的存在，同一cookies訪問頁面過於“頻繁”的話會進入類似於“冷卻期”，即返回一個無用頁面，通過分析該無用頁面發現，這個頁面在特定的地方會出現特定的資訊，通過XPath技術來檢查這個特定地方是否出現了特定資訊即可判斷該頁面是否對我們有用。

def ispageneeded(html):
        selector = etree.HTML(html)
        try:
            title = selector.xpath('//title')[0]
        except:
            return False
        return title.text != '微博廣場' and title.text != '微博'

如果出現了無用頁面，只需簡單地重新訪問即可，但是通過後期的實驗發現，如果長期處於過頻訪問，返回的頁面將全是無用頁面，程式也將陷入死迴圈。為了避免程式陷入死迴圈，博主設定了嘗試次數閾值trycount，超過這個閾值之後方法自動返回。
下面程式碼片展示了單執行緒爬蟲的方法。

def startcrawling(self, startpage=1, trycount=20):
        attempt = 0
        try:
            os.mkdir(sys.path[0] + '/Weibo_raw/' + self.wanted)
        except Exception, e:
            print str(e)
        isdone = False
        while not isdone and attempt < trycount:
            try:
                pagenum = self.getpagenum()
                isdone = True
            except Exception, e:
                attempt += 1
            if attempt == trycount:
                return False
        i = startpage
        while i <= pagenum:
            attempt = 0
            isneeded = False
            html = ''
            while not isneeded and attempt < trycount:
                html = self.getpage(self.geturl(i))
                isneeded = self.ispageneeded(html)
                if not isneeded:
                    attempt += 1
                if attempt == trycount:
                    return False
            self.savehtml(sys.path[0] + '/Weibo_raw/' + self.wanted + '/' + str(i) + '.txt', html)
            print str(i) + '/' + str(pagenum - 1)
            i += 1
        return True

考慮到程式的時間效率，在寫好單執行緒爬蟲之後，博主也寫了多執行緒爬蟲版本，基本思想是將微博頁數除以執行緒數，如一個微博使用者有100頁微博，程式開10個執行緒，那麼每個執行緒只負責10個頁面的爬取，其他基本思想跟單執行緒類似，只需仔細處理邊界值即可，在此不再贅述，感興趣的同學可以直接看程式碼。另外，由於多執行緒的效率比較高，併發量特別大，所以伺服器很容易就返回無效頁面，此時trycount的設定就顯得更重要了。博主在寫這篇微博的時候，用一個新的cookies，多執行緒爬取現場測試了一下爬取北京郵電大學的微博，3976條微博全部爬取成功並提取博文，用時僅15s，實際可能跟cookies的新舊程度和網路環境有關，命令列設定如下，命令列意義在專案網址裡有說明

python main.py _T_WM=xxx; SUHB=xxx; SUB=xxx; gsid_CTandWM=xxx u bupt m 20 20

爬取的工作以上基本介紹結束，接下來就是爬蟲的第二部分，解析了。由於專案中提供了多執行緒爬取方法，而多執行緒一般是無序的，但微博博文是依靠時間排序的，所以專案採用了一種折衷的辦法，將下載完成的頁面儲存在本地檔案系統，每個頁面以其頁號為檔名，待爬取的工作結束後，再遍歷資料夾內所有檔案並解析。

通過前面的觀察，我們已經瞭解到微博博文存在的標籤有什麼特點了，利用XPath技術，將這個頁面裡所有有這個特點的標籤全部提取出來已經不是難事了。
在這再次提醒，微博分為轉發微博和原創微博、時間表示方式。另外，由於我們的研究課題僅對微博文字感興趣，所以配圖不考慮。

def startparsing(self, parsingtime=datetime.datetime.now()):
        basepath = sys.path[0] + '/Weibo_raw/' + self.uid
        for filename in os.listdir(basepath):
            if filename.startswith('.'):
                continue
            path = basepath + '/' + filename
            f = open(path, 'r')
            html = f.read()
            selector = etree.HTML(html)
            weiboitems = selector.xpath('//div[@class="c"][@id]')
            for item in weiboitems:
                weibo = Weibo()
                weibo.id = item.xpath('./@id')[0]
                cmt = item.xpath('./div/span[@class="cmt"]')
                if len(cmt) != 0:
                    weibo.isrepost = True
                    weibo.content = cmt[0].text
                else:
                    weibo.isrepost = False
                ctt = item.xpath('./div/span[@class="ctt"]')[0]
                if ctt.text is not None:
                    weibo.content += ctt.text
                for a in ctt.xpath('./a'):
                    if a.text is not None:
                        weibo.content += a.text
                    if a.tail is not None:
                        weibo.content += a.tail
                if len(cmt) != 0:
                    reason = cmt[1].text.split(u'\xa0')
                    if len(reason) != 1:
                        weibo.repostreason = reason[0]
                ct = item.xpath('./div/span[@class="ct"]')[0]
                time = ct.text.split(u'\xa0')[0]
                weibo.time = self.gettime(self, time, parsingtime)
                self.weibos.append(weibo.__dict__)
        f.close()

方法傳遞的引數parsingtime的設定初衷是，開發前期爬取和解析可能不是同時進行的（並不是嚴格的“同時”），微博時間顯示是基於訪問時間的，比如爬取時間是10:00，這時爬取到一條微博顯示是5分鐘前釋出的，但如果解析時間是10:30，那麼解析時間將錯誤，所以應該講解析時間設定為10:00。到後期爬蟲基本開發完畢，爬取工作和解析工作開始時間差距降低，時間差將是爬取過程時長，基本可以忽略。

解析結果儲存在一個列表裡，最後將這個列表以json格式儲存到檔案系統裡，刪除過渡資料夾，完成。

def save(self):
        f = open(sys.path[0] + '/Weibo_parsed/' + self.uid + '.txt', 'w')
        jsonstr = json.dumps(self.weibos, indent=4, ensure_ascii=False)
        f.write(jsonstr)
        f.close()

2.爬取關鍵詞

同樣的，收集必要的資訊。在微博手機版搜尋頁面敲入”python”，觀察url，研究其規律。雖然第一頁並無規律，但是第二頁我們發現了規律，而且這個規律可以返回應用於第一頁



觀察url可以發現，對於關鍵詞的搜尋，url中的變數只有keyword和page（事實上，hideSearchFrame對我們的搜尋結果和爬蟲都沒有影響），所以在程式碼中我們就可以對這兩個變數進行控制。
另外，如果關鍵詞是中文，那麼url就需要對中文字元進行轉換，如我們在搜尋框敲入”開心”並搜尋，發現url如下顯示

但複製出來卻為
http://weibo.cn/search/mblog?hideSearchFrame=&keyword=%E5%BC%80%E5%BF%83&page=1
幸好，python的urllib庫有qoute方法處理中文轉換的功能（如果是英文則不做轉換），所以在拼接url前使用這個方法處理一下引數。
另外，考慮到關鍵詞搜尋屬於資料收集階段使用的方法，所以在此只提供單執行緒下載網頁，如有多執行緒需要，大家可以按照多執行緒爬取使用者微博的方法自己改寫。最後，對下載下來的網頁進行提取並儲存（我知道這樣的模組設計有點奇怪，打算重(xin)構(qing)時(hao)時再改，就先這樣吧）。

def keywordcrawling(self, keyword):
        realkeyword = urllib.quote(keyword)  # Handle the keyword in Chinese.
        try:
            os.mkdir(sys.path[0] + '/keywords')
        except Exception, e:
            print str(e)
        weibos = []
        try:
            highpoints = re.compile(u'[\U00010000-\U0010ffff]')  # Handle emoji, but it seems doesn't work.
        except re.error:
            highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')
        pagenum = 0
        isneeded = False
        while not isneeded:
            html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=1' % realkeyword)
            isneeded = self.ispageneeded(html)
            if isneeded:
                selector = etree.HTML(html)
                try:
                    pagenum = int(selector.xpath('//input[@name="mp"]/@value')[0])
                except:
                    pagenum = 1
        for i in range(1, pagenum + 1):
            try:
                isneeded = False
                while not isneeded:
                    html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=%s' % (realkeyword, str(i)))
                    isneeded = self.ispageneeded(html)
                selector = etree.HTML(html)
                weiboitems = selector.xpath('//div[@class="c"][@id]')
                for item in weiboitems:
                    cmt = item.xpath('./div/span[@class="cmt"]')
                    if (len(cmt)) == 0:
                        ctt = item.xpath('./div/span[@class="ctt"]')[0]
                        if ctt.text is not None:
                            text = etree.tostring(ctt, method='text', encoding="unicode")
                            tail = ctt.tail
                            if text.endswith(tail):
                                index = -len(tail)
                                text = text[1:index]
                            text = highpoints.sub(u'\u25FD', text)  # Emoji handling, seems doesn't work.
                            weibotext = text
                            weibos.append(weibotext)
                print str(i) + '/' + str(pagenum)
            except Exception, e:
                print str(e)
        f = open(sys.path[0] + '/keywords/' + keyword + '.txt', 'w')
        try:
            f.write(json.dumps(weibos,indent=4,ensure_ascii=False))
        except Exception,ex:
            print str(ex)
        finally:
            f.close()

0x05. 後記

博主之前從未寫過任何爬蟲程式，為了獲取新浪微博博文，博主先後寫了3個不同的爬蟲程式，有Python，有Java，爬蟲不能用了是很正常的，不要氣餒，爬蟲程式和反爬機制一直都在不斷博弈中，道高一尺魔高一丈。
另. 轉載請告知博主，如果覺得博主帥的話就可以不用告知了