使用Python 3.6 進行對《孤芳不自賞》這部作品的短評爬取

點選這個連線我們可以進入該作品短評頁面

這裡還沒有登入豆瓣。登入豆瓣之後，才能爬取更多的頁面。
因此我們選擇登入，最快捷省時的辦法，就是在登入時使用F12進行檢視cookies。
把cookies記下來，可以保持登入狀態。

然後開始找需要的資訊。
頁面有很多資訊，我們大概需要
短評使用者的id、評分、日期、贊同數和內容等等。
建立一個類似這樣的正則表示式進行匹配：

    get_id = re.findall(r'<a.+people.+">(.+)</a>', html)
    get_stars = re.findall(r'<span class="allstar(.+) rating" title=".+"></span>'
 
, html)
    get_eval = re.findall(r'<span class=".+" title="(.+)"></span>', html)
    get_comments = re.findall(r'<p class="">(.+)', html)
    get_votes = re.findall(r'<span class="votes">(.+)</span>', html)
    get_date = re.findall(r'201[0-9]-[0-9]+-[0-9]+', html, re.S)

然後開始寫爬蟲

# 《孤芳不自賞》，爬取豆瓣影評
import requests
import re
import pymysql
import time


def get_comment_info(html):
    get_id = re.findall(r'<a.+people.+">(.+)</a>', html)
    get_stars = re.findall(r'<span class="allstar(.+) rating" title=".+"></span>', html)
    get_eval = re.findall(r'<span class=".+" title="(.+)"></span>'
 
, html)
    get_comments = re.findall(r'<p class="">(.+)', html)
    get_votes = re.findall(r'<span class="votes">(.+)</span>', html)
    get_date = re.findall(r'201[0-9]-[0-9]+-[0-9]+', html, re.S)
    n_page = re.findall(r'<a href="\?start=(\d+)&.+".+>', html)

    db = pymysql.connect("localhost", "root", "5307", "douban_data", charset='utf8')
    cursor = db.cursor()

    if get_id:
        for i in range(0, 19):
            sql = """INSERT INTO movies_comments (id, stars, eval, comment_info, votes, date)
                VALUES(%s,%s,%s,%s,%s,%s)"""
            try:
                cursor.execute(sql, (get_id[i], get_stars[i], get_eval[i], get_comments[i], get_votes[i], get_date[i]))
                db.commit()
            except Exception as e:
                db.rollback()
                continue
            i += 1

    db.close()
    return n_page


if __name__ == '__main__':
    # login douban.com
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
    }

    cookies = {
        'cookie': '使用你的cookies'
    }

    each = 25360
    while 1:
        url = 'https://movie.douban.com/subject/26608228/comments?start=' + str(
            each) + '&limit=20&sort=new_score&status=P'
        url_info = requests.get(url, cookies=cookies, headers=headers)
        print("正在抓取評論，從第" + str(each) + "條開始")
        next_page = get_comment_info(url_info.text)
        time.sleep(10)
        each = next_page[-1]

從MySQL中建立一個相關的表，進行資料的儲存
最後執行爬蟲，能獲取到我們需要的資訊

直觀瞭解爬下來的資料

為了更好地瞭解爬下來的資料，以及瞭解這樣的一部作品，需要對爬下來的資料進行粗略的分析。
短評獲取到的資料是中文，可以對內容進行分詞，檢視每個詞出現的頻率。
用詞雲進行體現，可以知道這部作品的口碑：

這大概就達到了要求，得到了結果。