電影天堂資料採集需求文件(先用正則表示式做)
一、 最新電影頁面電影連結採集
1. 首頁url：http://www.ygdy8.net/html/gndy/dyzz/list_23_1.html
2. 從該頁面根據正則匹配資料，具體要求如下：
 2.1 匹配電影名稱 例如：2017年動作冒險《太空救援》BD俄語中字
 2.2 匹配電影詳情頁連結地址 例如：/html/gndy/dyzz/20180107/55981.html
3.  分析url地址匹配前10頁資料

二、 根據電影詳情頁的url地址，採集電影詳情資訊
1. 根據正則，匹配資料，具體如下：
 1.1 匹配電影名稱 例如：太空救援/禮炮號空間站 
 1.2 匹配電影類別 例如:  動作/冒險
 1.3
 
 匹配電影上映日期  例如：2017-10-05(俄羅斯)/2018-01-12(中國) 
 1.4 匹配電影片長 例如：111分鐘 
 1.5 匹配電影下載地址 例如：ftp://ygdy8:[email protected].dydytt.net:3026/[陽光電影www.ygdy8.net].太空救援.BD.720p.俄語中字.mkv
 1.6 如需其他資料，自行書寫程式碼
2. 將所有匹配到的資料寫入excel表格中進行儲存，儲存格式如下圖：


注：以類和物件的方式去寫這個爬蟲，要求寫兩個爬蟲類，一個用於爬取列表頁的電影詳情頁地址，一個用於爬取電影詳細資訊資料，並儲存到excel檔案中。

xpath基本語法

# coding: utf-8
import requests
# lxml 包 專門用處理一些html和xml的  開啟cmd命令   輸入pip install lxml
# 引入etree模組,,從lxml包中引入我們需要的etree
from lxml import etree

# xpath  一組特定的規則，可以根據特殊的語法結構，    =headers)

# 將html原始碼轉換為樹形結構資料
html = etree.HTML(resposne.content)

# 根據xpath從html中提取img標籤,返回的是列表，列表中存放就是找到的標籤物件
# imgs = html.xpath('//img')
 

# for img in imgs:
#     # 查詢img標籤src屬性值
#     src = img.xpath('@src')
#     print src
links = html.xpath('//a[@class="archive-title"]/text()')
for link in links:
    # 找到href屬性值，返回的是列表，可以取出列表中的第0個元素
    href = link.xpath('@href')[0]
    title = link.xpath('text()')[0]
    print u'部落格標題：%s  連結：%s'%(title, href)

例子
利用xpath爬取電影天堂，將資料儲存在表格中

# coding: utf-8
import requests
from lxml import etree
import xlwt
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0'
}
# 1.url
url = 'http://www.ygdy8.net/html/gndy/dyzz/index.html'
# 2.發起請求，接受響應
response = requests.get(url, headers=headers)
# 3.轉成樹形節點結構
html = etree.HTML(response.content)
# //select[@name="sldd"]/option[last()]/text() last()找到多個標籤中的最後一個標籤
total_page = html.xpath('//select[@name="sldd"]/option[last()]/text()')[0]
print '共有%s頁電影資訊，正在準備爬取！'%total_page
workbook = xlwt.Workbook(encoding='utf-8')
sheet = workbook.add_sheet(u'最新電影資訊')
sheet.write(0, 0, '電影名稱')
sheet.write(0, 1, '電影型別')
sheet.write(0, 2, '電影時長')
sheet.write(0, 3, '電影下載地址')
count = 0
# 迴圈遍歷所有頁
for x in range(1,int(total_page)+1):
    print '正在爬取第%s頁資料，請稍後....'%x
    # 根據x的值，拼接完整頁面url地址
    url = 'http://www.ygdy8.net/html/gndy/dyzz/list_23_%s.html'%x
    response = requests.get(url, headers=headers)
    html = etree.HTML(response.content)
    # 4.使用xpath查詢所有的href屬性值
    hrefs = html.xpath('//a[@class="ulink"]/@href')
    # for迴圈取出所有的href值
    for href in hrefs:
        count += 1
        print '正在爬取第%s個電影資訊..'%count
        # 拼接完整的url地址
        detail_url = 'http://www.ygdy8.net%s'%href
        # 傳送請求，拿回詳情頁面的資料
        detail_response = requests.get(detail_url, headers=headers)
        # print detail_response.content
        # 轉換樹形節點結構
        detail_html = etree.HTML(detail_response.content)
        # 根據xpath從詳情頁提取資料
        movie_info = detail_html.xpath('//div[@id="Zoom"]//text()')
        # for中存放的就是電影的所有資訊
        for movie in movie_info:
            if u'譯　　名' in movie:
                movie_name = movie.split(u'　')[-1]
            elif u'類　　別' in movie:
                movie_type = movie.split(u'　')[-1]
            elif u'片　　長' in movie:
                movie_time = movie.split(u'　')[-1]

        download_url = detail_html.xpath('//tbody/tr/td/a/@href')[0]

        sheet.write(count, 0,movie_name)
        sheet.write(count, 1,movie_type)
        sheet.write(count, 2,movie_time)
        sheet.write(count, 3,download_url)

workbook.save(u'電影天堂資料.xls')