2. 程式人生 > >一起學爬蟲——使用xpath庫爬取貓眼電影國內票房榜

一起學爬蟲——使用xpath庫爬取貓眼電影國內票房榜

阿新 • • 發佈：2018-11-21

之前分享了一篇使用requests庫爬取豆瓣電影250的文章，今天繼續分享使用xpath爬取貓眼電影熱播口碑榜

XPATH語法
XPATH(XML Path Language)是一門用於從XML檔案中查詢資訊的語言。通用適用於從HTML檔案中查詢資料。工欲善其事必先利其器，我們首先來了解XPATH常用的語法規則。

常用匹配規則：
| 屬性 | 匹配規則描述|
|-------|------|
| nodename| 匹配此節點的所有子節點 |
|/|匹配當前節點的直接子節點，不包含孫節點|
|//|匹配當前節點的所有子孫節點|
|.|匹配當前節點|
|..|匹配當前節點的父節點|
|@|匹配屬性值|

XPATH的匹配功能很強大，上面6種匹配規則可以搭配使用，通過上面的6種匹配規則即可爬取到網頁上所有的我們想要的資料。

使用下面的HTML文件介紹上述6種規則的搭配使用。

<html>
    <div id="div_id1" class="div_class1">
        <ul>
            <li class="li_item1"><a href="www.bigdata17.com">Summer哥的自留地</a></li>
            <li class="li_item2 li"><a href="li_test.html">test li</a></li>
        </ul>
            <li>20</li>
            <li>30</li>
        <ul>
        </ul>
    </div>
</html>
匹配表示式 結果
//* 匹配網頁中所有的節點
//div 匹配所有div節點
//div/li 匹配所有div節點的所有li節點
//a[@href="www.bigdata17.com"/..] 匹配href屬性為www.bigdata17.com的A節點的父節點
//li[@class="li_item1"] 匹配所有li元素，且為class屬性為"li_item1"
//li[@class] 匹配所有擁有class屬性的li元素
//li/a/@href 獲取所有li元素a子元素的href屬性值，注意和//li[@class="li_item1"的且
//li//text() 過去li節點所有子節點的文字
//li[@class="li_item1"]/a/text() 獲取class屬性為li_item1的li節點所有a子節點的文字
//li[contains(@class,"li")]/a/text() 獲取class屬性值包含li的li節點所有a子節點的文字
//div[contains(@class,"div") and @id="div_id1"]/ul 獲取所有class屬性包含“div”且id屬性值為“div_id1”的div節點的ul子節點
/div/ul[li>20] 選取div節點的所有 ul節點，且其中的li節點的值須大於20
/div/ul[1] 匹配屬於div節點的第一個 ul節點。
/div/ul[last()] 匹配屬於div 子節點的最後一個ul節點
/div/ul[last()-1] 匹配屬於div 子節點的倒數第二個ul節點
/div/ul[position() < 3] 匹配最前面的兩個屬於div元素的ul子元素

通過上面的匹配規則，我們就可以使用XPATH來解析爬取貓眼電影國內票房榜的資料。

XPATH要配合requests一起使用，使用requests抓取網頁資訊，然後使用XPATH解析網頁資訊，XPATH在lxml庫中，因此需要在pycharm中安裝lxml。

1、獲取取貓眼電影熱播口碑榜HTML檔案
下面是抓取貓眼電影熱播口碑榜的程式碼：

from lxml import etree
import requests

url = 'http://maoyan.com/board/1'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}

response = requests.get(url,headers=headers)
html = response.text

2、提取電影名
現在瀏覽器的開發者工具都支援提取xpath規則，具體步驟如下：
首先在瀏覽器中開啟網址，按下F12，ctrl+f查詢電影名，滑鼠右鍵彈出的選單，點選Copy選項，點選Copy Xpath。到此就可以把電影名稱的xpath匹配規則提取出來：
python xpath

電影名稱提取的規則是：
//*[@id="app"]/div/div/div/dl/dd[1]/div/div/div[1]/p[1]/a

我們使用這個規則看下是否能提取出電影名稱，程式碼如下：

from lxml import etree
import requests

url = 'http://maoyan.com/board/7'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}

response = requests.get(url,headers=headers)
html = response.text

movie_name_xpath = '//*[@id="app"]/div/div/div/dl/dd[1]/div/div/div[1]/p[1]/a/text()'
s = etree.HTML(html)
movie_name = s.xpath(movie_name_xpath)
print(movie_name)

執行結果：[<Element a at 0x35f5248>]
上面的結果顯示抓取到的是a元素，就是html中的a標籤，要想獲取該元素中的文字值，必須在xpath匹配規則追加/text()，下面是追加/text()後的程式碼及執行結果：

from lxml import etree
import requests

url = 'http://maoyan.com/board/1'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}

response = requests.get(url,headers=headers)
html = response.text

movie_name_xpath = '//*[@id="app"]/div/div/div/dl/dd[1]/div/div/div[1]/p[1]/a/text()'
s = etree.HTML(html)
movie_name = s.xpath(movie_name_xpath)
print(movie_name)

執行結果['嗝嗝老師']

這裡只是提取一部電影的名稱，我們要想提取當前網頁的所有電影的名稱，匹配規則怎麼寫呢？
下面是當前頁10部電影的xpath匹配規則

//*[@id="app"]/div/div/div/dl/dd[1]/div/div/div[1]/p[1]/a
//*[@id="app"]/div/div/div/dl/dd[2]/div/div/div[1]/p[1]/a
//*[@id="app"]/div/div/div/dl/dd[3]/div/div/div[1]/p[1]/a
//*[@id="app"]/div/div/div/dl/dd[4]/div/div/div[1]/p[1]/a
//*[@id="app"]/div/div/div/dl/dd[5]/div/div/div[1]/p[1]/a
//*[@id="app"]/div/div/div/dl/dd[6]/div/div/div[1]/p[1]/a
//*[@id="app"]/div/div/div/dl/dd[7]/div/div/div[1]/p[1]/a
//*[@id="app"]/div/div/div/dl/dd[8]/div/div/div[1]/p[1]/a
//*[@id="app"]/div/div/div/dl/dd[9]/div/div/div[1]/p[1]/a
//*[@id="app"]/div/div/div/dl/dd[10]/div/div/div[1]/p[1]/a

發現dd的數字會變化，其他的都不變，因此用萬用字元“*”代替dd節點中的數字，提取當前頁所有電影名字的xpath規則為：

//*[@id="app"]/div/div/div/dl/dd[*]/div/div/div[1]/p[1]/a

看下最後的執行結果是什麼。

from lxml import etree
import requests

url = 'http://maoyan.com/board/1'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}

response = requests.get(url,headers=headers)
html = response.text

movie_name_xpath = '//*[@id="app"]/div/div/div/dl/dd[*]/div/div/div[1]/p[1]/a/text()'
s = etree.HTML(html)
movie_name = s.xpath(movie_name_xpath)
print(movie_name)

執行結果：['嗝嗝老師', '毒液：致命守護者', '無名之輩', '恐龍王', '流浪貓鮑勃', '無雙', '名偵探柯南：零的執行人', '颶風奇劫', '影', '你好，之華']

可見使用萬用字元*把所有的電影名稱都提取出來了。

3、提取電影圖片連結
通過上步驟獲取圖片的xpath匹配規則為：

//*[@id="app"]/div/div/div/dl/dd[1]/a/img[2]

通過開發者工具知道img節點有三個屬性，分別是alt,class和src。
python xpath
其中src的是圖片的地址，在xpath提取規則追加上@src,變為：

//*[@id="app"]/div/div/div/dl/dd[1]/a/img[2]/@src

看下這個xpath規則是否能提取到圖片的連結地址：

from lxml import etree
import requests

url = 'http://maoyan.com/board/7'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}

response = requests.get(url,headers=headers)
html = response.text

movie_img_xpath = '//*[@id="app"]/div/div/div/dl/dd[1]/a/img[2]/@src'
s = etree.HTML(html)
movie_img = s.xpath(movie_img_xpath)
print(movie_img)

執行的結果是：[]

怎麼會得不到src屬性的值呢？難道src屬性不存在？

通過滑鼠右鍵檢視網頁原始檔：
python xpath
原來src變成了data-src。修改xpath規則後看下能否提取出電影圖片連結：

from lxml import etree
import requests

url = 'http://maoyan.com/board/7'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}

response = requests.get(url,headers=headers)
html = response.text

movie_img_xpath = '//*[@id="app"]/div/div/div/dl/dd[1]/a/img[2]/@data-src'
s = etree.HTML(html)
movie_img = s.xpath(movie_img_xpath)
print(movie_img)

執行結果：

['http://p0.meituan.net/movie/[email protected]_220h_1e_1c']

電影圖片連結提取成功。
這是提取一部電影的xpath規則，下面是當前頁面10部電影圖片的規則：

//*[@id="app"]/div/div/div/dl/dd[1]/a/img[2]/@data-src
//*[@id="app"]/div/div/div/dl/dd[2]/a/img[2]/@data-src
//*[@id="app"]/div/div/div/dl/dd[3]/a/img[2]/@data-src
...
...
...
//*[@id="app"]/div/div/div/dl/dd[9]/a/img[2]/@data-src
//*[@id="app"]/div/div/div/dl/dd[10]/a/img[2]/@data-src

觀察發現dd的數字會變化，其他的都不變，因此用萬用字元“*”代替dd節點中的數字，提取當前頁所有電影圖片連結的xpath規則為：

//*[@id="app"]/div/div/div/dl/dd[*]/a/img[2]/@data-src

以此類推，通過上面的方式提取出當前頁所有電影名稱，圖片地址，主演，上映時間，評分的xpath匹配規則：

movie_name_xpath = '//*[@id="app"]/div/div/div/dl/dd[*]/div/div/div[1]/p[1]/a/text()'
movie_img_xpath = '//*[@id="app"]/div/div/div/dl/dd[*]/a/img[2]/@data-src'
movie_actor_xpath = '//*[@id="app"]/div/div/div/dl/dd[*]/div/div/div[1]/p[2]/text()'
movie_release_time_xpath = '//*[@id="app"]/div/div/div/dl/dd[*]/div/div/div[1]/p[3]/text()'
movie_score_xpath = 
'//*[@id="app"]/div/div/div/dl/dd[*]/div/div/div[2]/p/i/text()'

爬取貓眼電影國內熱播榜的完整程式碼如下：

# coding:utf-8
from lxml import etree
import requests

#獲取網頁
def getHtml(url):
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}

    response = requests.get(url,headers=headers)
    html = response.text
    return html
    #
    # movie_img_xpath = '//*[@id="app"]/div/div/div/dl/dd[1]/div/div/div[2]/p/i/text()'
    # s = etree.HTML(html)
    # movie_img = s.xpath(movie_img_xpath)
    # print(movie_img)

#解析網頁
def parseHtml(html):
    s = etree.HTML(html)
    movie_name_xpath = '//*[@id="app"]/div/div/div/dl/dd[*]/div/div/div[1]/p[1]/a/text()'
    movie_img_xpath = '//*[@id="app"]/div/div/div/dl/dd[*]/a/img[2]/@data-src'
    movie_actor_xpath = '//*[@id="app"]/div/div/div/dl/dd[*]/div/div/div[1]/p[2]/text()'
    movie_release_time_xpath = '//*[@id="app"]/div/div/div/dl/dd[*]/div/div/div[1]/p[3]/text()'
    movie_score_xpath = '//*[@id="app"]/div/div/div/dl/dd[*]/div/div/div[2]/p/i/text()'

    movie_name = s.xpath(movie_name_xpath)
    movie_img = s.xpath(movie_img_xpath)
    movie_actor = s.xpath(movie_actor_xpath)
    movie_score = s.xpath(movie_score_xpath)
    movie_release_time = s.xpath(movie_release_time_xpath)

    for i in range(len(movie_name)):
        print('電影名稱：' + movie_name[i])
        print('主演：' + movie_actor[i].strip())
        print('圖片連結：' + movie_img[i].strip())
        print('評分：' + movie_score[2*i] + movie_score[2*i + 1])
        print(movie_release_time[i])
        print('-------------------------------------------強力分割線-------------------------------------------')
def main():
    url = 'http://maoyan.com/board/7'
    html = getHtml(url)
    parseHtml(html)

if __name__ == '__main__':
    main()

總結：
在使用開發者工具提取xpath規則獲取不到相應的資料時，要注意xpath規則是否準確，有些瀏覽器會加上一些多餘的標籤，或者將節點的屬性名改掉，例如上面例子中將的img節點的src屬性變為data-src。結合檢視原始檔都可以獲取到正確的xpath規則。

https://blog.csdn.net/qq_42044484/article/details/80523164

相關推薦

一起學爬蟲——使用xpath庫爬取貓眼電影國內票房榜

之前分享了一篇使用requests庫爬取豆瓣電影250的文章，今天繼續分享使用xpath爬取貓眼電影熱播口碑榜 XPATH語法 XPATH(XML Path Language)是一門用於從XML檔案中查詢資訊的語言。通用適用於從HTML檔案中查詢資料。工欲善其事必先利其器，我們首先來了解XPATH常用的語法

python學習(23)requests庫爬取貓眼電影

本文介紹如何結合前面講解的基本知識，採用requests，正則表示式，cookies結合起來，做一次實戰，抓取貓眼電影排名資訊。 用requests寫一個基本的爬蟲 排行資訊大致如下圖網址連結為http://maoyan.com/board/4?offset=0我們通過點選檢視原始檔，可以看到網頁資訊每一

python爬蟲教程，爬取貓眼電影 ，一網打盡好電影

一、頁面分析 首先開啟貓眼電影，然後點選一個正在熱播的電影（比如：毒液）。開啟開發者工具，點選左上角的箭頭，然後用滑鼠點選網頁上

爬蟲基本庫request使用—爬取貓眼電影信息

sci 文件 fin 安裝 for data- return 表達 score 　　使用request庫和正則表達式爬取貓眼電影信息。 1.爬取目標 　　貓眼電影TOP100的電影名稱，時間，評分，等信息，將結果以文件存儲。 2.準備工作 　　安裝request庫。

靜覓爬蟲學習筆記8-爬取貓眼電影

nal rip score item 之前 req exceptio pool html 　　不知道是不是我學習太晚的原因，貓眼電影這網站我用requests進行爬取源碼直接返回給我一個您的訪問被禁止。作為萌新的我登時就傻了，還好認真聽了之前的課，直接換selenium抓了

爬蟲（七）：爬取貓眼電影top100

all for rip pattern 分享 爬取 values findall proc 一：分析網站 目標站和目標數據目標地址：http://maoyan.com/board/4?offset=20目標數據：目標地址頁面的電影列表，包括電影名，電影圖片，主演，上映日期以

python爬蟲知識點總結（九）Requests+正則表達式爬取貓眼電影

bsp code item 代碼 proc action none width auth 一、爬取流程 二、代碼演示 #-*- coding: UTF-8 -*- #_author:AlexCthon #mail:[email protected] #date:20

自學python爬蟲（四）Requests+正則表示式爬取貓眼電影

前言 學了requests庫和正則表示式之後我們可以做個簡單的專案來練練手咯！先附上專案GitHub地址，歡迎star和fork，也可以pull request哦~ 地址：https://github.com/zhangyanwei233/Maoyan100.git 正文開始哈哈哈

使用爬蟲scrapy庫爬取58同城出租房的聯絡方式地址

一  .建立一個爬蟲工程 　　scrapy startproject  tongcheng 　　#建立一隻爬蟲 　　scrapy genspider   zufang   域名（xa.58.com/zufang/） 二.配置setting檔案

Python3爬蟲入門實戰系列（二）爬取貓眼電影排行榜

在進行本節實戰之前，希望您對requests庫以及正則表示式有所瞭解。 執行平臺：windows Python版本： Python3.x 一、依賴庫的安裝 在本節實戰之前，請確保已經正確安裝了requests庫 requests庫的安裝 pip3 instal

Python：爬蟲例項2：爬取貓眼電影——破解字型反爬

 字型反爬 字型反爬也就是自定義字型反爬，通過呼叫自定義的字型檔案來渲染網頁中的文字，而網頁中的文字不再是文字，而是相應的字型編碼，通過複製或者簡單的採集是無法採集到編碼後的文字內容的。 現在貌似不少網站都有采用這種反爬機制，我們通過貓眼的實際情況來解釋一下。   下圖的是貓眼網頁

Python爬蟲實戰之Requests+正則表示式爬取貓眼電影Top100

import requests from requests.exceptions import RequestException import re import json # from multiprocessing import Pool # 測試了下 這裡需要自己新增頭部 否則得不到網頁 hea

Python爬蟲-利用正則表示式爬取貓眼電影

利用正則來爬去貓眼電影 =================================== ===================================================== 1 ''' 2 利用正則來爬去貓眼電影 3 1. url: http://maoya

爬蟲練習 | 爬取貓眼電影Top100

#coding=utf-8 _date_ = '2018/12/9 16:18' import requests import re import json import time def get_one_page(url): headers={ 'User-Agent':'Mozil

一起學爬蟲——urllib庫常用方法用法總結

1、讀取cookies import http.cookiejar as cj,urllib.request as request cookie = cj.CookieJar() handler = request.HTTPCookieProcessor(cookie) opener = request.

python爬蟲，爬取貓眼電影top100

import requests from bs4 import BeautifulSoup url_list = [] all_name = [] all_num = [] all_actor = [] all_score = [] class Product_url():

爬蟲——爬取貓眼電影網

import json from multiprocessing import Pool import requests from requests.exceptions import RequestException import re def get_one_page

python爬蟲爬取貓眼電影top100

這個爬蟲我是跟著教程做的，也是第一次用python的re和multiprocessing（多執行緒），還知道了yield生成器的用法。不過re正則表示式真的厲害，但是學起來比較難，還在學習中。import requests import re import pymysql f

【爬蟲】爬取貓眼電影top100

用正則表示式爬取 #!/usr/bin/python # -*- coding: utf-8 -*- import json # 快速匯入此模組：滑鼠先點到要匯入的函式處，再Alt + Enter進行選擇 from multiprocessing.pool im

Python爬蟲入門實戰系列（二）爬取貓眼電影排行榜

在進行本節實戰之前，希望您對requests庫以及正則表示式有所瞭解。 執行平臺：windows **Python版本： Python3.x ** 一、依賴庫的安裝 在本節實戰之前，請確保已經正確安裝了requests庫 requests庫的安裝 pip3 i