前言

首先我們先來回憶一下上兩篇爬蟲實戰文章：

第一篇：講到了requests和bs4和一些網頁基本操作。

第二篇：用到了正則表示式-re模組

今天我們用lxml庫和xpath語法來爬蟲實戰。

1.安裝lxml庫

window：直接用pip去安裝，注意一定要找到pip的安裝路徑

pip install lxml

**2.**xpath語法

xpath語法不會的可以參考下面的地址：

爬蟲實戰

先上部分效果圖：

今天我們來爬一下“豆瓣音樂Top250的資料”

1.觀察網頁切換規律

從中我們已發現了規律。

2.爬取豆瓣音樂中的歌名、資訊、星評 爬蟲完整程式碼如下：

import  requests
from  lxml import  etree

headers = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36'}

list=[1]

def getResult():
   urls=["https://music.douban.com/top250?start={}".format(str(i)) for i in  range(0,250,25
 
)]
   for url in  urls:
       data = requests.get(url, headers=headers)
       html = etree.HTML(data.text)
       #迴圈標籤
       count = html.xpath("//tr[@class='item']")
       for info in count:
           title = info.xpath("normalize-space(td[2]/div/a/text())")#標題
           list[0]=title #因為title用normalize-space去掉空格了，再生產result時標題顯示不全，所以我用了list替換它
 

           star = info.xpath("td[2]/div/div/span[2]/text()")  # 星評
           brief_introduction = info.xpath("td[2]/div/p//text()") #簡介
           #生成result串
           for star, title, brief_introduction in zip(star, list, brief_introduction):
               result = {
                   "title": title,
                   "star": star,
                   "brief_introduction": brief_introduction,

               }
               print(result)

if __name__ == '__main__':
   getResult()

分析：

• 程式碼中urls為了迴圈出所有的url

• 對xpath不懂的可以去看一下具體的語言，還是比較簡單明瞭的，而且使用非常方便

• normalize-space表示通過去掉前導和尾隨空白並使用單個空格替換一系列空白字元，使空白標準化。如果省略了該引數，上下文節點的字串值將標準化並返回

基本上就是這些難點，大家有不會的可以直接問我，另外大家也可以嘗試去爬取別的資料，多敲多練！

希望對剛入門的朋友有所幫助！

歡迎大家關注我的兩個微信公眾號：