Python爬蟲--BeautifulSoup4教程、練習
阿新 • • 發佈：2018-12-09
練習1
#coding=utf-8
from bs4 import BeautifulSoup
html="""
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a 練習2
#coding=utf-8
from bs4 import BeautifulSoup
html="""
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
# 建立BeautifulSoup物件
soup=BeautifulSoup(html,'lxml')
'''
遍歷文件樹
1. 直接子節點 ：.contents .children 屬性
.content
tag 的 .content 屬性可以將tag的子節點以列表的方式輸出
'''
print soup.head.contents
#[<title>The Dormouse's story</title>]
"""
.children
它返回的不是一個 list，不過我們可以通過遍歷獲取所有子節點。
我們列印輸出 .children 看一下，可以發現它是一個 list 生成器物件
"""
print soup.head.children
#<listiterator object at 0x7f71457f5710>
print '################## soup.head.children ####################'
for child in soup.body.children:
print child
# 2. 所有子孫節點: .descendants 屬性
print '######################### .descendants 屬性 #################################'
for child in soup.descendants:
print child
# 3. 節點內容: .string 屬性
# 如果一個標籤裡面沒有標籤了，那麼 .string 就會返回標籤裡面的內容。如果標籤裡面只有唯一的一個標籤了，那麼 .string 也會返回最裡面的內容。例如：
print '######################## .string 屬性 ################################################'
print soup.head.string
#The Dormouse's story
print soup.title.string
#The Dormouse's story
練習3
#coding=utf-8
from bs4 import BeautifulSoup
html="""
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!--Elsie--></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
# 建立BeautifulSoup物件
soup=BeautifulSoup(html,'lxml')
# 搜尋文件樹
# 1.find_all(name, attrs, recursive, text, **kwargs)
# 1）name 引數
# name 引數可以查詢所有名字為 name 的tag,字串物件會被自動忽略掉
# A.傳字串
# 最簡單的過濾器是字串.在搜尋方法中傳入一個字串引數,Beautiful Soup會查詢與字串完整匹配的內容,下面的例子用於查詢文件中所有的<b>標籤:
print '##################### A.傳字串 ###################################'
print soup.find_all('b')
# [<b>The Dormouse's story</b>]
print soup.find_all('a')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
# B.傳正則表示式
# 如果傳入正則表示式作為引數,Beautiful Soup會通過正則表示式的 match() 來匹配內容.下面例子中找出所有以b開頭的標籤,這表示<body>和<b>標籤都應該被找到
print '##################### B.傳正則表示式 ###################################'
import re
for tag in soup.find_all(re.compile("^b")):
print(tag.name)
# body
# b
# C.傳列表
# 如果傳入列表引數,Beautiful Soup會將與列表中任一元素匹配的內容返回.下面程式碼找到文件中所有<a>標籤和<b>標籤:
print '##################### C.傳列表 ###################################'
print soup.find_all(["a", "b"])
# [<b>The Dormouse's story</b>,
# <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
# 2）keyword 引數
print '##################### keyword 引數 ###################################'
print soup.find_all(id='link2')
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
# 3）text 引數
# 通過 text 引數可以搜搜文件中的字串內容，與 name 引數的可選值一樣, text 引數接受 字串 , 正則表示式 , 列表
print '##################### 3）text 引數 ###################################'
print soup.find_all(text="Elsie")
# [u'Elsie']
print soup.find_all(text=["Tillie", "Elsie", "Lacie"])
# [u'Elsie', u'Lacie', u'Tillie']
print soup.find_all(text=re.compile("Dormouse"))
# [u"The Dormouse's story", u"The Dormouse's story"]
練習4
#coding=utf-8
from bs4 import BeautifulSoup
html="""
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
# 建立BeautifulSoup物件
soup=BeautifulSoup(html,'lxml')
# CSS選擇器
# 這就是另一種與 find_all 方法有異曲同工之妙的查詢方法.
# 寫 CSS 時，標籤名不加任何修飾，類名前加.，id名前加#
# 在這裡我們也可以利用類似的方法來篩選元素，用到的方法是 soup.select()，返回型別是 list
# （1）通過標籤名查詢
print '####################### （1）通過標籤名查詢 ##################################'
print soup.select('title')
#[<title>The Dormouse's story</title>]
print soup.select('a')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
print soup.select('b')
#[<b>The Dormouse's story</b>]
# （2）通過類名查詢
print '####################### （2）通過類名查詢 ##################################'
print soup.select('.sister')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="h
# （3）通過 id 名查詢
print '####################### （3）通過 id 名查詢 ##################################'
print soup.select('#link1')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
# 4）組合查詢
# 組合查詢即和寫 class 檔案時，標籤名與類名、id名進行的組合原理是一樣的，例如查詢 p 標籤中，id 等於 link1的內容，二者需要用空格分開
print '####################### 4）組合查詢 ##################################'
print soup.select('p #link1')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
# 直接子標籤查詢，則使用 > 分隔
print soup.select("head > title")
#[<title>The Dormouse's story</title>]
# （5）屬性查詢
# 查詢時還可以加入屬性元素，屬性需要用中括號括起來，注意屬性和標籤屬於同一節點，所以中間不能加空格，否則會無法匹配到。
print '####################### （5）屬性查詢 ##################################'
print soup.select('a[class="sister"]')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
print soup.select('a[href="http://example.com/elsie"]')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
# 同樣，屬性仍然可以與上述查詢方式組合，不在同一節點的空格隔開，同一節點的不加空格
print soup.select('p a[href="http://example.com/elsie"]')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
# (6) 獲取內容
# 以上的 select 方法返回的結果都是列表形式，可以遍歷形式輸出，然後用 get_text() 方法來獲取它的內容。
print '####################### (6) 獲取內容 ##################################'
print type(soup.select('title'))
print soup.select('title')[0].get_text()
for title in soup.select('title'):
print title.get_text()