爬蟲之BeautifulSoup， CSS
1. Beautiful Soup的簡介
2. Beautiful Soup 安裝
可以利用 pip 或者 easy_install 來安裝，以下兩種方法均可
easy_install beautifulsoup4
pip install beautifulsoup4 Beautiful Soup支持Python標準庫中的HTML解析器,還支持一些第三方的解析器，如果我們不安裝它，則 Python 會使用 Python默認的解析器，lxml 解析器更加強大，速度更快，推薦安裝。 Python標準庫：BeautifulSoup(markup, “html.parser”) lxml HTML 解析器：BeautifulSoup(markup, “lxml”)4. 創建 Beautiful Soup 對象
首先必須要導入 bs4 庫：from bs4 import BeautifulSoup
我們創建一個字符串，後面的例子我們便會用它來演示
html = """ <html><head><title>The Dormouse‘s story</title></head> <body> <p class="title" name="dromouse"><b>The Dormouse‘s story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were另外，我們還可以用本地 HTML 文件來創建對象，例如soup = BeautifulSoup(open(‘index.html‘))
上面這句代碼便是將本地 index.html 文件打開，用它來創建 soup 對象
下面我們來打印一下 soup 對象的內容，格式化輸出 ：print soup.prettify()
5. 四大對象種類
Beautiful Soup將復雜HTML文檔轉換成一個復雜的樹形結構,每個節點都是Python對象,所有對象可以歸納為4種:
- Tag
- NavigableString
- BeautifulSoup
- Comment
Tag 是什麽？通俗點講就是 HTML 中的一個個標簽，例如：<title>The Dormouse‘s story</title> ；<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
上面的 title a 等等 HTML 標簽加上裏面包括的內容就是 Tag，下面我們來感受一下怎樣用 Beautiful Soup 來方便地獲取 Tags
對於 Tag，它有兩個重要的屬性，是 name 和 attrs，下面我們分別來感受一下
print soup.name print soup.head.name #[document] #head print soup.p.attrs #{‘class‘: [‘title‘], ‘name‘: ‘dromouse‘}在這裏，我們把 p 標簽的所有屬性打印輸出了出來，得到的類型是一個字典。
如果我們想要單獨獲取某個屬性，可以這樣，例如我們獲取它的 class 叫什麽
print soup.p[‘class‘]
#[‘title‘]（2）NavigableString
既然我們已經得到了標簽的內容，那麽問題來了，我們要想獲取標簽內部的文字怎麽辦呢？很簡單，用 .string 即可，例如：
print soup.p.string
#The Dormouse‘s story
（3）BeautifulSoup
BeautifulSoup 對象表示的是一個文檔的全部內容.大部分時候,可以把它當作 Tag 對象，是一個特殊的 Tag，我們可以分別獲取它的類型，名稱，以及屬性來感受一下
print type(soup.name)
#<type ‘unicode‘> print soup.name # [document] print soup.attrs #{} 空字典（4）Comment
Comment 對象是一個特殊類型的 NavigableString 對象，其實輸出的內容仍然不包括註釋符號，但是如果不好好處理它，可能會對我們的文本處理造成意想不到的麻煩。
我們找一個帶註釋的標簽：
print soup.a
print soup.a.string print type(soup.a.string) 結果為： <a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a> Elsie <class ‘bs4.element.Comment‘> a 標簽裏的內容實際上是註釋，但是如果我們利用 .string 來輸出它的內容，我們發現它已經把註釋符號去掉了，所以這可能會給我們帶來不必要的麻煩。7.搜索文檔樹
（1）find_all( name , attrs , recursive , text , **kwargs )
（2）find( name , attrs , recursive , text , **kwargs )
它與 find_all() 方法唯一的區別是 find_all() 方法的返回結果是值包含一個元素的列表,而 find() 方法直接返回結果
find_all( name , attrs , recursive , text , **kwargs )
find_all() 方法搜索當前tag的所有tag子節點,並判斷是否符合過濾器的條件
1）name 參數
name 參數可以查找所有名字為 name 的tag,字符串對象會被自動忽略掉
A.傳字符串
最簡單的過濾器是字符串.在搜索方法中傳入一個字符串參數,Beautiful Soup會查找與字符串完整匹配的內容,下面的例子用於查找文檔中所有的<b>標簽
soup.find_all(‘b‘) # [<b>The Dormouse‘s story</b>] print soup.find_all(‘a‘) #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]B.傳正則表達式
如果傳入正則表達式作為參數,Beautiful Soup會通過正則表達式的 match() 來匹配內容.下面例子中找出所有以b開頭的標簽,這表示<body>和<b>標簽都應該被找到
import re for tag in soup.find_all(re.compile("^b")): print(tag.name) # body # b C.傳列表如果傳入列表參數,Beautiful Soup會將與列表中任一元素匹配的內容返回.下面代碼找到文檔中所有<a>標簽和<b>標簽
soup.find_all(["a", "b"]) # [<b>The Dormouse‘s story</b>, # <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>] D.傳 TrueTrue 可以匹配任何值,下面代碼查找到所有的tag,但是不會返回字符串節點
for tag in soup.find_all(True): print(tag.name) # html # head # title # body # p # b # p # a # a E.傳方法如果沒有合適過濾器,那麽還可以定義一個方法,方法只接受一個元素參數 [4] ,如果這個方法返回 True 表示當前元素匹配並且被找到,如果不是則反回 False
下面方法校驗了當前元素,如果包含 class 屬性卻不包含 id 屬性,那麽將返回 True:
def has_class_but_no_id(tag): return tag.has_attr(‘class‘) and not tag.has_attr(‘id‘) 將這個方法作為參數傳入 find_all() 方法,將得到所有<p>標簽: soup.find_all(has_class_but_no_id) # [<p class="title"><b>The Dormouse‘s story</b></p>, # <p class="story">Once upon a time there were...</p>, # <p class="story">...</p>] 2）keyword 參數 註意：如果一個指定名字的參數不是搜索內置的參數名,搜索時會把該參數當作指定名字tag的屬性來搜索,如果包含一個名字為 id 的參數,Beautiful Soup會搜索每個tag的”id”屬性 soup.find_all(id=‘link2‘) # [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>] 如果傳入 href 參數,Beautiful Soup會搜索每個tag的”href”屬性 soup.find_all(href=re.compile("elsie")) # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]使用多個指定名字的參數可以同時過濾tag的多個屬性
soup.find_all(href=re.compile("elsie"), id=‘link1‘) # [<a class="sister" href="http://example.com/elsie" id="link1">three</a>]在這裏我們想用 class 過濾，不過 class 是 python 的關鍵詞，這怎麽辦？加個下劃線就可以
soup.find_all("a", class_="sister") # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>] 有些tag屬性在搜索不能使用,比如HTML5中的 data-* 屬性 data_soup = BeautifulSoup(‘<div data-foo="value">foo!</div>‘) data_soup.find_all(data-foo="value") # SyntaxError: keyword can‘t be an expression但是可以通過 find_all() 方法的 attrs 參數定義一個字典參數來搜索包含特殊屬性的tag
data_soup.find_all(attrs={"data-foo": "value"}) # [<div data-foo="value">foo!</div>]3）text 參數
通過 text 參數可以搜搜文檔中的字符串內容.與 name 參數的可選值一樣, text 參數接受 字符串 , 正則表達式 , 列表, True
soup.find_all(text="Elsie") # [u‘Elsie‘] soup.find_all(text=["Tillie", "Elsie", "Lacie"]) # [u‘Elsie‘, u‘Lacie‘, u‘Tillie‘] soup.find_all(text=re.compile("Dormouse")) [u"The Dormouse‘s story", u"The Dormouse‘s story"4）limit 參數
find_all() 方法返回全部的搜索結構,如果文檔樹很大那麽搜索會很慢.如果我們不需要全部結果,可以使用 limit 參數限制返回結果的數量.效果與SQL中的limit關鍵字類似,當搜索到的結果數量達到 limit 的限制時,就停止搜索返回結果.
文檔樹中有3個tag符合搜索條件,但結果只返回了2個,因為我們限制了返回數量
soup.find_all("a", limit=2) # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]5）recursive 參數
調用tag的 find_all() 方法時,Beautiful Soup會檢索當前tag的所有子孫節點,如果只想搜索tag的直接子節點,可以使用參數 recursive=False .
一段簡單的文檔:
<html> <head> <title> The Dormouse‘s story </title> </head> ... 是否使用 recursive 參數的搜索結果: soup.html.find_all("title") # [<title>The Dormouse‘s story</title>] soup.html.find_all("title", recursive=False) # []8.CSS選擇器
我們在寫 CSS 時，標簽名不加任何修飾，類名前加點，id名前加 #，在這裏我們也可以利用類似的方法來篩選元素，用到的方法是 soup.select()，返回類型是 list
（1）通過標簽名查找
print soup.select(‘title‘)
#[<title>The Dormouse‘s story</title>]
print soup.select(‘a‘) #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>] print soup.select(‘b‘) #[<b>The Dormouse‘s story</b>]（2）通過類名查找
print soup.select(‘.sister‘)
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>] （3）通過 id 名查找 print soup.select(‘#link1‘) #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>] （4）組合查找組合查找即和寫 class 文件時，標簽名與類名、id名進行的組合原理是一樣的，例如查找 p 標簽中，id 等於 link1的內容，二者需要用空格分開
print soup.select(‘p #link1‘) #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]直接子標簽查找
print soup.select("head > title") #[<title>The Dormouse‘s story</title>]（5）屬性查找
查找時還可以加入屬性元素，屬性需要用中括號括起來，註意屬性和標簽屬於同一節點，所以中間不能加空格，否則會無法匹配到。
print soup.select(‘a[class="sister"]‘) #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>] print soup.select(‘a[href="http://example.com/elsie"]‘) #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]同樣，屬性仍然可以與上述查找方式組合，不在同一節點的空格隔開，同一節點的不加空格
print soup.select(‘p a[href="http://example.com/elsie"]‘) #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>] 以上的 select 方法返回的結果都是列表形式，可以遍歷形式輸出，然後用 get_text() 方法來獲取它的內容。 soup = BeautifulSoup(html, ‘lxml‘) print type(soup.select(‘title‘)) print soup.select(‘title‘)[0].get_text() for title in soup.select(‘title‘): print title.get_text()爬蟲之BeautifulSoup， CSS