python—BeautifulSoup

阿新 • • 發佈：2019-01-07

BeautifulSoup

pip install beautifulsoup4
pip install lxml

解析器	使用方法	優勢	劣勢
Python標準庫	BeautifulSoup(markup, “html.parser”)	Python的內建標準庫、執行速度適中、文件容錯能力強	Python 2.7.3 or 3.2.2)前的版本中文容錯能力差
lxml HTML 解析器	BeautifulSoup(markup, “lxml”)	速度快、文件容錯能力強	需要安裝C語言庫
lxml XML 解析器	BeautifulSoup(markup, “xml”)	速度快、唯一支援XML的解析器	需要安裝C語言庫
html5lib	BeautifulSoup(markup, “html5lib”)	最好的容錯性、以瀏覽器的方式解析文件、生成HTML5格式的文件	速度慢、不依賴外部擴充套件

基本的使用方法

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
""" 

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.prettify()) # 將htlm 返回成標準的格式---縮排等
print(soup.title.string)

標籤選擇器

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
""" 

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml') # 生成一個物件
print(soup.title)  # <title>The Dormouse's story</title>
print(type(soup.title)) # <class 'bs4.element.Tag'>
print(soup.head) # <head><title>The Dormouse's story</title></head>
print(soup.p)   
# <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
# 只輸出第一個p標籤

獲取名稱

print(soup.title.name)
# title

# <title>The Dormouse's story</title>

獲取屬性

print(soup.p.attrs['name'])
print(soup.p['name'])
"""
dromouse
dromouse

<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
"""

獲取內容

print(soup.p.string)

"""
The Dormouse's story
<p clss="title" name="dromouse"><b>The Dormouse's story</b></p>
"""

可以巢狀選擇

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.head.title.string)

"""
The Dormouse's story

<head><title>The Dormouse's story</title></head>
"""

子節點和子孫節點

html = """
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
    <body>
        <p class="story">
            Once upon a time there were three little sisters; and their names were
            <a href="http://example.com/elsie" class="sister" id="link1">
                <span>Elsie</span>
            </a>
            <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> 
            and
            <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>
            and they lived at the bottom of a well.
        </p>
        <p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.p.contents) # 選擇子節點，返回一個子節點列表，只要是同級別。不管是標籤還是文字

html = """
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
    <body>
        <p class="story">
            Once upon a time there were three little sisters; and their names were
            <a href="http://example.com/elsie" class="sister" id="link1">
                <span>Elsie</span>
            </a>
            <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> 
            and
            <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>
            and they lived at the bottom of a well.
        </p>
        <p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.p.children)
for i, child in enumerate(soup.p.children):
    print(i, child)
"""
.children 返回的是一個迭代器，需要迴圈遍歷使用
"""


# 獲取自孫節點，也是返回一個迭代器
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.p.descendants)
for i, child in enumerate(soup.p.descendants):
    print(i, child)

父節點和祖先節點

html = """
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
    <body>
        <p class="story">
            Once upon a time there were three little sisters; and their names were
            <a href="http://example.com/elsie" class="sister" id="link1">
                <span>Elsie</span>
            </a>
            <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> 
            and
            <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>
            and they lived at the bottom of a well.
        </p>
        <p class="story">...</p>
"""
# 父節點
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.a.parent)


# 祖先節點
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(list(enumerate(soup.a.parents)))

兄弟節點

html = """
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
    <body>
        <p class="story">
            Once upon a time there were three little sisters; and their names were
            <a href="http://example.com/elsie" class="sister" id="link1">
                <span>Elsie</span>
            </a>
            <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> 
            and
            <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>
            and they lived at the bottom of a well.
        </p>
        <p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(list(enumerate(soup.a.next_siblings))) # 後面的兄弟節點
print(list(enumerate(soup.a.previous_siblings))) # 前面的兄弟節點

標準選擇器

"""
find_all( name , attrs , recursive , text , **kwargs )
可根據標籤名、屬性、內容查詢文件
"""

name

# name 標籤名 返回一個列表
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all('ul'))
print(type(soup.find_all('ul')[0]))
"""
[<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>]
<class 'bs4.element.Tag'>
"""

# 層層迭代的查詢
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
for ul in soup.find_all('ul'):
    print(ul.find_all('li'))

attrs

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name="elements">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(attrs={'id': 'list-1'}))
print(soup.find_all(attrs={'name': 'elements'}))
"""
根絕屬性名和值 進行查詢

[<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]
[<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]
"""


from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(id='list-1'))
print(soup.find_all(class_='element')) #class_  因為class是python關鍵字

text

"""
根絕文字內容進行選擇

返回的也是內容
"""

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(text='Foo'))
"""
['Foo', 'Foo']
"""

find 和 find_all

find( name , attrs , recursive , text , **kwargs )
find返回單個元素，find_all返回所有元素

其他

"""
find_parents() find_parent()
find_parents()返回所有祖先節點，find_parent()返回直接父節點

find_next_siblings() find_next_sibling()
find_next_siblings()返回後面所有兄弟節點，find_next_sibling()返回後面第一個兄弟節點。

find_previous_siblings() find_previous_sibling()
find_previous_siblings()返回前面所有兄弟節點，find_previous_sibling()返回前面第一個兄弟節點。

find_all_next() find_next()
find_all_next()返回節點後所有符合條件的節點, find_next()返回第一個符合條件的節點

find_all_previous() 和 find_previous()
find_all_previous()返回節點後所有符合條件的節點, find_previous()返回第一個符合條件的節點
"""

CSS選擇器

使用

# 通過select()直接傳入CSS選擇器即可完成選擇

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.select('.panel .panel-heading')) # class的
print(soup.select('ul li')) #直接選擇標籤 ul裡的所有li標籤
print(soup.select('#list-2 .element')) #id=list-1 裡面的class=element
print(type(soup.select('ul')[0])) # <class 'bs4.element.Tag'>


"""

[<div class="panel-heading">
<h4>Hello</h4>
</div>]
[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>]
[<li class="element">Foo</li>, <li class="element">Bar</li>]
<class 'bs4.element.Tag'>

"""

獲取屬性

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
for ul in soup.select('ul'):
    print(ul['id'])
    print(ul.attrs['id'])
"""
list-1
list-1
list-2
list-2
"""

獲取內容

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
for li in soup.select('li'):
    print(li.get_text())
"""
Foo
Bar
Jay
Foo
Bar

"""

總結

"""
推薦使用lxml解析庫，必要時使用html.parser
標籤選擇篩選功能弱但是速度快
建議使用find()、find_all() 查詢匹配單個結果或者多個結果
如果對CSS選擇器熟悉建議使用select()
記住常用的獲取屬性和文字值的方法

"""

Python BeautifulSoup 爬蟲入門筆記 --- 新聞爬蟲

BeautifulSoup可以解析html檔案，配合request庫可以簡單快速地爬取一些網頁資訊。 BeautifulSoup 參考資料： htt

python BeautifulSoup對應關係

#!/usr/bin/python3 # -*- coding: utf-8 -*- from bs4 import BeautifulSoup #參考https://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html#findAl

python BeautifulSoup庫詳解

BeautifulSoup Beautiful Soup 是一個可以從HTML或XML檔案中提取資料的Python庫.它能夠通過你喜歡的轉換器實現慣用的文件導航,查詢,修改文件的方式官方文件連結，相同效果的庫還有pyquery模組，詳見此解析器對網頁進行析取時，若未規定解析器，此時使用

python beautifulsoup 用於分析網頁示例

2012-10-31 周海漢 http://abloz.com 2012.10.31 聽說11.3要來暖氣? beautifulsoap只有一個py檔案，但功能強大，可分析不完整的html頁面。下面是用法示例。安裝： [[e

用Python BeautifulSoup寫的一份多執行緒圖片抓取的指令碼

最近一個做設計的妹子需要從一個素材的網站（https://www.goodfon.su）下載各種圖片原圖作為設計的素材，但是苦於境外網站，而且只能單張下載，而且單張圖片需要兩個路徑才能到達原圖的下載地址。幾年沒寫過Python的我決定從操就業幫她寫一份批量下載的指令碼。由於是國外網站

python BeautifulSoup亂碼問題

用爬蟲爬取天氣資料，需要先獲得原網站上城市中文名稱與漢語拼音的對應關係。在編寫如下程式碼進行處理的時候，出現中文亂碼。查了很多blog發現方法並不好使。除了這位大神。。。。。這位出現問題就去閱讀文件的大神。。。。 https://www.jianshu.com/p/69401

Python BeautifulSoup 簡單筆記

Beautiful Soup 是用 Python 寫的一個 HTML/XML 的解析器，它可以很好的處理不規範標記並生成剖析樹。通常用來分析爬蟲抓取的web文件。對於不規則的 Html文件，也有很多的補全功能，節省了開發者的時間和精力。 Beautif

python—BeautifulSoup

BeautifulSoup pip install beautifulsoup4 pip install lxml 解析器使用方法優勢劣勢 Python標準庫

Python BeautifulSoup詳解

1. Beautiful Soup 簡介簡單來說，Beautiful Soup是python的一個庫，最主要的功能是從網頁抓取資料。官方解釋如下： Beautiful Soup提供一些簡單的、python式的函式用來處理導航、搜尋

python beautifulsoup 抓取網頁正文內容

最近要跟著同學做一個小專案，需要自己找語料庫，於是我用python 的 beautifulsoup 和urllib 來抓取一些網頁內容來做訓練語料。現在寫下來備忘，雖然還有些不足。這裡，我抓取的是鳳凰軍事的滾動新聞，點開後可以發現是一系列的新聞連結，所以接下來就分兩個方面

Python BeautifulSoup中文亂碼問題的2種解決方法

解決方法一：使用python的BeautifulSoup來抓取網頁然後輸出網頁標題,但是輸出的總是亂碼,找了好久找到解決辦法,下面分享給大家首先是程式碼 from bs4 import BeautifulSoup import urllib2 url = 'htt

python—BeautifulSoup學習總結

1，BeautifulSoup( )接受的引數： soup 就是BeautifulSoup處理格式化後的字串 (1)類似 html_doc = """ <html><head><title>The Dormouse's

Python BeautifulSoup 爬取筆趣閣所有的小說

http bs4 soup decode dom 數據結構 con lock lis 這是一個練習作品。用python腳本爬取筆趣閣上面的免費小說。環境：python3類庫：BeautifulSoup數據源：http://www.biqukan.cc 原理就是偽裝正常

python BeautifulSoup的簡單使用

.com targe pytho span sans get 規範 html soft 　　官網：https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 　　　　什麽是BeautifulSoup？　　　　Bea

python BeautifulSoup的簡單用法

from bs4 import BeautifulSoup import re html = """ <html><head><title>The Dormouse's story</title></head> <body> <p

Python BeautifulSoup例項演示(十七02)

（一）常見的網頁解析方法比較正則表示式使用比較困難，學習成本較高 BeautifulSoup 效能較慢，相對於 Xpath 較難，在某些特定場景下有用 Xpath 使用簡單，速度快（Xpath是l

Python BeautifulSoup庫的用法

html5 pan int parser span imp 查找 ble 並且 BeautifulSoup是一個可以從HTML或者XML文件中提取數據的Python庫，它通過解析器把文檔解析為利於人們理解的文檔導航模式，有利於查找和修改文檔。 BeautifulSoup3目

python+BeautifulSoup爬取不老歌的網頁正文

不老歌上有很多小說，想把他們都集中為一個txt放在手機裡看。下面程式碼針對以年份歸檔好的文章。 from bs4 import BeautifulSoup import requests import time import re def getContent(url)

Python——BeautifulSoup庫（二）——基於bs4庫的HTML內容遍歷方法

標籤樹的下行遍歷：可以用len（）函式檢索兒子節點的數量：len(soup.body.contents)用for in 遍歷：標籤樹的上行遍歷：標籤樹的平行遍歷：平行遍歷條件：同一個父親遍歷：總結：

python 導入beautifulsoup報錯

install ade soup module error: html5 object sta tee 導入Beautifulsoup 報錯 AttributeError: ‘module‘ object has no attribute ‘_base‘ 解決方法： p

python—BeautifulSoup

BeautifulSoup

基本的使用方法

標籤選擇器

獲取名稱

獲取屬性

獲取內容

可以巢狀選擇

子節點和子孫節點

兄弟節點

標準選擇器

name

attrs

text

find 和 find_all

其他

CSS選擇器

使用

獲取屬性

獲取內容

總結

相關推薦