一前言

Beautiful Soup 是一個可以從HTML或XML檔案中提取資料的Python庫；其強大的提取能力讓知識追尋者放棄了使用正則匹配查詢HTML節點；Beautifu Soup 其能直接通過HTML標籤獲取相應的節點，或者通過函式直接獲得節點，大大提高了程式設計人員的開發效率；看完本篇學不會Beautiful Soup ，滿天神佛都救不了你；覺得知識追尋者的文章有點意思，關注加點贊謝謝；

二 Beautiful Soup 簡單使用

Beautiful Soup 的直譯器如下：

直譯器	使用示例
Python標準庫	BeautifulSoup(markup, "html.parser")
lxml HTML 解析器	BeautifulSoup(markup, "lxml")
lxml XML 解析器	BeautifulSoup(markup, "xml")
html5lib	BeautifulSoup(markup, "html5lib")

本篇的直譯器讀者可以使用Python標準庫或者lxml HTML 解析器都可以；下午中獲取標籤其實都是獲取標籤物件，讀者謹記；

簡要概括下屬性的說明:

屬性	含義
soup.tag.name	獲取標籤tag名稱
soup.tag.string	獲取標籤tag文字內容
soup.tag	獲取標籤tag
soup.tag.attrs	獲取標籤tag所有屬性
soup.tag.attrs['class']	獲取標籤指定class的屬性
soup.tag1.tag2	獲取子標籤tag2
soup.tag.contents	獲取tag所有直接子標籤以列表輸出
soup.tag.children	獲取直接子標籤，返回生成器
soup.tag.descendants	獲取所有子標籤，返回生成器
soup.tag.parent	獲取直接父節點
soup.tag.parents	獲取祖先節點，返回生成器
soup.tag.next_sibling	獲取後一個兄弟節點
soup.tag.previous_sibling	獲取前一個兄弟節點
soup.tag.next_siblings	獲取後一個兄弟節點，返回生成器
soup.tag.previous_siblings	獲取前一個兄弟節點，返回生成器

2.1 格式化HTML

例項化一個Beautiful Soup 例項，入參是HTML，和html.parser
呼叫prettify()方法會格式化HTML文件

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.prettify())

輸出結果下，是不是很美觀，結構是不是很清楚；而且還補全了缺失的標籤</form> , </div>；

<div class="filter-box d-flex align-items-center">
 <form action="" id="seeOriginal">
  <dl class="filter-sort-box d-flex align-items-center">
   <dt>
    排序：
   </dt>
   <dd>
    <a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">
     預設
    </a>
   </dd>
   <dd>
    <a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
     <svg aria-hidden="true" class="icon">
      <use xlink:href="#csdnc-rss">
      </use>
     </svg>
     RSS訂閱
    </a>
   </dd>
  </dl>
 </form>
</div>

2.2 獲取標籤節點

呼叫soup.dt 會直接獲得第一個匹配到dt標籤物件；

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
# 輸出節點 <dt>排序：</dt>
print(soup.dt)

2.3 獲取節點文字

soup.dt.string 獲得dt標籤包含的內容；

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
# 輸出文字內容 排序：
print(soup.dt.string)

2.4獲取節點名稱

soup.dt.name 直接獲得標籤dt的名稱；

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
# 輸出dt
print(soup.dt.name)

2.5 獲得節點物件種類

直接獲得標籤後使用type方法可以顯示出標籤型別是<class 'bs4.element.Tag'>

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
dt = soup.dt
# <class 'bs4.element.Tag'>
print(type(dt))

2.6 獲取所有屬性

soup.a.attrs 獲取匹配到第一個a標籤的所有屬性；

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.a.attrs)

輸出預設匹配第一個a標籤的全部屬性

{'href': 'javascript:void(0);', 'data-report-query': '', 'class': ['btn-filter-sort', 'active'], 'target': '_self'}

2.7 獲取特定屬性

soup.a.attrs['href']，獲取匹配到第一個a標籤的href屬性內容

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
# 輸出javascript:void(0);
print(soup.a.attrs['href'])

2.8 獲取子節點

soup.form.dd 會獲得form標籤下第一個dd標籤

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.form.dd)

輸出

<dd><a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a></dd>

2.9 獲取所有直接子節點

soup.form.contents 將會以列表的形式輸出form所有的子標籤；

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.form.contents)

輸出結果：

['\n', <dl class="filter-sort-box d-flex align-items-center">
<dt>排序：</dt>
<dd><a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a></dd>
<dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
<svg aria-hidden="true" class="icon">
<use xlink:href="#csdnc-rss"></use>
</svg>RSS訂閱</a>
</dd>
</dl>]

2.10 獲取直接子節點生成器

soup.svg.children 會獲得dd所有子節點的生成器；

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
for index, child in enumerate(soup.svg.children):
    print(index, child)

輸出結果：

0 

1 <use xlink:href="#csdnc-rss"></use>
2

2.11 獲取所有子節點生成器

soup.dl.descendants 會獲取dl 標籤所有的子節點（more than direct child node），

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
for index, child in enumerate(soup.dl.descendants):
    print(index, child)

輸出結果：

0 

1 <dt>排序：</dt>
2 排序：
3 

4 <dd><a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a></dd>
5 <a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a>
6 預設
7 

8 <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
<svg aria-hidden="true" class="icon">
<use xlink:href="#csdnc-rss"></use>
</svg>RSS訂閱</a>
</dd>
9 <a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
<svg aria-hidden="true" class="icon">
<use xlink:href="#csdnc-rss"></use>
</svg>RSS訂閱</a>
10 

11 <svg aria-hidden="true" class="icon">
<use xlink:href="#csdnc-rss"></use>
</svg>
12 

13 <use xlink:href="#csdnc-rss"></use>
14 

15 RSS訂閱
16 

17

2.12 獲取直接父節點

soup.a.parent 或獲取第一個匹配到a標籤的父標籤物件；

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.a.parent)

輸出結果：

<dd><a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a></dd>

2.13 獲取祖先節點生成器

soup.a.parents 會獲得第一個匹配到a標籤的所有父節點，也就是祖先節點，返回生成器；

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
for node in soup.a.parents:
    if node is None:
        print(node)
    else:
        print(node.name)

輸出結果：

dd
dl
form
div
[document]

2.14 獲取兄弟節點

兄弟節點有個坑，通常是返回空白，就不做過多講解

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.dt.next_sibling)

輸出是空白；其它兄弟節點屬性就不寫了，感覺沒啥意義，不是空白就是None；

三搜尋文件

學完第二節內容，讀者們其實就是打了個基礎，重點是這章節；

函式	含義
find_all(name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)	查詢所有匹配節點
find(name=None, attrs={}, recursive=True, text=None, **kwargs)	查詢第一個匹配節點
find_parent(name=None, attrs={}, **kwargs)	返回當前節點的父輩節
find_parents(name=None, attrs={}, **kwargs)	返回當前節點的祖先節點
find_next_sibling(name=None, attrs={}, text=None, **kwargs)	返回符合條件的後面的第一個tag節點
find_next_siblings(name=None, attrs={}, text=None, **kwargs)	返回所有符合條件的後面的兄弟節點
find_previous_sibling(self, name=None, attrs={}, text=None, **kwargs)	返回第一個符合條件的前面的兄弟節點
find_previous_siblings(self, name=None, attrs={}, text=None, **kwargs)	返回所有符合條件的前面的兄弟節點
find_next(name=None, attrs={}, text=None, **kwargs)	返回第一個符合條件的節點
find_all_next(name=None, attrs={}, text=None, limit=None, **kwargs)	返回所有符合條件的節點
find_previous(name=None, attrs={}, text=None, **kwargs)	返回第一個符合條件的節點
find_all_previousname=None, attrs={}, text=None, limit=None, **kwargs)	返回所有符合條件的節點

name 表示輸出的tag名稱
attrs 表示指定屬性查詢
recursive 表示是否遞迴所有子節點，預設是；設定為false返回直接子節點
limit 表示限制輸出數量
**kwargs 可以指定經常出現的屬性搜尋，比如 id = 'zszxz'
text 是過濾條件

本節著重講解find_all方法，find方法於find_all一致，學一個就會用另一個；

3.1 name引數示例

soup.find_all(name='dd') 會獲得所有dd標籤物件，並且返回列表；

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.find_all(name='dd'))

輸出結果

[<dd><a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a></dd>, <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
<svg aria-hidden="true" class="icon">
<use xlink:href="#csdnc-rss"></use>
</svg>RSS訂閱</a>
</dd>]

注：soup.find_all(name='dd') 與 soup.find_all('dd') 一致；

3.2 attrs 屬性示例

soup.find_all(attrs={'id':'seeOriginal'}) 獲取屬性 id = seeOriginal 所有標籤物件

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.find_all(attrs={'id':'seeOriginal'}))

輸出

[<form action="" id="seeOriginal">
<dl class="filter-sort-box d-flex align-items-center">
<dt>排序：</dt>
<dd><a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a></dd>
<dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
<svg aria-hidden="true" class="icon">
<use xlink:href="#csdnc-rss"></use>
</svg>RSS訂閱</a>
</dd>
</dl></form>]

3.3 recursive 示例

soup.find_all('dl',recursive=False) 會查詢dl標籤子節點，當recursive 設定為False之後就找不到了；

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.find_all('dl',recursive=False))

輸出空列表[]

3.4limit示例

soup.find_all('dd',limit=1)會限制輸出結果為一條

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.find_all('dd',limit=1))

輸出

[<dd><a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a></dd>]

3.5 kwargs 示例之屬性匹配

soup.find_all(id='seeOriginal')直接指定id屬性查詢

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.find_all(id='seeOriginal'))

輸出

[<form action="" id="seeOriginal">
<dl class="filter-sort-box d-flex align-items-center">
<dt>排序：</dt>
<dd><a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a></dd>
<dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
<svg aria-hidden="true" class="icon">
<use xlink:href="#csdnc-rss"></use>
</svg>RSS訂閱</a>
</dd>
</dl></form>]

3.6 kwargs 示例之正則匹配

soup.find_all(href=re.compile("java.*?"))匹配屬性 href 正則 java開頭的屬性標籤；

# -*- coding: utf-8 -*-
import re

import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.find_all(href=re.compile("java.*?")))

輸出結果

[<a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a>]

3.7 按CSS搜尋

soup.find_all("a", class_="btn") 查詢a標籤，class屬性帶有btn

# -*- coding: utf-8 -*-
import re

import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
print(soup.find_all("a", class_="btn"))

輸出結果

[<a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
<svg aria-hidden="true" class="icon">
<use xlink:href="#csdnc-rss"></use>
</svg>RSS訂閱</a>]

四CSS選擇器

Beautiful Soup 還直接支援CSS選擇器搜尋，下面列出了經常使用的方法示例；

# -*- coding: utf-8 -*-
import re

import requests
from bs4 import BeautifulSoup

html = """
    <div class="filter-box d-flex align-items-center">
    <form action="" id=seeOriginal>
    <dl class="filter-sort-box d-flex align-items-center">
    <dt>排序：</dt>
    <dd><a href="javascript:void(0);" data-report-query="" class="btn-filter-sort active" target="_self">預設</a></dd>
    <dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
        <svg class="icon" aria-hidden="true">
            <use xlink:href="#csdnc-rss"></use>
        </svg>RSS訂閱</a>
    </dd>
  </dl>"""

# 初始化 soup
soup = BeautifulSoup(html,'html.parser')
# 選取 dl 標籤下面的 dt標籤
lt = soup.select('dl dt')
print(lt)
dd = soup.select('dl dd')
print(dd[0])
# id 選擇器搜尋
id = soup.select('#seeOriginal')
print(id)
# class選擇器 搜尋
cla = soup.select('.btn-filter-sort')
print(cla[0])

分別輸出如下

soup.select('dl dt')

[<dt>排序：</dt>]

soup.select('dl dd')[0]

<dd><a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a></dd>

soup.select('#seeOriginal')

[<form action="" id="seeOriginal">
<dl class="filter-sort-box d-flex align-items-center">
<dt>排序：</dt>
<dd><a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a></dd>
<dd><a class="btn btn-sm rss" href="https://blog.csdn.net/youku1327/rss/list">
<svg aria-hidden="true" class="icon">
<use xlink:href="#csdnc-rss"></use>
</svg>RSS訂閱</a>
</dd>
</dl></form>]

soup.select('.btn-filter-sort')[0]

<a class="btn-filter-sort active" data-report-query="" href="javascript:void(0);" target="_self">預設</a> 
 
              
           
              
              
            
            相關推薦
			   
            
            
            
 

    

    
    跟著知識追尋者學BeautifulSoup，你學不會打不還口，罵不還手
      一 前言
Beautiful Soup 是一個可以從HTML或XML檔案中提取資料的Python庫；其強大的提取能力讓知識追尋者放棄了使用正則匹配查詢HTML節點；Beautifu Soup 其能直接通過HTML標籤獲取相應的節點，或者通過函式直接獲得節點，大大提高了程式設計人員的開發效率；看完本篇學不會Be 

  
 

    

    
    這些大資料課程是假的，你學完還是找不到工作！
       
 
 總理站臺，主席打call，站在網際網路風口上的大資料，人才需求火爆，缺口過百萬305所高校紛紛開設大資料專業，與此同時，大資料培訓機構也如雨後春筍般潮湧出現，表面一派繁盛景象，可實際上呢？ 
 據業內知情人士爆料，大資料教培市場 “野雞課程”層出不窮。不擇手段的招生方式，魚龍混雜的課程大綱，使得不少 

  
 

    

    
    【1024程式設計師節】程式設計師，你學程式設計的初衷是什麼？
       
 
  
 前言 
 今天是1024程式設計師節，中國500w+的程式設計師今天可以享受一天專屬的節日，網路上也有各種慶祝方式： 
  
  一些公司祭出了“程式設計師鼓勵師” 
  
  
  
  一些公司給程式設計師放了個“假” 
  
  
  
  還有公司出了張“海報” 
  
  
 都是玩 

  
 

    

    
    01 | 二進位制：不瞭解計算機的源頭，你學什麼程式設計
      我們都知道，計算機的起源是數學中的二進位制計數法。可以說，沒有二進位制，就沒有如今的計算機系統。那什麼是二進位制呢？為什麼計算機要使用二進位制，而不是我們日常生活中的十進位制呢？如何在程式碼中操作二進位制呢？專欄開始，我們就從計算機認知的起源——二進位制出發，講講它在計算機中的“玄機”。 
什麼是二進位制計數 

  
 

    

    
    蒲公英 &#183; JELLY技術週刊 Vol.25 &#183; Webpack 5 正式釋出，你學廢了麼
      ![HEADER](https://img2020.cnblogs.com/other/1992869/202010/1992869-20201014093256750-1125576782.jpg)

# 蒲公英 · JELLY技術週刊 Vol.25

> 闊別兩年，Webpack 5 正式釋出了，不 

  
 

    

    
    大資料揭祕: 原來單身女生有這些特點...，掌握大資料，你遠遠不止會這些
      據媒體報道，中國目前的單身成年女性的數量已經超過一個多億，也就是說14.3%的成年女性處於單身狀態，與日本全國人口總數基本相當。 
知己知彼，百戰不殆。如果你是一個單身女性，你可以看到自己的某些影子；如果是單身男生，你需要了解目標人群的特點；如果是已婚男士，要相信“天下鳳凰一般美！！！” 
說 明 
開始本文 

  
 

    

    
    當離開了雲，你的世界會怎樣？
       
 
 各位看官，大家好，本文是為了讓您瞭解雲是如何逐步深入到您的日常生活、工作、娛樂的方方面面？讓您知道，不論你願不願意，您的生活中已經充滿了無處不在的雲。那麼，離開了雲的生活會變成什麼樣呢？ 
  
 2012年中國雲端計算市場規模達到474.48億元，同比增長64.6%，自09年開始，連續3年保持高速 

  
 

    

    
    裝修不會算賬？沒關係，看完吉材易達裝修輔材的介紹你就明白了
      
							
							
							對初次裝修的業主來說，裝修是件繁瑣複雜的大事。因為不同於快消品的一次性消費，使得業主們普遍對新房裝修十分關注與投入。然而儘管業主精力和感情上都十分投入，但因為是外行，所以在裝修中總會出現種種的不如人意。不少業主在裝修後表示對全過程的後悔。無論在資金投入上還是裝修 

  
 

    

    
    大多數人只會盲目的崇拜黑客，你知道他們會用到哪些Python技術？
       
 
 
   
 目錄： 
 1. 環境配置 
 2. 安裝依賴包 
 3. 與網路互動 
 4. 二進位制操作或編碼 
 5. 漏洞開發工具 
  
  學習Python中有不明白推薦加入交流群                

  
 

    

    
    Java中執行緒池，你真的瞭解會用嗎
      
                在《 深入原始碼分析Java執行緒池的實現原理 》這篇文章中，我們介紹過了Java中執行緒池的常見用法以及基本原理。

在文中有這樣一段描述：

可以通過Executors靜態工廠構建執行緒池，但一般不建議這樣使用。

關於這個問題，在那篇文章中並沒有深入的展開。作者之所以這 

  
 

    

    
    【高併發優化實踐】10倍請求壓力來襲，你的系統會被擊垮嗎？【石杉的架構筆記】
      歡迎關注個人公眾號：石杉的架構筆記（ID:shishan100）

週一至週五早8點半！精品技術文章準時送上！

 
  “ 上篇文章
  一次 JVM FullGC的背後，竟隱藏著驚心動魄的線上生產事故！，給大家講了一個線上系統因為JVM FullGC異常宕機的case。
  這篇文章，我們繼續給大家聊聊另 

  
 

    

    
    【Java那點事 | 學習●思考●分享  | Java技術交流QQ群：83753349】當你的才華還撐不起你的野心時，那你就應該靜下心來學習。豈能盡如人意，但求無愧我心; 努力不一定會成功，但是放棄一定會失敗;  好好學習，天天向上，不求與人相比，但求超越
      
			
			當你的才華還撐不起你的野心時，那你就應該靜下心來學習。豈能盡如人意，但求無愧我心; 努力不一定會成功，但是放棄一定會失敗;  好好學習，天天向上，不求與人相比，但求超越自己; 知其然，還要知其所以然;...
		
		
         

  
 

    

    
    365天裡有300天都想辭職，換個公司，你的2019會更好嗎？
      鬆了一口氣，裁員的名單出來了，沒有我。”我的好朋友 Nick 發來微信。他在一家大廠做產品，各個公司裁員訊息不斷，過去一整個月他都處在焦慮中。 
“總算可以安心過年了。” 
 
  
  
    
   
  
   
   
  
 
  《無法成為野獸的我們》劇照
  
 
  
大 

  
 

    

    
    如果每天堅持早起，你的人生會變成什麼樣子？
      
                1. 精神好了堅持早起就會早睡，第二天人就會充滿活力，那麼精神狀態自然是很好的。如此良性迴圈，每一天的精神良好，精力充沛。2. 時間多了如果你早起過，就一定體驗過：我都做了好多事兒了，現在才九點啊！而且，效率也高得多！你要知道，效率高就代表你的時間比別人的多了！3. 黑眼圈沒 

  
 

    

    
    Python爬蟲不會？戳一下，小編一步步教你
       
 
  
   
 寫在前面 
 網路爬蟲又稱網路蜘蛛，是指按照某種規則在網路上爬取所需內容的指令碼程式。眾所周知，每個網頁通常包含其他網頁的入口，網路爬蟲則通過一個網址依次進入其他網址獲取所需內容。 
 優先申明：我們使用的python編譯環境為PyCharm 
 正文 
  
 一、首先一個 

  
 

    

    
    Java面試，你必須要會的（一）、總綱
      
							
							
							Java面試，你必須要會的

從以下幾個大類去歸納總結javaweb開發人員必備知識點。 
首先說明一下這些技術點的需求是從是從幾個招聘網站上統計出來的。大致如下


JVM 調優
多執行緒
高併發 
常用框架 （ssm、ssh等）
訊息中介軟體（roketMQ 

  
 

    

    
    解決“**無法訪問，你可能沒有許可權使用網路資源，請與管理員聯絡，拒絕訪問！"
      
                

電腦出現“XXX無法訪問。你可能沒有許可權使用網路資源......”，ping得通,即使重新系統也不能解決

。

　　方法一：出現這一類的問題有可能的防毒軟體可能出於安全考慮做了什麼設定，讓電腦自己重新重新整理一下網路設定。具體操作：網路連線—>網路安裝嚮導 —& 

  
 

    

    
    願你不會像我一樣，活成狗一般的生活！
      
                蓋世英雄大話西遊之大聖娶親裡面最後一段對話"那個人樣子好怪。" "我也看到了，他好像一條狗。" 小時候不明白，也看不懂，只知道紫霞是漂亮的，猶如夢中的鄰家女孩，星爺是搞笑的，希望自己有一天也能夠成為蓋世英雄。如今重溫大話，影片的末尾悟空獨自離去，夕陽武士在嘲笑悟空，總有一股莫 

  
 

    

    
    地球都開始流浪了，你的win10還沒有激活，一大波最新密鑰來襲！
      http   專業   分享   51cto   官方   分享圖片   教育   images   sha   最近熱播電影《流浪地球》中windows10提示激活的畫面引起了大家的熱議。很多同學也遇到過win10未激活的提示，那麽為什麽會出現這種提示呢？主要有以下兩個方面：一.win10在安裝後沒有激活， 

  
 

    

    
    別說你不會開發exe程式，拿走不謝。
      本文重點介紹如何將我們寫的java程式碼打包成在電腦上可以執行的exe檔案

本文重點介紹如何將我們寫的java程式碼打包成在電腦上可以執行的exe檔案。這裡只介紹直接打包成exe的方法，至於打包成exe安裝包下節介紹
test
軟體準備
exe4j集合包下載地址(下節內容也在這裡)

今天我們下載好上面的內

跟著知識追尋者學BeautifulSoup，你學不會打不還口，罵不還手

一 前言

二 Beautiful Soup 簡單使用

2.1 格式化HTML

2.2 獲取標籤節點

2.3 獲取節點文字

2.4獲取節點名稱

2.5 獲得節點物件種類

2.6 獲取所有屬性

2.7 獲取特定屬性

2.8 獲取子節點

2.9 獲取所有直接子節點

2.10 獲取直接子節點生成器

2.11 獲取所有子節點生成器

2.12 獲取直接父節點

2.13 獲取祖先節點生成器

2.14 獲取兄弟節點

三 搜尋文件

3.1 name引數示例

3.2 attrs 屬性示例

3.3 recursive 示例

3.4limit示例

3.5 kwargs 示例之屬性匹配

3.6 kwargs 示例之正則匹配

3.7 按CSS搜尋

四CSS選擇器

相關推薦

一前言

三搜尋文件