2. 程式人生 > >爬蟲之 BeautifulSoup庫的使用

爬蟲之 BeautifulSoup庫的使用

阿新 • • 發佈：2018-11-19

上一篇文章的正則，其實對很多人來說用起來是不方便的，加上需要記很多規則，所以用起來不是特別熟練，而這節我們提到的beautifulsoup就是一個非常強大的工具，爬蟲利器。

beautifulSoup “美味的湯，綠色的濃湯”

一個靈活又方便的網頁解析庫，處理高效，支援多種解析器。
利用它就不用編寫正則表示式也能方便的實現網頁資訊的抓取

快速使用

通過下面的一個例子，對bs4有個簡單的瞭解，以及看一下它的強大之處：

複製程式碼 
from bs4 import BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
soup = BeautifulSoup(html,'lxml')
print(soup.prettify())
print(soup.title)
print(soup.title.name) print(soup.title.string) print(soup.title.parent.name) print(soup.p) print(soup.p["class"]) print(soup.a) print(soup.find_all('a')) print(soup.find(id='link3'))
複製程式碼

結果如下：

使用BeautifulSoup解析這段程式碼,能夠得到一個 BeautifulSoup 的物件,並能按照標準的縮排格式的結構輸出。

同時我們通過下面程式碼可以分別獲取所有的連結，以及文字內容：

for link in soup.find_all('a'):
    print(link.get('href'))

print(soup.get_text())

解析器

Beautiful Soup支援Python標準庫中的HTML解析器,還支援一些第三方的解析器，如果我們不安裝它，則 Python 會使用 Python預設的解析器，lxml 解析器更加強大，速度更快，推薦安裝。

下面是常見解析器：

推薦使用lxml作為解析器,因為效率更高. 在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必須安裝lxml或html5lib, 因為那些Python版本的標準庫中內建的HTML解析方法不夠穩定.

基本使用

標籤選擇器

在快速使用中我們新增如下程式碼：
print(soup.title)
print(type(soup.title))
print(soup.head)
print(soup.p)

通過這種soup.標籤名 我們就可以獲得這個標籤的內容
這裡有個問題需要注意，通過這種方式獲取標籤，如果文件中有多個這樣的標籤，返回的結果是第一個標籤的內容，如上面我們通過soup.p獲取p標籤，而文件中有多個p標籤，但是隻返回了第一個p標籤內容

獲取名稱

當我們通過soup.title.name的時候就可以獲得該title標籤的名稱，即title

獲取屬性

print(soup.p.attrs['name'])
print(soup.p['name'])
上面兩種方式都可以獲取p標籤的name屬性值

獲取內容

print(soup.p.string)
結果就可以獲取第一個p標籤的內容：
The Dormouse's story

巢狀選擇

我們直接可以通過下面巢狀的方式獲取

print(soup.head.title.string)

子節點和子孫節點

contents的使用
通過下面例子演示：

複製程式碼 
html = """
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
    <body>
        <p class="story">
            Once upon a time there were three little sisters; and their names were
            <a href="http://example.com/elsie" class="sister" id="link1">
                <span>Elsie</span>
            </a>
            <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a>
            and
            <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>
            and they lived at the bottom of a well.
        </p>
        <p class="story">...</p>
"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html,'lxml')
print(soup.p.contents)
複製程式碼

結果是將p標籤下的所有子標籤存入到了一個列表中

列表中會存入如下元素

children的使用

通過下面的方式也可以獲取p標籤下的所有子節點內容和通過contents獲取的結果是一樣的，但是不同的地方是soup.p.children是一個迭代物件，而不是列表，只能通過迴圈的方式獲取素有的資訊

print(soup.p.children)
for i,child in enumerate(soup.p.children):
    print(i,child)

通過contents以及children都是獲取子節點，如果想要獲取子孫節點可以通過descendants
print(soup.descendants)同時這種獲取的結果也是一個迭代器

父節點和祖先節點

通過soup.a.parent就可以獲取父節點的資訊

通過list(enumerate(soup.a.parents))可以獲取祖先節點，這個方法返回的結果是一個列表，會分別將a標籤的父節點的資訊存放到列表中，以及父節點的父節點也放到列表中，並且最後還會講整個文件放到列表中，所有列表的最後一個元素以及倒數第二個元素都是存的整個文件的資訊

兄弟節點

soup.a.next_siblings 獲取後面的兄弟節點
soup.a.previous_siblings 獲取前面的兄弟節點
soup.a.next_sibling 獲取下一個兄弟標籤
souo.a.previous_sinbling 獲取上一個兄弟標籤

標準選擇器

find_all

find_all(name,attrs,recursive,text,**kwargs)
可以根據標籤名，屬性，內容查詢文件

name的用法

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all('ul'))
print(type(soup.find_all('ul')[0]))
複製程式碼

結果返回的是一個列表的方式

同時我們是可以針對結果再次find_all,從而獲取所有的li標籤資訊

for ul in soup.find_all('ul'):
    print(ul.find_all('li'))

attrs

例子如下：

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name="elements">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(attrs={'id': 'list-1'}))
print(soup.find_all(attrs={'name': 'elements'}))
複製程式碼

attrs可以傳入字典的方式來查詢標籤，但是這裡有個特殊的就是class,因為class在python中是特殊的欄位，所以如果想要查詢class相關的可以更改attrs={'class_':'element'}或者soup.find_all('',{"class":"element})，特殊的標籤屬性可以不寫attrs，例如id

text

例子如下：

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(text='Foo'))
複製程式碼

結果返回的是查到的所有的text='Foo'的文字

find

find(name,attrs,recursive,text,**kwargs)
find返回的匹配結果的第一個元素

其他一些類似的用法：
find_parents()返回所有祖先節點，find_parent()返回直接父節點。
find_next_siblings()返回後面所有兄弟節點，find_next_sibling()返回後面第一個兄弟節點。
find_previous_siblings()返回前面所有兄弟節點，find_previous_sibling()返回前面第一個兄弟節點。
find_all_next()返回節點後所有符合條件的節點, find_next()返回第一個符合條件的節點
find_all_previous()返回節點後所有符合條件的節點, find_previous()返回第一個符合條件的節點

CSS選擇器

通過select()直接傳入CSS選擇器就可以完成選擇
熟悉前端的人對CSS可能更加了解，其實用法也是一樣的
.表示class #表示id
標籤1，標籤2 找到所有的標籤1和標籤2
標籤1 標籤2 找到標籤1內部的所有的標籤2
[attr] 可以通過這種方法找到具有某個屬性的所有標籤
[atrr=value] 例子[target=_blank]表示查詢所有target=_blank的標籤

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.select('.panel .panel-heading'))
print(soup.select('ul li'))
print(soup.select('#list-2 .element'))
print(type(soup.select('ul')[0]))
複製程式碼

獲取內容

通過get_text()就可以獲取文字內容

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
for li in soup.select('li'):
    print(li.get_text())
複製程式碼

獲取屬性
或者屬性的時候可以通過[屬性名]或者attrs[屬性名]

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
for ul in soup.select('ul'):
    print(ul['id'])
    print(ul.attrs['id'])
複製程式碼

總結

推薦使用lxml解析庫，必要時使用html.parser
標籤選擇篩選功能弱但是速度快
建議使用find()、find_all() 查詢匹配單個結果或者多個結果
如果對CSS選擇器熟悉建議使用select()
記住常用的獲取屬性和文字值的方法

 

上一篇文章的正則，其實對很多人來說用起來是不方便的，加上需要記很多規則，所以用起來不是特別熟練，而這節我們提到的beautifulsoup就是一個非常強大的工具，爬蟲利器。

beautifulSoup “美味的湯，綠色的濃湯”

一個靈活又方便的網頁解析庫，處理高效，支援多種解析器。
利用它就不用編寫正則表示式也能方便的實現網頁資訊的抓取

快速使用

通過下面的一個例子，對bs4有個簡單的瞭解，以及看一下它的強大之處：

複製程式碼 
from bs4 import BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
soup = BeautifulSoup(html,'lxml')
print(soup.prettify())
print(soup.title)
print(soup.title.name) print(soup.title.string) print(soup.title.parent.name) print(soup.p) print(soup.p["class"]) print(soup.a) print(soup.find_all('a')) print(soup.find(id='link3'))
複製程式碼

結果如下：

使用BeautifulSoup解析這段程式碼,能夠得到一個 BeautifulSoup 的物件,並能按照標準的縮排格式的結構輸出。

同時我們通過下面程式碼可以分別獲取所有的連結，以及文字內容：

for link in soup.find_all('a'):
    print(link.get('href'))

print(soup.get_text())

解析器

Beautiful Soup支援Python標準庫中的HTML解析器,還支援一些第三方的解析器，如果我們不安裝它，則 Python 會使用 Python預設的解析器，lxml 解析器更加強大，速度更快，推薦安裝。

下面是常見解析器：

推薦使用lxml作為解析器,因為效率更高. 在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必須安裝lxml或html5lib, 因為那些Python版本的標準庫中內建的HTML解析方法不夠穩定.

基本使用

標籤選擇器

在快速使用中我們新增如下程式碼：
print(soup.title)
print(type(soup.title))
print(soup.head)
print(soup.p)

通過這種soup.標籤名 我們就可以獲得這個標籤的內容
這裡有個問題需要注意，通過這種方式獲取標籤，如果文件中有多個這樣的標籤，返回的結果是第一個標籤的內容，如上面我們通過soup.p獲取p標籤，而文件中有多個p標籤，但是隻返回了第一個p標籤內容

獲取名稱

當我們通過soup.title.name的時候就可以獲得該title標籤的名稱，即title

獲取屬性

print(soup.p.attrs['name'])
print(soup.p['name'])
上面兩種方式都可以獲取p標籤的name屬性值

獲取內容

print(soup.p.string)
結果就可以獲取第一個p標籤的內容：
The Dormouse's story

巢狀選擇

我們直接可以通過下面巢狀的方式獲取

print(soup.head.title.string)

子節點和子孫節點

contents的使用
通過下面例子演示：

複製程式碼 
html = """
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
    <body>
        <p class="story">
            Once upon a time there were three little sisters; and their names were
            <a href="http://example.com/elsie" class="sister" id="link1">
                <span>Elsie</span>
            </a>
            <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a>
            and
            <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>
            and they lived at the bottom of a well.
        </p>
        <p class="story">...</p>
"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html,'lxml')
print(soup.p.contents)
複製程式碼

結果是將p標籤下的所有子標籤存入到了一個列表中

列表中會存入如下元素

children的使用

通過下面的方式也可以獲取p標籤下的所有子節點內容和通過contents獲取的結果是一樣的，但是不同的地方是soup.p.children是一個迭代物件，而不是列表，只能通過迴圈的方式獲取素有的資訊

print(soup.p.children)
for i,child in enumerate(soup.p.children):
    print(i,child)

通過contents以及children都是獲取子節點，如果想要獲取子孫節點可以通過descendants
print(soup.descendants)同時這種獲取的結果也是一個迭代器

父節點和祖先節點

通過soup.a.parent就可以獲取父節點的資訊

通過list(enumerate(soup.a.parents))可以獲取祖先節點，這個方法返回的結果是一個列表，會分別將a標籤的父節點的資訊存放到列表中，以及父節點的父節點也放到列表中，並且最後還會講整個文件放到列表中，所有列表的最後一個元素以及倒數第二個元素都是存的整個文件的資訊

兄弟節點

soup.a.next_siblings 獲取後面的兄弟節點
soup.a.previous_siblings 獲取前面的兄弟節點
soup.a.next_sibling 獲取下一個兄弟標籤
souo.a.previous_sinbling 獲取上一個兄弟標籤

標準選擇器

find_all

find_all(name,attrs,recursive,text,**kwargs)
可以根據標籤名，屬性，內容查詢文件

name的用法

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all('ul'))
print(type(soup.find_all('ul')[0]))
複製程式碼

結果返回的是一個列表的方式

同時我們是可以針對結果再次find_all,從而獲取所有的li標籤資訊

for ul in soup.find_all('ul'):
    print(ul.find_all('li'))

attrs

例子如下：

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name="elements">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(attrs={'id': 'list-1'}))
print(soup.find_all(attrs={'name': 'elements'}))
複製程式碼

attrs可以傳入字典的方式來查詢標籤，但是這裡有個特殊的就是class,因為class在python中是特殊的欄位，所以如果想要查詢class相關的可以更改attrs={'class_':'element'}或者soup.find_all('',{"class":"element})，特殊的標籤屬性可以不寫attrs，例如id

text

例子如下：

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(text='Foo'))
複製程式碼

結果返回的是查到的所有的text='Foo'的文字

find

find(name,attrs,recursive,text,**kwargs)
find返回的匹配結果的第一個元素

其他一些類似的用法：
find_parents()返回所有祖先節點，find_parent()返回直接父節點。
find_next_siblings()返回後面所有兄弟節點，find_next_sibling()返回後面第一個兄弟節點。
find_previous_siblings()返回前面所有兄弟節點，find_previous_sibling()返回前面第一個兄弟節點。
find_all_next()返回節點後所有符合條件的節點, find_next()返回第一個符合條件的節點
find_all_previous()返回節點後所有符合條件的節點, find_previous()返回第一個符合條件的節點

CSS選擇器

通過select()直接傳入CSS選擇器就可以完成選擇
熟悉前端的人對CSS可能更加了解，其實用法也是一樣的
.表示class #表示id
標籤1，標籤2 找到所有的標籤1和標籤2
標籤1 標籤2 找到標籤1內部的所有的標籤2
[attr] 可以通過這種方法找到具有某個屬性的所有標籤
[atrr=value] 例子[target=_blank]表示查詢所有target=_blank的標籤

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.select('.panel .panel-heading'))
print(soup.select('ul li'))
print(soup.select('#list-2 .element'))
print(type(soup.select('ul')[0]))
複製程式碼

獲取內容

通過get_text()就可以獲取文字內容

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
for li in soup.select('li'):
    print(li.get_text())
複製程式碼

獲取屬性
或者屬性的時候可以通過[屬性名]或者attrs[屬性名]

複製程式碼 
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
for ul in soup.select('ul'):
    print(ul['id'])
    print(ul.attrs['id'])
複製程式碼

總結

推薦使用lxml解析庫，必要時使用html.parser
標籤選擇篩選功能弱但是速度快
建議使用find()、find_all() 查詢匹配單個結果或者多個結果
如果對CSS選擇器熟悉建議使用select()
記住常用的獲取屬性和文字值的方法

 

相關推薦

python 爬蟲之BeautifulSoup 庫的基本使用

rip data lin value 訪問 pytho 輕松 register tex import urllib2url = ‘http://www.someserver.com/cgi-bin/register.cgi‘values = {}values[‘name‘]

爬蟲之 BeautifulSoup庫的使用

上一篇文章的正則，其實對很多人來說用起來是不方便的，加上需要記很多規則，所以用起來不是特別熟練，而這節我們提到的beautifulsoup就是一個非常強大的工具，爬蟲利器。 beautifulSoup “美味的湯，綠色的濃湯” 一個靈活又方便的網頁解析庫，處理高效，支援多種解析器。利用它就不用編

Python爬蟲之BeautifulSoup庫

1. BeautifulSoup 1.1 解析庫 1）Python標準庫 # 使用方法 BeautifulSoup(markup, "html.parser") # 優勢 Python的內建標準庫，執行速度適中，文件容錯能力強 # 劣勢 Python2.7.3 或者 python3.2.2 前的版本容錯

python爬蟲從入門到放棄（六）之 BeautifulSoup庫的使用

src 表達 支持 正則表達 必須 這樣的 com 子節點 prettify 上一篇文章的正則，其實對很多人來說用起來是不方便的，加上需要記很多規則，所以用起來不是特別熟練，而這節我們提到的beautifulsoup就是一個非常強大的工具，爬蟲利器。 beautifulS

爬蟲之BeautifulSoup， CSS

ont min 文件打開 速度 名稱 markup css選擇器 -1 全部結果 1. Beautiful Soup的簡介 2. Beautiful Soup 安裝 可以利用 pip 或者 easy_install 來安裝，以下兩種方法均可 easy_install bea

爬蟲之requests庫

響應 image ocs dex ren 人性化 setting req ems Why requests python的標準庫urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一個簡單的功能就需要一大堆代碼。 Requests 使用的是 urllib3

爬蟲基礎(BeautifulSoup庫的使用)--04

實現 了解 文本 con AD 解析 num prev sele 上一篇文章的正則，其實對很多人來說用起來是不方便的，加上需要記很多規則，所以用起來不是特別熟練，而這節我們提到的beautifulsoup就是一個非常強大的工具，爬蟲利器。 beautifulSoup “美味

Python開發爬蟲之BeautifulSoup解析網頁篇：爬取安居客網站上北京二手房數據

澳洲 pytho 目標 www. 委托 user info .get web 目標：爬取安居客網站上前10頁北京二手房的數據，包括二手房源的名稱、價格、幾室幾廳、大小、建造年份、聯系人、地址、標簽等。 網址為：https://beijing.anjuke.com/sale/

爬蟲之beautifulsoup模塊

找到 索引 生成器 上一個 安裝模塊 content before con 數據 一、介紹Beautiful Soup 是一個可以從HTML或XML文件中提取數據的Python庫.它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup

python爬蟲之BeautifulSoup學習

1. Beautiful Soup的簡介 簡單來說，Beautiful Soup是python的一個庫，最主要的功能是從網頁抓取資料。官方解釋如下： Beautiful Soup提供一些簡單的、python式的函式用來處理導航、搜尋、修改分析樹等功能。它是一個工具箱，通過解析文件為使

python3爬蟲之Urllib庫（二）

cau python err 發送請求 split 完成 構造 服務器 inf 在上一篇文章中，我們大概講了一下urllib庫中最重要的兩個請求方法：urlopen() 和 Request() 但是僅僅憑借那兩個方法無法執行一些更高級的請求，如Cookies處理，代

爬蟲之 Requests庫的基本使用

什麼是Requests Requests是用python語言基於urllib編寫的，採用的是Apache2 Licensed開源協議的HTTP庫如果你看過上篇文章關於urllib庫的使用，你會發現，其實urllib還是非常不方便的，而Requests它會比urllib更加方便，可以節約我們大量的工作

Python網路爬蟲之requests庫Scrapy爬蟲比較

requests庫Scrapy爬蟲比較 相同點： 都可以進行頁面請求和爬取，Python爬蟲的兩個重要技術路線 兩者可用性都好，文件豐富，入門簡單。 兩者都沒有處理JS，提交表單，應對驗證碼等功能（可擴充套件） 想爬取有驗證碼的，換需要學習別的庫知識。 不同點： Scrapy,非同

Python爬蟲之Urllib庫的基本使用

狀態碼 chrom 異常處理 false 基本 sta col thead kit # get請求 import urllib.request response = urllib.request.urlopen("http://www.baidu.com") print(

Python爬蟲之Requests庫的基本使用

1 import requests 2 response = requests.get('http://www.baidu.com/') 3 print(type(response)) 4 print(response.status_code) 5 print(type(respon

爬蟲之Requests庫應用例項

1.京東商品頁的爬取 import requests url = "https://item.jd.com/100000400014.html" try: r = requests.get(url) r.raise_for_status()

Python爬蟲之selenium庫使用詳解

Python爬蟲之selenium庫使用詳解   什麼是Selenium selenium 是一套完整的web應用程式測試系統，包含了測試的錄製（selenium IDE）,編寫及執行（Selenium Remote Control）和測試的並行處理（Selenium Grid）。Seleni

python爬蟲之BeautifulSoup解析網頁

BeautifulSoup是一個很簡單又好用的庫，不過解析速度相對比較慢，使用如下： 1，安裝 pip install bs4  （被加到了bs4中） #python3用pip3 install bs4 ，如果有許可權問題，可以試試，pip install bs4  --

做PHP爬蟲之QUERYLIST庫（PHP爬蟲外掛）

前言 很多人在做網站的時候可能有這樣的需求，前期網站內容不多需要從外站獲取，需求量較大的時候，我們不可能手工進行轉載。這時候“爬蟲”顯得尤為重要。下面就讓我介紹在php下如何做一個“爬蟲”。 前期我在做小程式的時候需要大量的關於電腦的文章（教程），自己打算寫一個

爬蟲：BeautifulSoup庫的使用

BeautifulSoup庫中文文件：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ 常用函式： soup.select(): 按路徑搜尋需要的內容 soup.select("p nth-of-type(3)") #