python beautifulsoup 用於分析網頁示例

阿新 • • 發佈：2018-12-23

2012-10-31

周海漢 http://abloz.com 2012.10.31 聽說11.3要來暖氣?

beautifulsoap只有一個py檔案，但功能強大，可分析不完整的html頁面。下面是用法示例。安裝： [[email protected] test1]$ sudo pip install BeautifulSoup 或者去官網下載：http://www.crummy.com/software/BeautifulSoup/

python操作

>>> from BeautifulSoup import BeautifulSoup

>>> doc = ['<html><head><title> 
用BeautifulSoup對不完整網頁分析測試 from abloz.com</title></head>',

... '<body><p id="f" class="test" >我的網站 <b>分析</b> from abloz.com.',

... '<p id="s" >第二行',

... '<a href="http://abloz.com">瀚海星空</a>',

... '<a href="http://google.com">google</a>',

... '</html> 
']

>>> soup = BeautifulSoup(''.join(doc))

>>> soup.html.title

<title>用BeautifulSoup對不完整網頁分析測試 from abloz.com</title>

>>> soup.html.body.p

<p id="f" class="test">我的網站 <b>分析</b> from abloz.com.</p>

>>> soup.html.title.name

u'title'

>>> soup.html.title.text

u'u7528BeautifulSoupu5bf9u4e0du5b8cu6574u7f51u9875u5206u6790u6d4bu8bd5 from abloz.com'

>>> soup.html.title.string

u'u7528BeautifulSoupu5bf9u4e0du5b8cu6574u7f51u9875u5206u6790u6d4bu8bd5 from abloz.com'

>>> print soup.html.title.string

用BeautifulSoup對不完整網頁分析測試 from abloz.com

>>> soup.title

<title> 
用BeautifulSoup對不完整網頁分析測試 from abloz.com</title>

>>> ps = soup.findAll("p")

>>> for p in ps:

... print p

...

<p id="f" class="test">我的網站 <b>分析</b> from abloz.com.</p>

<p id="s">第二行<a href="http://abloz.com">瀚海星空</a><a href="http://google.com">google</a></p>

>>> ps[1]

<p id="s">第二行<a href="http://abloz.com">瀚海星空</a><a href="http://google.com">google</a></p>

>>> ps[0]

<p id="f" class="test">我的網站 <b>分析</b> from abloz.com.</p>

>>> aes=soup.findAll("a")

>>> for a in aes:

... print a.text

... print a["href"]

...

瀚海星空

http://abloz.com

google

http://google.com

>>> import re

>>> ts = soup.findAll(text=re.compile("分析"))

>>> print ts

[]

>>> ts = soup.findAll(text=re.compile("goo"))

>>> print ts

[u'google']

注意如何支援中文：轉為unicode

>>> ts = soup.findAll(text=re.compile(u"分析"))
>>> ts
[u'u7528BeautifulSoupu5bf9u4e0du5b8cu6574u7f51u9875u5206u6790u6d4bu8bd5 from abloz.com', u'u5206u6790']
>>> for t in ts:
... print t
...
用BeautifulSoup對不完整網頁分析測試 from abloz.com
分析
>>> ids = soup.findAll(id=re.compile("f"))
>>> ids
[<p id="f" class="test">我的網站 <b>分析</b> from abloz.com.</p>]

和上一個等價的方式
>>> ids = soup.findAll(attrs={"id":re.compile("f")})
>>> ids
[<p id="f" class="test">我的網站 <b>分析</b> from abloz.com.</p>]
>>> soup.find("p")
<p id="f" class="test">我的網站 <b>分析</b> from abloz.com.</p>
>>> soup.find("a")
<a href="http://abloz.com">瀚海星空</a>

參考：中文文件：http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html 官網：http://www.crummy.com/software/BeautifulSoup/

如非註明轉載, 均為原創. 本站遵循知識共享CC協議,轉載請註明來源

python beautifulsoup 用於分析網頁示例

2012-10-31 周海漢 http://abloz.com 2012.10.31 聽說11.3要來暖氣? beautifulsoap只有一個py檔案，但功能強大，可分析不完整的html頁面。下面是用法示例。安裝： [[e

beautifulsoup4 用於分析網頁

2012-11-02 安裝： [[email protected] ~]$ sudo pip install beautifulsoup4 beautifulsoup4 對css等處理相當強大，提供了新的select

python beautifulsoup 抓取網頁正文內容

最近要跟著同學做一個小專案，需要自己找語料庫，於是我用python 的 beautifulsoup 和urllib 來抓取一些網頁內容來做訓練語料。現在寫下來備忘，雖然還有些不足。這裡，我抓取的是鳳凰軍事的滾動新聞，點開後可以發現是一系列的新聞連結，所以接下來就分兩個方面

利用Python進行資料分析——基礎示例

import json import numpy as np import pandas as pd import matplotlib.pyplot as plt 1.USA.gov Data from Bitly 此資料是美國官方網站從使用者那蒐集到

Python爬蟲：使用BeautifulSoup分析網頁結構注意事項

開始我用BeautifulSoup分析網頁時候這樣做： #從檔案讀取html原始檔內容 with open("html.txt", "r", encoding='utf-8') as file: content = file.read() #替換轉義字元 map

Python獲取網頁內容、使用BeautifulSoup庫分析html

利用 urllib包獲取網頁內容 #引入包 from urllib.request import urlopen response = urlopen("http://fund.eastmoney.com/fund.html") html = resp

Python《十》Python獲取網頁內容、使用BeautifulSoup庫分析html

一,利用 urllib包獲取網頁內容 #引入包 from urllib.request import urlopen response = urlopen("http://fund.eastmon

Go/Python/Erlang編程語言對比分析及示例

情況 png 解耦多態有一種 blog fib 對比基準本文主要是介紹Go，從語言對比分析的角度切入。之所以選擇與Python、Erlang對比，是因為做為高級語言，它們語言特性上有較大的相似性，不過最主要的原因是這幾個我比較熟悉。 Go的很多語言特性借鑒與它的三個

Python數據分析8-----網頁文本處理

處理 load 小寫停用分開 imp html pan 大小寫 1、去除網頁的標簽，如<br/> from bs4 import BeautifulrSoup preData=BeautifulSoup(data,‘html.parser‘).get_t

11月10日python爬蟲分析網頁的模組lxml和Beautiful Soup

unicode是字符集，不是編碼方式 ajax返回的是json字串，json字元是類字典的形式，裡面是鍵值對 format自動排列 # 定義檔案儲存的位置,原始的定義要改變的地方是定義在字串中的 fileName = 'g:/spider/poetry/poetry{0}.html' f

python學習之網站的編寫（HTML，CSS，JS）（五）----------a標籤，用於實現網頁的跳轉和頁面具體位置的跳轉

a標籤既可以實現頁面的跳轉也可以實現具體位置的跳轉，見如下程式碼： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <tit

【Python網路爬蟲】Python維基百科網頁抓取（BeautifulSoup+Urllib2）

引言：從網路提取資料的需求和重要性正在變得越來越迫切。每隔幾個星期，我都會發現自己需要從網路中提取資料。例如，上週我們正在考慮建立一個關於網際網路上可用的各種資料科學課程的熱度和情緒指數。這不僅需要找到新的課程，而且還要抓住網路的評論，然後在

Python爬蟲 BeautifulSoup抓取網頁資料並儲存到資料庫MySQL

最近剛學習Python，做了個簡單的爬蟲，作為一個簡單的demo希望幫助和我一樣的初學者程式碼使用python2.7做的爬蟲抓取51job上面的職位名，公司名，薪資，釋出時間等等直接上程式碼，程式碼中註釋還算比較清楚，沒有安裝mysql需要遮蔽掉相關程式碼：#!/u

python+BeautifulSoup爬取不老歌的網頁正文

不老歌上有很多小說，想把他們都集中為一個txt放在手機裡看。下面程式碼針對以年份歸檔好的文章。 from bs4 import BeautifulSoup import requests import time import re def getContent(url)

[原創]python爬蟲之BeautifulSoup,爬取網頁上所有圖片標題並存儲到本地文件

%20 分享圖片本地 col cbc quest 執行 python div from bs4 import BeautifulSoup import requests import re import os r = requests.get("https:/

Python數據分析－Kobe Bryan生涯數據讀取及分析

type lag col 導入 csv hot plot 打印 cat 1.將數據（csv格式）導入jupyter import pandas as pd import matplotlib.pyplot as plt filename＝‘data.csv‘ raw=pd.

python腳本分析nginx訪問日誌

char data uri Coding php utf8 客戶 read oot 日誌格式如下： 223.74.135.248 - - [11/May/2017:11:19:47 +0800] "POST /login/getValidateCode HTTP/1.1"

Python數據分析必備Anaconda安裝、快捷鍵、包安裝

倉庫 iop http ins alt 3.1 pip des rip Python數據分析必備： 1.Anaconda操作首先應該設置本地存放數據目錄為工作目錄，這樣可以加載本地數據集到內存中 import os os.chdir("D:/BigData/

python數據分析入門學習筆記兒

rip help cat app run 復雜 bsp 真的 parser 學習利用python進行數據分析的筆記兒&下星期二內部交流會要講的內容，一並分享給大家。博主粗心大意，有什麽不對的地方歡迎指正~還有許多尚待完善的地方，待我一邊學習一邊完善~ 前言：各種和

python 3 while 循環示例

while python3 循環示例一： AGE = 20 count = 0 while True: if count == 5: break GUESS = int(input("AGE:")) if GUESS == AGE : p

python beautifulsoup 用於分析網頁示例

相關推薦