1. 程式人生 > >python網路爬蟲與資訊採取之解析網頁(三)---- BeautifulSoup庫的導航樹例項

python網路爬蟲與資訊採取之解析網頁(三)---- BeautifulSoup庫的導航樹例項

上篇我們講到了通過標籤的名稱和屬性來查詢標籤的findAll(),本篇將講解如何通過標籤在文件中的位置進行查詢------導航樹

一篇文章,可以將其標籤分為子標籤,父標籤和兄弟標籤。而導航樹的功能就是先在文件中找到一個位置,根據網頁原始碼的架構,在該位置上進行前進(子標籤),後退(父標籤)或平移(兄弟標籤),從而遍歷全部標籤,獲取全部內容。

下面,我將用一個例項來詳細講解:

目標網站:http://www.pythonscraping.com/pages/page3.html

目的:獲取商品的名稱,描述和價格;

程式碼如下:

import requests
from bs4 import BeautifulSoup
import bs4


url = "http://www.pythonscraping.com/pages/page3.html"
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
html = r.text
soup = BeautifulSoup(html, "html.parser")
uniolist = []
i = 0
for tr in soup.find('table').children:
    #print(type(tr))
    if isinstance(tr, bs4.element.Tag):
        if i == 0:
            ths = tr.find_all('th')
            uniolist.append([ths[0].string,ths[1].string,ths[2].string])
        else:
            ths = tr.find_all('td')
            uniolist.append([ths[0].string, ths[1].get_text(), ths[2].string])
        i = i + 1
for i in range(5):
    u = uniolist[i]
    print(u[0],u[1],u[2])
其中的
for tr in soup.find('table').children:

首先,在網頁中找到第一個table標籤,然後在遍歷他的所有子標籤(下一級標籤),每次迴圈得到一個tr標籤,

再通過find_all()函式遍歷tr中所有的td標籤,

ths = tr.find_all('td')

最後將其文字放入到一個列表中進行輸出;