用BeautifulSoup爬取糗事百科段子
阿新 • • 發佈:2018-12-13
from bs4 import BeautifulSoup import lxml import requests import html import time import html5lib import re def crawl_joke_list_usebs4(pag=1): url = 'https://www.qiushibaike.com/8hr/page/1/' res = requests.get(url) soup = BeautifulSoup(res.text, 'html5lib') joke_list = soup.find_all('div', class_=re.compile('article block untagged mb15')) for child in joke_list: print('使用者名稱:'+child.find('h2').string.strip()) print('段子:'+child.find('div', class_='content').text.strip()) print() crawl_joke_list_usebs4()
剛開始學習python,看到網上很多爬糗事百科的教程,於是仿照著寫了一個
執行截圖