1. 程式人生 > >用BeautifulSoup爬取糗事百科段子

用BeautifulSoup爬取糗事百科段子

from bs4 import BeautifulSoup
import lxml
import requests
import html
import time
import html5lib
import re
def crawl_joke_list_usebs4(pag=1):
    url = 'https://www.qiushibaike.com/8hr/page/1/'
    res = requests.get(url)
    soup = BeautifulSoup(res.text, 'html5lib')
    joke_list = soup.find_all('div', class_=re.compile('article block untagged mb15'))
    for child in joke_list:
        print('使用者名稱:'+child.find('h2').string.strip())
        print('段子:'+child.find('div', class_='content').text.strip())
        print()
crawl_joke_list_usebs4()

剛開始學習python,看到網上很多爬糗事百科的教程,於是仿照著寫了一個

執行截圖