週末閒來無事，本來想看一看書的，結果也沒看進去(RNG輸的我真是糟心。。。)

於是就用python寫了一個爬蟲，來爬取小說來看，防止下次還要去網上找書看。

我們先找一個看名著的小說網

我們開啟http://www.mingzhuxiaoshuo.com/ 名著小說網來，首先看到的是這樣的

我們如上圖選一個大家耳熟能詳的書，《富爸爸窮爸爸》，我們點開來，點選線上閱讀

出現了這本書的目錄，http://www.mingzhuxiaoshuo.com/waiguo/154/，這個url是我們首先爬取的網頁，我們先將每一章節的url爬取出來。

我們打穀歌的開發工具 F12，去找本網站的目錄規律

我們發現每一個目錄都有一個href，我們點開了一章，檢視他的url，發現是這樣的，如下圖http://www.mingzhuxiaoshuo.com/waiguo/154/4857.Html。

我們結合上面的一系列目錄，尋找規律。可以確認的每一章的url = www.mingzhuxiaoshuo.com + 目錄的href

我們於是可以開始寫程式碼了

# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import requests
"""
說明:下載《窮爸爸富爸爸》
Modify:
    2018-10-20，星期六
Author:
	ligz
"""
if __name__ == '__main__':
	server_url = 'http://www.mingzhuxiaoshuo.com'
	target_url = 'http://www.mingzhuxiaoshuo.com/waiguo/154/'
	req = requests.get(url = target_url)
	html = req.text.encode("latin1").decode("gbk")
	bf = BeautifulSoup(html,'lxml')
	texts = bf.find_all('div', 'list')
	bf_a = BeautifulSoup(str(texts),'lxml')
	a = bf_a.find_all('a')
	for i in a:
		print(i.string, server_url+i.get('href'))
 

我們執行程式碼可以看到，打印出來的是每一章節的目錄名字和對應的url。

這裡用的是

requests去獲取網頁的內容，和BeautifulSoup去對網頁的html提取資料

我們用requests.get(http://www.mingzhuxiaoshuo.com/waiguo/154/)請求小說目錄網頁的html

用BeautifulSoup去尋找了名字是  list  的div。

texts = bf.find_all('div', 'list')

去找 這個div下面的a標籤

a = bf_a.find_all('a')

 我們已經成功了一半了，另一半當然是重頭戲——爬取每一章節的內容

我們點開序言http://www.mingzhuxiaoshuo.com/waiguo/154/4857.Html，開啟F12開發者工具，看到的html結構如下

我們發現我們需要的內容在class="width"的div下，於是我們學習上面的寫法，給大家演示一下。

# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import requests
"""
說明:下載《窮爸爸富爸爸》
Modify:
    2018-10-20，星期六
Author:
	ligz
"""
if __name__ == '__main__':
	target = 'http://www.mingzhuxiaoshuo.com/waiguo/154/4857.Html'
	req = requests.get(url = target)
	html = req.text.encode("latin1").decode("gbk")
	bf = BeautifulSoup(html,'lxml')
	texts = bf.find_all('div', 'width')
	bf_div = BeautifulSoup(str(texts),'lxml')
	div = bf_div.find_all('div')
	txt = ''
	for i in div:
		if i.string is not None:
			txt = txt + i.string +'\n\n'
	print(txt)

我們用BeautifulSoup尋找到上面class="width"的div，

texts = bf.find_all('div', 'width')

再講他作為一個html結構，再去尋找下面每一個div

div = bf_div.find_all('div')

執行程式，我們於是得到了整個序言的內容

我們得到了目錄url和每一個url下面的內容，我們就可以完成整個爬取的工作。

下面是完整的程式碼，執行即可爬取成功

from bs4 import BeautifulSoup
import requests, sys

"""
類說明:下載《窮爸爸富爸爸》
Modify:
    2018-10-20，星期六
Author:
	ligz
"""
class download(object):
	def __init__(self):
		self.server_url = 'http://www.mingzhuxiaoshuo.com'
		self.target_url = 'http://www.mingzhuxiaoshuo.com/waiguo/154/'
		self.names = []
		self.urls = []
		self.nums = 0


	"""
	獲取下載的連結
	獲取目錄
	"""
	def download_url(self):
		req = requests.get(url = self.target_url)
		html = req.text.encode("latin1").decode("gbk")
		bf = BeautifulSoup(html,'lxml')
		texts = bf.find_all('div', 'list')
		bf_a = BeautifulSoup(str(texts),'lxml')
		a = bf_a.find_all('a')
		self.nums = len(a)
		for i in a:
			self.names.append(i.string)
			self.urls.append(self.server_url+i.get('href'))


	"""
	獲取每一章節的內容
	"""
	def download_content(self,target_url):
		req = requests.get(url = target_url)
		html = req.text.encode("latin1").decode("gbk")
		bf = BeautifulSoup(html,'lxml')
		texts = bf.find_all('div', class_='width')
		bf_div = BeautifulSoup(str(texts),'lxml')
		div = bf_div.find_all('div')
		txt = ''
		for i in div:
			if i.string is not None:
				txt = txt + i.string +'\n\n'
		return txt

	def writer(self, name, path, text):
		write_flag = True
		with open(path, 'a', encoding='utf-8') as f:
			f.write(name + '\n')
			f.writelines(text)
			f.write('\n\n')

if __name__ == '__main__':
	dl = download()
	dl.download_url()
	print("開始下載")
	for i in range(dl.nums):
		dl.writer(dl.names[i], '窮爸爸富爸爸.txt', dl.download_content(dl.urls[i]))
		sys.stdout.write("已下載：%.3f%%" % float(i/dl.nums) + '\r')
		sys.stdout.flush
	print('已下載完成')

 我們看到已經成功的爬取了整本書的內容

可以放到手機上下次有時間再看了 

本文可以轉載，但需註明出處https://blog.csdn.net/qq_39071530/article/details/83276675