網路爬蟲（又被稱為網頁蜘蛛，網路機器人）就是模擬客戶端傳送網路請求，接收請求響應，一種按照一定的規則，自動地抓取網際網路資訊的程式。

只要是瀏覽器能做的事情，原則上，爬蟲都能夠做

先來看一下最簡單的網路爬蟲百度Logo圖片提取：

import requests

r = requests.get("https://www.baidu.com/img/bd_logo1.png")

with open("baidu.png","wb") as f:
    f.write(r.content)

接下來按照爬蟲基本工作流程提取內涵社群網站文字內容：

1.獲取url：

url=http://neihanshequ.com/
headers= {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}
 

2.傳送請求，接受響應：

r = requests.get(url,headers=headers)
html_str = r.content.decode()

'''
<h1 class="title">
				<p>公交車上，一小夥對著手機打公放點微信語音：“臭小子，你是不是一點也不想你老孃？都不知道陪我聊聊天，回家來看看我...”每點開這段語音，小夥都自言自語說道：“別嘮叨啦，我每天都陪你聊天，好不好！想你了，老媽...”一大爺看不下去了，說道：“小夥子！你能不能不迴圈播這段語音，你要是想你媽了，能不能給她打個電話？”小夥說道：“上個月她走了，就只剩下這段語音了...”</p>
				</h1>'''
t = re.findall(r"<h1 class=\"title\">.*?<p>(.*?)</p>.*?</h1>",html_str,re.S)
 

with open("neihan.txt","w",encoding="utf-8") as f:
    for i in t:
        f.write(i)
        f.write("\n")

import re
import requests
def Neihan（）：
	url=http://neihanshequ.com/
	headers= {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}
	r = requests.get(url,headers=headers)
	html_str = r.content.decode()
	'''
	<h1 class="title">
				<p>公交車上，一小夥對著手機打公放點微信語音：“臭小子，你是不是一點也不想你老孃？都不知道陪我聊聊天，回家來看看我...”每點開這段語音，小夥都自言自語說道：“別嘮叨啦，我每天都陪你聊天，好不好！想你了，老媽...”一大爺看不下去了，說道：“小夥子！你能不能不迴圈播這段語音，你要是想你媽了，能不能給她打個電話？”小夥說道：“上個月她走了，就只剩下這段語音了...”</p>
				</h1>'''
	t = re.findall(r"<h1 class=\"title\">.*?<p>(.*?)</p>.*?</h1>",html_str,re.S)
	with open("neihan.txt","w",encoding="utf-8") as f:
    	for i in t:
        	f.write(i)
        	f.write("\n")
Neihan（）
 

按照面向物件爬取內涵社群網站文字，爬蟲工作流程程式碼如下：

# coding=utf-8
import requests
import re
import json

class Neihan:
    def __init__(self):
        self.start_url = "http://neihanshequ.com/"
        self.headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}
        self.next_url_temp = "http://neihanshequ.com/joke/?is_json=1&app_name=neihanshequ_web&max_time={}"

    def parse_url(self,url): #傳送url地址的請求，獲取響應
        r = requests.get(url,headers=self.headers)
        return r.content.decode()

    def get_first_page_content_list(self,html_str):
        t = re.findall(r"<h1 class=\"title\">.*?<p>(.*?)</p>.*?</h1>", html_str, re.S)
        #獲取max——time
        max_time = re.findall("max_time: '(.*?)'",html_str,re.S)[0]
        return t,max_time

    def save_content_list(self,content_list): #儲存
        for content in content_list:
            print(content)

    def get_content_list(self,html_str):
        dict_response = json.loads(html_str)
        content_list = [i["group"]['text']  for i in dict_response["data"]["data"]]
        max_time = dict_response["data"]["max_time"]
        #獲取has_more
        has_more = dict_response["data"]["has_more"]
        return content_list,max_time,has_more

    def run(self):#實現主要邏輯
        #1.start_url
        #2.傳送請求，獲取響應
        html_str = self.parse_url(self.start_url)
        #3.提取資料
        content_list,max_time = self.get_first_page_content_list(html_str)
        #4.儲存
        self.save_content_list(content_list)
        #5.獲取第二頁的url
        has_more=True
        while has_more:
            next_url = self.next_url_temp.format(max_time)
            html_str = self.parse_url(next_url)  #傳送下一頁的請求
            content_list,max_time,has_more = self.get_content_list(html_str)#獲取json中的段子和max——time
            self.save_content_list(content_list)

if __name__ == '__main__':
    neihan = Neihan()
    neihan.run()