宣告：此部落格爬取的資料只為學習爬蟲使用，絕非廣告

程式介紹

檔案目錄

├── Zhipin_spider  ＃ 資料夾
│   ├── spider_main.py  # 排程器。是爬蟲的入口，管理各個類
│   ├── html_downloader.py # 下載器，負責網頁內容的下載
│   ├── html_parser.py # 解析器，負責解析資料，獲取有價值的資料
│   └── html_outputer.py # 輸出,將獲取到的資料輸出
│     

使用依賴

• 採用 Requests 請求資料
• 使用 BeautifulSoup 解析資料
• 使用 xlsxwriter
  框架儲存資料到 Excel 檔案中

書寫流程

排程器 –> 網頁下載器 –> 網頁解析器 –> 輸出

每個模組介紹

網頁下載器

• 使用 Requests 框架請求資料
• 新增 header 模擬瀏覽器訪問
• 使用 try...except... 捕捉異常

網頁下載器核心程式碼

# -*- coding: utf-8 -*-
# @Time    : 2018/1/7 上午11:46
# @Author  : Mazy
# @File    : html_downloader.py
# @Software: PyCharm

import requests
import
 
 ssl

class HtmlDownloader(object):
    # 通過 url + 頁碼 + 關鍵詞 獲取資料
    def get_page(self, baseUrl, page_num, keyword):
        try:
            # 
            param = {"query": keyword, "city": "101010100", "page": page_num}

            # 設定請求頭，模擬瀏覽器訪問
            header = {
                'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'
 

                              r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
                'Referer': r'http://www.zhipin.com/job_detail/',
                'Connection': 'keep-alive'
            }

            result = requests.get(baseUrl, params=param, headers=header)

            # print(result.text)

            return result.text

        except Exception as err:
            print(err)
            print("Boss直聘爬取失敗")
            return None

網頁解析器

• 使用 BeautifulSoup 提取資料
• 將每一條資料儲存到列表中，再將每一頁的資料用一個大的列表包裹，形成一個二維列表

網頁解析器核心程式碼

# -*- coding: utf-8 -*-
# @Time    : 2018/1/7 上午11:47
# @Author  : Mazy
# @File    : html_parser.py
# @Software: PyCharm

from bs4 import BeautifulSoup

class HtmlParser(object):

    def parse(self, html_content):
        if html_content is None:
            return None

        soup = BeautifulSoup(html_content, 'html.parser')
        # 獲取公司的列表
        companies = soup.find('div', class_='job-list').select('ul > li')

        results = []
        for com in companies:
            res = self.get_one_company(com)
            results.append(res)

        return results


    def get_one_company(self, soup):

        company_soup = soup.find('div', class_="info-company")
        # company name
        com_name = company_soup.find('a').text
        # company desc
        com_desc = company_soup.find('p').text

        primary_soup = soup.find('div', class_="info-primary")
        # job name
        all = primary_soup.find('h3', class_="name").a.text
        sala = primary_soup.find('h3', class_="name").a.span.text
        job = all.replace(sala, "")
        # salary
        salary = primary_soup.find('h3', class_="name").a.span.text
        # conpany require
        job_require = primary_soup.find('p').text

        return [com_name, job, salary, job_require, com_desc]

資料輸出到 Excel 檔案中

• 1、使用 xlwt -> Workbook 框架將資料儲存到 Excel
• 2、使用 xlsxwriter 框架將資料儲存到 Excel
• 以上方法【二選一】

輸出核心程式碼

# -*- coding: utf-8 -*-
# @Time    : 2018/1/7 上午11:47
# @Author  : Mazy
# @File    : html_outputer.py
# @Software: PyCharm

from xlwt import Workbook, Worksheet
import xlsxwriter

class HtmlOutputer(object):

    # 使用 xlwt 將資料存到 Excel
    def save_to_excel(self, results, tag_name, file_name):

        book = Workbook(encoding="utf-8")

        tmp = book.add_sheet('sheet')

        times = len(results) + 1

        for i in range(times):
            if i==0 :
                for tag_name_i in tag_name:
                    tmp.write(i, tag_name.index(tag_name_i), tag_name_i)

            else:
                for tag_list in range(len(tag_name)):
                    tmp.write(i, tag_list, str(results[i-1][tag_list]))

        book.save(r'/Users/bai/Desktop/%s.xls' % file_name)

    # 使用 xlsxwriter 將資料存到 Excel
    def save_to_excel_other_way(self, results, tag_names, file_name):
        book = xlsxwriter.Workbook(R'/Users/bai/Desktop/%s.xls' % file_name)
        tmp = book.add_worksheet()

        row_num = len(results)

        for i in range(1, row_num+1):
            if i == 1:
                tag_pos = 'A%s' % i
                tmp.write_row(tag_pos, tag_names)
            else:
                con_pos = 'A%s' % i
                content = results[i-1]
                tmp.write_row(con_pos, content)

        book.close()

排程器

• 主要負責管理 網頁下載器、網頁解析器和輸出之間的排程

排程器核心程式碼

# -*- coding: utf-8 -*-
# @Time    : 2018/1/7 上午11:47
# @Author  : Mazy
# @File    : spider_main.py
# @Software: PyCharm

from Zhipin_spider import html_downloader, html_parser, html_outputer
import time
import random

class BOSS_Main(object):
    def __init__(self):
        self.downloader = html_downloader.HtmlDownloader()
        self.parser = html_parser.HtmlParser()
        self.outputer = html_outputer.HtmlOutputer()

    def start(self,keyword, baseURL, page_count):

        all_coms = []

        for i in range(1, page_count+1):
            # 新增延遲
            time.sleep(random.uniform(1, 5))
            # 獲取網頁內容
            content = self.downloader.get_page(baseURL, i, keyword)
            # 解析資料
            com_results = self.parser.parse(content)

            print("正在抓取第 %d 頁資料, 有 %d 條資料" % (i, len(com_results)))
            # 儲存資料到列表
            for com in com_results:
                all_coms.append(com)

        print(len(all_coms))
        print(all_coms)

        tag_name = ['公司名稱', '職位名稱', '工資', '所需學歷', '公司介紹']
        # self.outputer.save_to_excel(all_coms, tag_name, "test")
        # 輸出
        self.outputer.save_to_excel_other_way(all_coms, tag_name, "boss1")

# 程式的入口
if __name__ == "__main__":

    keyword = input('請輸入抓取的關鍵詞：\n')
    page_counts = input("請輸入抓取總頁數：\n")

    baseURL = "http://www.zhipin.com/job_detail/"
    bosszp = BOSS_Main()
    bosszp.start(keyword, baseURL, int(page_counts))

DEMO傳送門