1. 什麼是爬蟲

• 也叫網路爬蟲，簡單來說，爬蟲就是從一個根網站出發，根據某種規則獲得更多的相關網站的url，自動下載這些網頁並自動解析這些網頁的內容，從中獲取需要的資料。例如爬取某種圖片、某類文字資訊等。爬蟲還可以用於編纂搜尋引擎的網路索引。
• 爬蟲所涉及的知識和技術面非常廣，在本文中不作討論；爬蟲有很多種實現方法，本文提供的python方法僅是其中一種簡單的實現，適用於規模較小的、自娛自樂的應用。有機會會持續更新。
• 爬蟲會消耗目標系統的資源，作為一個遵紀守法、品德高尚的好市民，應該考慮目標系統是否願意被爬蟲訪問、負載等問題，以及所爬取的內容是否得當、爬取內容的用途等問題。
• 這僅僅是本人目前對爬蟲的一個很淺層面的理解，望各位輕噴。

2. 目的

• 解析資訊為：閱讀量(views)、粉絲數(fans)、喜歡數(likey)、評論數(comment)、積分(score)、排名(rank)、等級(level)、原創文章數(origin)
• 結果存為output-timestamp.csv，另將結果匯入本地已手動建立的的mysql資料庫中
• 每天定時爬取資訊並將解析結果通過郵件傳送給自己

3. 爬蟲的整體框架

4. 工程目錄結構

- /config
    - config.ini
- /log
- /result
- /src
    - __init__.py
    - spider_main.py
 
    - url_manerger.py
    - html_downloader.py
    - html_parser.py
    - outputer.py
    - log.py
    - mysql.py
- main.py
- cronTask.sh

5. 日誌模組（log.py）

• 目的是為了規範輸出日誌，方便後期檢視處理日誌、除錯程式碼，應該養成良好的、規範的日誌習慣

• 下面是日誌模組的程式碼：

# log.py
# conding=utf-8
import datetime
import logging
import logging.handlers

def
 
 setup_custom_logger(name):
    # logger settings
    time_format = "%Y-%m-%d-%H-%M-%S"
    time_now = datetime.datetime.now()
    log_file = "log/log_%s.log" %time_now.strftime(time_format)  # 輸出的日誌的檔案路徑和檔名
    log_file_max_size = 1024 * 1024 * 20 # megabytes
    log_num_backups = 3
    log_format = "%(asctime)s [%(levelname)s]: %(filename)s(%(funcName)s:%(lineno)s) >> %(message)s"
    log_date_format = "%m/%d/%Y %I:%M:%S %p"
    log_filemode = "w"  # w:overwrite   a:append

    # setup logger
    # datefmt=log_date_format
    logging.basicConfig(filename=log_file, format=log_format, filemode=log_filemode, level=logging.DEBUG)
    rotate_file = logging.handlers.RotatingFileHandler(
        log_file, maxBytes=log_file_max_size, backupCount=log_num_backups
    )
    logger = logging.getLogger(name)
    logger.addHandler(rotate_file)

    # print log messages to console
    consoleHandler = logging.StreamHandler()
    logFormatter = logging.Formatter(log_format)
    consoleHandler.setFormatter(logFormatter)
    logger.addHandler(consoleHandler)

    return logger

• 使用日誌模組輸出日誌的示例：

# coding=utf-8
import logging
# 匯入自定義的日誌模組
import log
# 定義日誌名稱，目的是為了在整個工程檔案中能通過名稱找到對應的日誌物件
logger_name = 'spiderCsdn'
# 建立/獲取名稱為logger_name的日誌物件
logger = logging.getLogger(logger_name)

def main():
    # 輸出資訊
    logger.info('This is an information.')
    # 輸出錯誤資訊
    logger.error('This is an error information.')

if __name__ == '__main__':
    main()

輸出結果如下所示，以下內容會儲存在/log/log_2018-04-10-20-41-56.log

2018-04-10 20:41:56,733 [INFO]: test.py(main:12) >> This is an information.
2018-04-10 20:41:56,733 [ERROR]: test.py(main:14) >> This is an error information.

6. 全域性配置模組（config.ini）

• 搭配python自帶的ConfigParser的package，可以按key值取出提前配置好的內容。
• 主要是方便程式碼移植，比如資料庫的登入密碼更改後，直接在config.ini中更改即可，不需要去翻每一個用到資料庫配置的程式碼檔案，避免可能改漏的情況。
• 以下是配置檔案的書寫示例：

# config.ini
# 注意從這裡取出的內容都是字串，即使不加引號
# []內是key值，不區分大小寫
# 每一個key值下可以有多個變數
[logger]
logger_name = spiderCsdn

• 取配置內容示例：

# 匯入ConfigParser模組
import ConfigParser
# 建立一個config解析器物件
config = ConfigParser.ConfigParser()
# 讀取配置檔案
config.read('config/config.ini')
# 按key值和變數名獲取變數內容
# logger_name = 'spiderCsdn'
logger_name = config.get('logger', 'logger_name')
# 使用獲取到的內容
logger = log.setup_custom_logger(logger_name)

謝謝大家~