[Python] [爬蟲] 4.批量政府網站的招投標、中標資訊爬取和推送的自動化爬蟲——配置管理器
阿新 • • 發佈：2018-11-09
目錄
1.Intro
檔名：configManager.py
模組名：配置管理器
引用庫：None
功能：儲存爬蟲相關配置資訊，如資料庫配置、資料表名、網站URL、報頭等。
2.Source
#!/usr/bin/env Python # -*- coding: utf-8 -*- ''' # Author : YSW # Time : 2018/6/6 14:03 # File : configManager.py # Version : 1.0 # Describe: 配置管理器 # Update : ''' url_proxy = { "proxyURL1": "http://www.xicidaili.com/", # 代理 IP 網站 "proxyURL2": "http://www.data5u.com/free/gngn/index.shtml" # 代理 IP 網站 } headers = [ "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0", # IE "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11", # Chrome "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv2.0.1) Gecko/20100101 Firefox/4.0.1", # Firefox "Mozilla/5.0 (Windows NT 6.1; rv2.0.1) Gecko/20100101 Firefox/4.0.1", "Opera/9.80 (Macintoshl Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11", # Opera "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11" ] dataBaseParams = { # mongodb 引數 "userName": "localhost", "port": 27017, "dataBaseName": "Tender_DB", "logBaseName": "Spider_Log" } table_title = { "ynsggzxxt": u"公告標題", "ynsggzxxt_zf": u"公告標題", "ynsggzzw": u"公告標題", "kmsgg": u"工程名稱", "kmsgg_gc": u"工程名稱", "ynszfcgw": u"工程名稱", "ynsggzxxt_gc_zb": u"公告名稱", "ynsggzxxt_zf_zb": u"公告名稱", "ynsggzzw_gc_zb": u"公告標題", "ynsggzzw_zf_zb": u"公告標題", "kmsgg_gc_zb": u"工程名稱", "kmsgg_zf_zb": u"工程名稱", "kmsgg_gc_by": u"工程名稱", "kmsgg_zf_by": u"工程名稱", "ynszfcgw_cg": u"工程名稱", } ######################## #### 招標結果配置資訊 #### ######################## urlData = { "雲南省公共資源交易中心電子服務系統_工程建設": "https://www.ynggzyxx.gov.cn/jyxx/jsgcZbgg", "雲南省公共資源交易中心電子服務系統_政府採購": "https://www.ynggzyxx.gov.cn/jyxx/zfcg/cggg", "雲南省公共資源交易中心網_工程建設": "https://www.ynggzy.com/jyxx/jsgcZbgg", "雲南省公共資源交易中心網_政府採購": "https://www.ynggzy.com/jyxx/zfcg/cggg", "昆明市公共資源交易中心網_政府採購": "https://www.kmggzy.com/Jyweb/JYXTXXList.aspx?Type=%E4%BA%A4%E6%98%93%E4%BF%A1%E6%81%AF&SubType=2", "昆明市公共資源交易中心網_工程建設": "https://www.kmggzy.com/Jyweb/ZBGGList.aspx?Type=%E4%BA%A4%E6%98%93%E4%BF%A1%E6%81%AF&SubType=1&SubType2=1", "雲南省政府採購網": "http://www.yngp.com/bulletin.do?method=moreList&menuSelect=nav2" } ztb_data_name = { "ynsggzxxt": u"雲南省公共資源交易中心電子服務系統_工程建設", "ynsggzxxt_zf": u"雲南省公共資源交易中心電子服務系統_政府採購", "ynsggzzw": u"雲南省公共資源交易中心網", "kmsgg": u"昆明市公共資源交易中心網_政府採購", "kmsgg_gc": u"昆明市公共資源交易中心網_工程建設", "ynszfcgw": u"雲南省政府採購網" } ######################## #### 中標結果配置資訊 #### ######################## urlData_ZB = { "雲南省公共資源交易資訊網_工程建設_中標公告": "https://www.ynggzyxx.gov.cn/jyxx/jsgcZbjggs", "雲南省公共資源交易資訊網_政府採購_中標結果": "https://www.ynggzyxx.gov.cn/jyxx/zfcg/zbjggs?area=000&secondArea=", "雲南省公共資源交易中心_工程建設_中標結果": "https://www.ynggzy.com/jyxx/jsgcZbjggs", "雲南省公共資源交易中心_政府採購_結果公示": "https://www.ynggzy.com/jyxx/zfcg/zbjggs?area=000&secondArea=", "昆明市公共資源交易平臺公共服務系統_工程建設_中標結果公示": "https://www.kmggzy.com/Jyweb/PBJGGSList.aspx?Type=%E4%BA%A4%E6%98%93%E4%BF%A1%E6%81%AF&SubType=1&SubType2=11", "昆明市公共資源交易平臺公共服務系統_政府採購_結果公示": "https://www.kmggzy.com/Jyweb/JYXTXXList.aspx?Type=%E4%BA%A4%E6%98%93%E4%BF%A1%E6%81%AF&SubType=2&SubType2=14", "昆明市公共資源交易平臺公共服務系統_工程建設_補遺通知": "https://www.kmggzy.com/Jyweb/JYXTXXList.aspx?Type=%E4%BA%A4%E6%98%93%E4%BF%A1%E6%81%AF&SubType=1&SubType2=2", "昆明市公共資源交易平臺公共服務系統_政府採購_補遺通知": "https://www.kmggzy.com/Jyweb/JYXTXXList.aspx?Type=%E4%BA%A4%E6%98%93%E4%BF%A1%E6%81%AF&SubType=2&SubType2=13", "雲南省政府採購網_採購結果": "http://www.yngp.com/bulletin.do?method=moreList&menuSelect=nav2" } zb_data_name = { "ynsggzxxt_gc_zb": u"雲南省公共資源交易資訊網_工程建設_中標公告", "ynsggzxxt_zf_zb": u"雲南省公共資源交易資訊網_政府採購_中標結果", "ynsggzzw_gc_zb": u"雲南省公共資源交易中心_工程建設_中標結果", "ynsggzzw_zf_zb": u"雲南省公共資源交易中心_政府採購_結果公示", "kmsgg_gc_zb": u"昆明市公共資源交易平臺公共服務系統_工程建設_中標結果公示", "kmsgg_zf_zb": u"昆明市公共資源交易平臺公共服務系統_政府採購_結果公示", "kmsgg_gc_by": u"昆明市公共資源交易平臺公共服務系統_工程建設_補遺通知", "kmsgg_zf_by": u"昆明市公共資源交易平臺公共服務系統_政府採購_補遺通知", "ynszfcgw_cg": u"雲南省政府採購網_採購結果" }