Python-定時爬取指定城市天氣(一)-傳送給關心的微信好友
Python-定時爬取指定城市天氣(一)-傳送給關心的微信好友
閱讀目錄
一、背景
上班的日子總是3點一線，家裡，公司和上班的路徑，對於一個特別懶得我來說，經常遇到上班路上下雨了，而我卻沒帶傘，多麼痛的領悟。最近對python有一種狂熱的學習熱情，寫了4年多的C++程式碼，對於python我不能說簡單，但是他做東西確實太快了，現有的第三方資源真的炒雞多，用的我也是不亦樂乎。除了上班忘記帶傘，每天重複性的工作還有很多，比如上下班打卡、每個禮拜的週報，還有如果有關心的女神，也可以做定時傳送心裡話，或者定時提醒等各種服務。有時候想如果有一個人能按時提醒我就好了，這種想法也就停留了那麼幾分鐘就被自己pass掉了，因為別人也可能忘記啊。。。那麼這件事是不是可以交給程式來做呢！畢竟程式可是會老老實實的做重複性的工作，而且他們樂此不疲。
上述問題的場景大多都是需要程式在指定時間、或者指定場合提醒我們該幹什麼了，本篇文章就定時天氣提醒服務來做開篇，講述使用Python怎麼完成這樣一個任務，既然這樣，那我們就開始構思我們的程式吧
二、構思
看過背景中的需求描述，要實現這個功能，我們需要解決以下這麼幾個問題：
1、爬取天氣資訊，那麼接下來就產生第二個問題了
2、動態獲取指定城市天氣
3、傳送天氣資訊給指定微信好友
4、定時觸發爬取動作
5、怎麼關聯微信賬號
下面我們將一步一步解決上述幾個問題，並實現我們的需求
三、爬取天氣
解決問題1：
對於使用過爬蟲的同學來說，爬取天氣資訊並不難，之前也瞭解過一些爬取web資訊的程式碼，簡單的爬蟲無非就是那麼幾步
1、確定爬取的url，使用瀏覽器開啟
2、F12檢視網頁佈局資訊
3、使用xpath或者bs4進行節點定位
4、拿到頁面資訊
5、自己拼接爬取到的資訊
6、寫檔案、寫資料庫、傳送網路等等
這裡貼下我之前寫的幾個簡單爬蟲：
3、python爬蟲Scrapy(一)-我爬了boss資料，這個應該還有個下篇，後面待續
下面是爬取城市天氣的python方法，需要注意一點的是getWeath介面的引數city_code，這是一個全國城市編碼，每個城市都是唯一的，這個表格我已經整理成了一個txt文件，後續放原始碼的時候會一併提供。
1 headers = {
2 "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
3 }
4
5 def getWeath(city_code):
6 try:
7 url = f'http://www.weather.com.cn/weather/{city_code}.shtml'
8 resp = requests.get(url, headers = headers)
9 except BaseException as e:
10 print(e)
11 return {}
12
13 resp.encoding = 'utf-8'
14 soup = BeautifulSoup(resp.text, 'html.parser')
15 tagToday = soup.find('p', class_ = "tem") #第一個包含class="tem"的p標籤即為存放今天天氣資料的標籤
16 try:
17 temperatureHigh = tagToday.span.string #有時候這個最高溫度是不顯示的，此時利用第二天的最高溫度代替。
18 except AttributeError:
19 temperatureHigh = tagToday.find_next('p', class_="tem").span.string #獲取第二天的最高溫度代替
20
21 temperatureLow = tagToday.i.string #獲取最低溫度
22 weather = soup.find('p', class_ = "wea").string #獲取天氣
23 wind = soup.find('p', class_ = "win") #獲取風力
24 clothes = soup.find('li', class_ = "li3 hot") #穿衣指數
25
26 return {'溫度':f'{temperatureHigh}/{temperatureLow}'
27 , '天氣':weather
28 , '風力':wind.i.string
29 , '穿衣':clothes.a.span.string + ',' + clothes.a.p.string}
上述方法可以獲取一個城市的天氣資訊，並儲存在一個字典中，我們要傳送給好友，還需要對其進行字串處理，處理程式碼如下：
1 def strDic(dic): 2 str_weather = '' 3 for key in dic: 4 str_weather += key + ':' + dic[key] 5 str_weather += '\n' 6 return str_weather
全國城市編碼如下圖所示，每個城市的編碼都是一個9位的數字組成，獲取天氣資訊時是通過指定該編碼進行查詢。
四、傳送給指定好友
解決問題3：傳送訊息給好友
解決問題5：怎麼關聯微信賬號，使用wechat_sender庫
我們自己爬取到的天氣資訊怎麼和微信能扯上關係呢，這個時候就要提到我之前寫過的一篇文章微信聊天機器人-儲存好友分享訊息，沒有看過的同學可以快速瀏覽一遍，簡單來說就是登陸一個web版本的微信賬號，在我們的電腦上，做這麼一個機器人使用了庫wxpy，要想和這個機器人勾搭上，那我們就需要請出我們今天的重磅嘉賓wechat_sender，wechat_sender是基於wxpy和tornado 實現的一個可以將你的網站，爬蟲，指令碼等其他應用中各種訊息（日誌，報警，執行結果等）傳送到微信的工具包，有了他我們的訊息就可以順利的傳送到我們的餓微信賬戶了。
互動流程
如上圖所示，首先使用wxpy登陸微信機器人，當然這個機器人使用的是我們自己的微信賬號，這裡需要特別注意一點，微信聊天機器人-儲存好友分享訊息這篇文章中講述的機器人進入命令狀態是使用的embed()方法，在這裡我們不能使用該介面了，我們需要換成上述互動流程的很關鍵的一步，使用listen介面進行監聽，這樣我們的web工具才能傳送訊息給機器人，建議仔細閱讀一遍wechat_sender說明文件，內容不多
登陸微信機器人
爬取到天氣資訊以後，使用wechat_sender中的Sender類直接傳送訊息給微信機器人，下屬程式碼中嘗試是用來多種傳送訊息的方式，程式碼中都有詳細註釋，可自行閱讀
1 def sendWeatherMsg(receivers, msg):
2 try:
3 #receivers = [u'拉卡拉', u'證明給他看', u'李靜']
4
5 #receivers = u'李靜,情繞指尖'
6
7 '''
8 #傳送給指定好友 如果好友不存在 則傳送給資料夾傳輸助手
9 Sender(receivers = u'證明給他看').send(msg)
10 Sender(receivers = u'拉卡拉').send(msg)
11 Sender(receivers = u'李靜').send(msg)
12 '''
13
14 ''' '''
15 #傳送給指定接收的使用者
16 #receivers = u'拉卡拉'
17 #接受者必須是監聽物件的子集
18 sender = Sender(receivers = receivers, token = 'weather_report_123456789')
19 sender.send(msg)#如果沒有指定receivers則傳送給檔案傳輸助手
20
21
22 '''
23 receivers = u'李靜,情繞指尖'
24 sender = Sender(receivers = receivers, token = 'weather_report_123456789')
25
26 #有時候好使 有時候不好使
27 sender.send_to('@wss', u'拉卡拉') #訊息傳送失敗 會預設傳送給receivers的第一個使用者 Sender和Listen
28 #sender.send_to(msg, u'證明給他看')
29 '''
30
31 #測試控制命令
32 '''
33 receivers = u'拉卡拉'
34 sender = Sender(receivers = receivers, token = 'weather_report_123456789')
35 sender.send('@wss')#文如果沒有指定receivers則傳送給檔案傳輸助手件傳輸助手
36 '''
37
38 except BaseException as e:
39 print(e)
登陸微信機器人微信聊天機器人-儲存好友分享訊息已經講過，有不懂的同學可以回頭看下，下邊程式碼中第12行非常關鍵，這一行就是用來監聽外部程式傳送訊息的。
1 bot = Bot(cache_path = True)
2
3 receivers = []
4 receivers.append(bot.file_helper)
5 receivers.append(bot.friends().search('拉卡拉')[0])
6 receivers.append(ensure_one(bot.friends().search('李靜', city='西安')))#有可能搜尋出多個結果
7 receivers.append(bot.friends().search('證明給他看')[0])
8 receivers.append(bot.friends().search('媽')[0])
9
10 print(receivers)
11
12 listen(bot, receivers = receivers, token = 'weather_report_123456789') #關鍵一步
五、城市編碼
解決問題2，根據配置的城市名稱動態獲取城市編碼，然後請求資料
由於沒有介面可以直接獲取城市編碼，因此這裡我們自己封裝了一個類來進行管理城市名稱和城市編碼，拉取城市天氣時，只要輸入城市名稱，那麼城市編碼即可通過該類獲取到，具體程式碼如下
1 import os
2
3 class City(object):
4 def __init__(self):
5 self.city = {}
6
7 def load(self, file):
8 if os.path.exists(file):
9 with open(file, 'r', encoding = 'utf-8') as f:
10 cityInfo = f.readline().strip('\n')
11 while cityInfo:
12 datas = cityInfo.split(':')
13 self.city[datas[0]] = datas[1]
14 cityInfo = f.readline().strip('\n')
15
16 def find_code(self, city_name):#根據城市名稱，查詢城市吧編碼
17 if city_name in self.city:
18 return self.city[city_name]
19 return ''
六、定時任務
解決問題4：定時傳送任務
我們的需求是每日定時拉取天氣資訊，併發送給指定好友，python有一個APScheduler庫，支援定時任務，具體使用比較負責，我也沒有仔細研究，這裡我們只是需要使用一個定時任務，其他不做介紹，有興趣的同學可自行研究。
在研究定時任務的過程中，一直沒有找到BackgroundScheduler類add_job時，回撥函式怎麼傳遞引數，因此這裡我封裝了一個類，讓定時任務和任務回撥處於一個域內，這樣引數就可以放在類的成員變數未知，不需要傳遞了，哪位大神如果會次操作，可以評論區指出，非常感謝
1 class MyJob(object):
2 def __sendWeatherMsg(self):
3 for my_job in self.my_jobs:
4 code = city_code.find_code(my_job['city'])
5 wea = getWeath(code)
6 strWea = strDic(wea)
7 title = '{}天氣預報：\n'.format(my_job['city'])
8 sendWeatherMsg(my_job['receivers'], title + strWea)#傳送天氣資訊給檔案助手
9
10 def addMyJobs(self, json_job):
11 self.my_jobs = json_job['items']
12 scheduler = BackgroundScheduler()
13 scheduler.add_job(self.__sendWeatherMsg, trigger = 'cron', hour = json_job['hour']
14 , minute = json_job['minute'], second = '5,10,15,20,25,30,35,40,45,50,55')
15 scheduler.start()
後期出現不同型別任務時，我們就需要在封裝新的類。上述MyJob類有2個介面，一個是任務排程器回撥介面，不需要我們呼叫，另一個是載入任務介面，這個任務引數是一個標準的json串，由任務觸發時間和具體的任務列表組成，任務觸發時間主要是
1 my_jobs = {
2 "id":"my_jobs",
3 "hour":"6, 17",
4 "minute":"30",
5 "items":[{
6 "receivers":"檔案傳輸助手,李靜,拉卡拉",
7 "city":"昌平"
8 },{
9 "receivers":"檔案傳輸助手,李靜,拉卡拉",
10 "city":"海淀"
11 }]
12 }
如上述任務json串來說，我們的任務id為my_jobs，在每天的6.30和17.30，我們需要執行items列表所指出的任務，任務列表是一個列表，列表中儲存的是具體任務，receivers代表任務執行完畢需要傳送的好友，city是爬取的天氣名稱，測試效果如下圖所示
由於任務排程器不是一個阻塞性的程式，如果我們不在主執行緒進行阻塞程式，那麼程式就會直接退出，如果阻塞了主執行緒，那麼任務排程程式也將會被阻塞，因此這裡在新增任務排程後，我們開啟了一個子執行緒，主要就是為了不讓主執行緒退出，這樣做其實不合理，但是我們這裡僅僅是為了掩飾，在下篇文章中這些問題我們在做進一步處理。
1 city_code = city_code.City()
2 city_code.load('city_code.txt')
3
4 if __name__ == "__main__":
5 try:
6 ''' '''
7 my_job = MyJob()
8 my_job.addMyJobs(test_jobs)
9
10 f = lambda x : lambda y : x+y
11 t = Timer.Timer(f, 24 * 60 * 60)#建立執行緒 一天給自己發一條訊息
12 t.setDaemon(True)
13 t.start()
14 t.join() #防止主主執行緒退出
15
16 #SendWeatherMsg(my_msg)
17
18 except ResponseError as e:
19 print(e.err_code, e.err_msg) # 檢視錯誤號和錯誤訊息
喜歡的同學可以自己嘗試完成下這個小程式，或者選擇一個類似的場景進行處理，本篇文章中還有幾個需要優化的地方，由於篇幅問題，我們在下篇中進行講解
1、定時任務做成windows服務，這樣更優雅，隨開機啟動
2、傳送訊息給微信好友換成傳送郵件給指定郵箱
七、資源下載
需要全部程式碼的到csdn直接下載：Python-定時爬取指定城市天氣(一)-傳送給關心的微信好友