Python爬蟲實戰：12306搶票開源！

Python 開源 · 發表 2019-01-21 11:13:58

摘要：今天就和大家一起來討論一下python實現12306餘票查詢（pycharm+python3.7），一起來感受一下python爬蟲的簡單實踐我們說先在瀏覽器中開啟開發者工具(F12)，嘗試一次餘票的查詢，通過開發者工具檢視發出請求的包學習Python中有不明白推薦加入交流群號...

今天就和大家一起來討論一下python實現12306餘票查詢（pycharm+python3.7），一起來感受一下python爬蟲的簡單實踐

我們說先在瀏覽器中開啟開發者工具(F12)，嘗試一次餘票的查詢，通過開發者工具檢視發出請求的包

學習Python中有不明白推薦加入交流群

號：960410445
群裡有志同道合的小夥伴，互幫互助，
群裡有不錯的視訊學習教程和PDF！

image

可以看到紅框框中的URL就是我們向12306伺服器發出的請求，那麼具體是什麼呢？我們來看看

https://kyfw.12306.cn/otn/leftTicket/queryZ?leftTicketDTO.train_date=2019-01-21&leftTicketDTO.from_station=CDW&leftTicketDTO.to_station=SZQ&purpose_codes=ADULT

可以看到發出請求的幾個欄位：

leftTicketDTO.train_date：查詢的日期

leftTicketDTO.from_station：查詢的出發地

leftTicketDTO.to_station：查詢的目的地

purpose_codes：不太清楚這個欄位是用來做什麼的，就預設吧

可以從我們遞交的URL請求看出，我們輸入的成都，深圳都變成了對應的編號，比如，成都（CDW）、深圳（SZQ），所以當我們程式進行輸入的時候要進行一下處理，12306的一個地方儲存著這些城市名與編碼對應的文件： https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8971

image

下面我們就編寫一個小程式，將這些城市名與編號提取出來：

import re,requests

url = "https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8971"
response = requests.get(url,verify=False)
#將車站的名字和編碼進行提取
chezhan = re.findall(r'([\u4e00-\u9fa5]+)\|([A-Z]+)', response.text)
chezhan_code = dict(chezhan)
#進行交換
chezhan_names = dict(zip(chezhan_code.values(),chezhan_code.keys()))
#打印出得到的車站字典
print(chezhan_names)

得到的列印結果如下（只擷取部分顯示）：

{'VAP': '北京北', 'BOP': '北京東', 'BJP': '北京', 'VNP': '北京南', 'BXP': '北京西', 'IZQ': '廣州南', 'CUW': '重慶北', 'CQW': '重慶', 'CRW': '重慶南', 'CXW': '重慶西', 'GGQ': '廣州東', 'SHH': '上海', 'SNH': '上海南', 'AOH': '上海虹橋', 'SXH': '上海西', 'TBP': '天津北', 'TJP': '天津', 'TIP': '天津南', 'TXP': '天津西', 'XJA': '香港西九龍', 'CCT': '長春', 'CET': '長春南', 'CRT': '長春西', 'ICW': '成都東', 'CNW': '成都南', 'CDW': '成都', 'CSQ': '長沙', 'CWQ': '長沙南',}

接下來我們就動手開始程式的主要程式碼編寫：

def main():
date= input("請輸入時間(如2019-01-22)：\n")
from_station = chezhan_code[input("請輸入起始站點：\n")]
to_station= chezhan_code[input("請輸入目的站點：\n")]
url= "https://kyfw.12306.cn/otn/leftTicket/queryZ?"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400"
}
url=url+"leftTicketDTO.train_date="+date+"&leftTicketDTO.from_station="+from_station+"&leftTicketDTO.to_station="+to_station+"&purpose_codes=ADULT"
#print(url) 已經檢查過生成的URL是正確的
#request請求獲取主頁
r = requests.get(url,headers=headers)
r.raise_for_status()#如果傳送了一個錯誤的請求，會丟擲異常
r.encoding = r.apparent_encoding
showTicket(r.text)

使用者輸入時間、起始站點、目的站點，然後通過get來請求，然後我們對返回的網頁資訊進行解析。我們現將上面程式碼的r.text進行列印，看看我們請求之後，返回了什麼樣的資訊，然後決定我們應該如何解析

image

這樣看著不方便，我們貼上到記事本中，進行詳細的分析：

image

可以與12306顯示的資訊進行對比，K829是車次，CDW與BJQ是出發地和目的地，10:10是出發時間，06:13是到達時間，44:21是歷時時間，20190123為查詢的日期，剩下的就是一系列票的各種資訊。

下面就是對這些返回的資訊進行解析，其實這也是python爬蟲的關鍵，就是解析！！！

我們先把資訊轉化為json格式，可以看到都是用“|”隔開的，那麼我們就用split函式分割出來，下面是主要功能程式碼：

def showTicket(html):
html = json.loads(html)
table = PrettyTable(["車次","出發車站","到達車站","出發時間","到達時間"," 歷時 ","商務座"," 一等座","二等座","高階軟臥","軟臥","動臥","硬臥","軟座","硬座","無座","其他","備註"])
for i in html['data']['result']:
name = [
"station_train_code",
"from_station_name",
"to_station_name",
"start_time",
"arrive_time",
"lishi",
"swz_num",
"zy_num",
"ze_num",
"dw_num",
"gr_num",
"rw_num",
"yw_num",
"rz_num",
"yz_num",
"wz_num",
"qt_num",
"note_num"
]

data = {
"station_train_code": '',
"from_station_name": '',
"to_station_name": '',
"start_time": '',
"arrive_time": '',
"lishi": '',
"swz_num": '',
"zy_num": '',
"ze_num": '',
"dw_num": '',
"gr_num": '',
"rw_num": '',
"yw_num": '',
"rz_num": '',
"yz_num": '',
"wz_num": '',
"qt_num": '',
"note_num": ''
}
#將各項資訊提取並賦值
item = i.split('|')#使用“|”進行分割
data["station_train_code"]= item[3]#獲取車次資訊，在3號位置
data["from_station_name"]= item[6]#始發站資訊在6號位置
data["to_station_name"]= item[7]#終點站資訊在7號位置
data["start_time"]= item[8]#出發時間在8號位置
data["arrive_time"]= item[9]#抵達時間在9號位置
data["lishi"]= item[10]#經歷時間在10號位置
data["swz_num"]= item[32] or item[25]#特別注意，商務座在32或25位置
data["zy_num"]= item[31]#一等座資訊在31號位置
data["ze_num"]= item[30]#二等座資訊在30號位置
data["gr_num"]= item[21]#高階軟臥資訊在21號位置
data["rw_num"]= item[23]#軟臥資訊在23號位置
data["dw_num"]= item[27]#動臥資訊在27號位置
data["yw_num"]= item[28]#硬臥資訊在28號位置
data["rz_num"]= item[24]#軟座資訊在24號位置
data["yz_num"]= item[29]#硬座資訊在29號位置
data["wz_num"]= item[26]#無座資訊在26號位置
data["qt_num"]= item[22]#其他資訊在22號位置
data["note_num"]= item[1]#備註資訊在1號位置

color = Colored()
data["note_num"] = color.white(item[1])
#如果沒有資訊，那麼就用“-”代替
for pos in name:
if data[pos] == "":
data[pos] = "-"

tickets = []
cont = []
cont.append(data)
for x in cont:
tmp = []
for y in name:
if y == "from_station_name":
s = color.green(chezhan_names[data["from_station_name"]])
tmp.append(s)
elif y == "to_station_name":
s = color.red(chezhan_names[data["to_station_name"]])
tmp.append(s)
elif y == "start_time":
s = color.green(data["start_time"])
tmp.append(s)
elif y == "arrive_time":
s = color.red(data["arrive_time"])
tmp.append(s)
elif y == "station_train_code":
s = color.yellow(data["station_train_code"])
tmp.append(s)
else:
tmp.append(data[y])
tickets.append(tmp)
for ticket in tickets:
table.add_row(ticket)
print(table)

那麼我們程式就成功啦！！！

image

但是在編譯器裡面Prettytable的格子沒有對齊，不要擔心，我們到終端執行一下指令碼，就可以看到很好看的輸出啦：

image

完成！！！下面是完整程式碼

main.py

# -*- coding: utf-8 -*-
import re,requests,datetime,time,json
from prettytable import PrettyTable
from colorama import init,Fore
from stationinfo import chezhan_code,chezhan_names

init(autoreset=False)

class Colored(object):
def yeah(self,s):
return Fore.LIGHTCYAN_EX + s + Fore.RESET
def green(self,s):
return Fore.LIGHTGREEN_EX + s + Fore.RESET
def yellow(self,s):
return Fore.LIGHTYELLOW_EX + s + Fore.RESET
def white(self,s):
return Fore.LIGHTWHITE_EX + s + Fore.RESET
def blue(self,s):
return Fore.LIGHTBLUE_EX + s + Fore.RESET

def showTicket(html):
html = json.loads(html)
table = PrettyTable(["車次","出發車站","到達車站","出發時間","到達時間"," 歷時 ","商務座"," 一等座","二等座","高階軟臥","軟臥","動臥","硬臥","軟座","硬座","無座","其他","備註"])
for i in html['data']['result']:
name = [
"station_train_code",
"from_station_name",
"to_station_name",
"start_time",
"arrive_time",
"lishi",
"swz_num",
"zy_num",
"ze_num",
"dw_num",
"gr_num",
"rw_num",
"yw_num",
"rz_num",
"yz_num",
"wz_num",
"qt_num",
"note_num"
]

data = {
"station_train_code": '',
"from_station_name": '',
"to_station_name": '',
"start_time": '',
"arrive_time": '',
"lishi": '',
"swz_num": '',
"zy_num": '',
"ze_num": '',
"dw_num": '',
"gr_num": '',
"rw_num": '',
"yw_num": '',
"rz_num": '',
"yz_num": '',
"wz_num": '',
"qt_num": '',
"note_num": ''
}
#將各項資訊提取並賦值
item = i.split('|')#使用“|”進行分割
data["station_train_code"]= item[3]#獲取車次資訊，在3號位置
data["from_station_name"]= item[6]#始發站資訊在6號位置
data["to_station_name"]= item[7]#終點站資訊在7號位置
data["start_time"]= item[8]#出發時間在8號位置
data["arrive_time"]= item[9]#抵達時間在9號位置
data["lishi"]= item[10]#經歷時間在10號位置
data["swz_num"]= item[32] or item[25]#特別注意，商務座在32或25位置
data["zy_num"]= item[31]#一等座資訊在31號位置
data["ze_num"]= item[30]#二等座資訊在30號位置
data["gr_num"]= item[21]#高階軟臥資訊在21號位置
data["rw_num"]= item[23]#軟臥資訊在23號位置
data["dw_num"]= item[27]#動臥資訊在27號位置
data["yw_num"]= item[28]#硬臥資訊在28號位置
data["rz_num"]= item[24]#軟座資訊在24號位置
data["yz_num"]= item[29]#硬座資訊在29號位置
data["wz_num"]= item[26]#無座資訊在26號位置
data["qt_num"]= item[22]#其他資訊在22號位置
data["note_num"]= item[1]#備註資訊在1號位置

color = Colored()
data["note_num"] = color.white(item[1])
#如果沒有資訊，那麼就用“-”代替
for pos in name:
if data[pos] == "":
data[pos] = "-"

tickets = []
cont = []
cont.append(data)
for x in cont:
tmp = []
for y in name:
if y == "from_station_name":
s = color.green(chezhan_names[data["from_station_name"]])
tmp.append(s)
elif y == "to_station_name":
s = color.yeah(chezhan_names[data["to_station_name"]])
tmp.append(s)
elif y == "start_time":
s = color.green(data["start_time"])
tmp.append(s)
elif y == "arrive_time":
s = color.yeah(data["arrive_time"])
tmp.append(s)
elif y == "station_train_code":
s = color.yellow(data["station_train_code"])
tmp.append(s)
else:
tmp.append(data[y])
tickets.append(tmp)
for ticket in tickets:
table.add_row(ticket)
print(table)

def main():
date= input("請輸入時間：\n")
from_station = chezhan_code[input("請輸入起始站點：\n")]
to_station= chezhan_code[input("請輸入目的站點：\n")]
url= "https://kyfw.12306.cn/otn/leftTicket/queryZ?"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400"
}
url=url+"leftTicketDTO.train_date="+date+"&leftTicketDTO.from_station="+from_station+"&leftTicketDTO.to_station="+to_station+"&purpose_codes=ADULT"
#print(url) 已經檢查過生成的URL是正確的
#request請求獲取主頁
r = requests.get(url,headers=headers)
r.raise_for_status()#如果傳送了一個錯誤的請求，會丟擲異常
r.encoding = r.apparent_encoding
showTicket(r.text)
#print(r.text)

main()

stationinfo.py

import re,requests

url = "https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8971"
response = requests.get(url,verify=False)
#將車站的名字和編碼進行提取
chezhan = re.findall(r'([\u4e00-\u9fa5]+)\|([A-Z]+)', response.text)
chezhan_code = dict(chezhan)

chezhan_names = dict(zip(chezhan_code.values(),chezhan_code.keys()))
#print(chezhan_names)

作者：牛i蛋

連結： https://www.jianshu.com/p/f5b076aecee8

來源：簡書

簡書著作權歸作者所有，任何形式的轉載都請聯絡作者獲得授權並註明出處。

Python爬蟲實戰：12306搶票開源！

學習Python中有不明白推薦加入交流群

您可能也會喜歡…