2. 程式人生 > >python爬蟲系列（3）：使用Selenium和BeautifulSoup獲取12306一個月內所有車次車票情況

python爬蟲系列（3）：使用Selenium和BeautifulSoup獲取12306一個月內所有車次車票情況

阿新 • • 發佈：2019-02-10

首先針對標題說明一下，本次的獲取資料是指定出發地和目的地之間的車次，不是整個網站所有車次。

在此操作之前，請確保自己的相關的庫都已經安裝完全，這裡可沒有教安裝庫的方法哦~~~~好的，往下走，這次的目標網頁是 https://kyfw.12306.cn/otn/leftTicket/init，查詢12306餘票情況，老套路開啟瀏覽器的開發者模式。因為這次使用的是Selenium控制瀏覽器模擬人為點選的方式操作，所以在這之前我們需要自己使用瀏覽器點選操作一番，看看怎麼使用這個網頁：

經過一番點選測試，發現出發地和目的地都必須要選擇，出發日也是必選項。但是發現，這些輸入框都不是我們自己輸入內容，只能是先點選這個框框後（如下圖），在下面會出現出發地選項框，在這些選項框中選擇一個出發地，這樣才被網站識別為有效輸入，後面的出發日期也是同樣的道理。等這些必要的資訊都已經輸入完畢後點擊右邊那橘黃色的“查詢”按鈕，這是指定日期的所有車次資訊全部都顯示出來。

現在我們學會了怎麼查詢車班次，這時我們來整理思路，怎麼抓取30天所有的車班次呢？小腦袋瓜稍微的轉一下就能想到，只要輸入完出發地和目的地後，再輸入正確的日期，點選查詢後這一天的資訊就出來了，然後再重新輸入下一天的日期，再點選查詢，這樣反覆30次，ok，30天的資料就擺在我們眼前了。

第一步：定位出發地輸入框，在輸入框右擊，可以看到檢查（審查元素），這時候就會自動跳到開發者模式的elements中的相應的位置，然後右擊copy selector，待會兒在程式碼中會用到。右邊的目的輸入框同樣的方法實現。

    def input_FromTo(self):
        fromStation = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#fromStationText")))  #剛剛copy的內容在這裡使用
        fromStation.click()              #點選輸入框選中
        fromStation.clear()              #刪除其中預設的文字
        fromStation.send_keys('北京')    #輸入出發地
        fStation = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#citem_0 > span:nth-child(1)")))  #等待下拉選項框中指定的元素出來
        fStation.click()                 #等指定的元素出來之後，模擬點選選擇
        toStation = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#toStationText")))
        toStation.click()
        toStation.clear()
        toStation.send_keys('上海')
        tStation = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#citem_0 > span:nth-child(1)")))
        tStation.click()

第二步：搞定時間，在時間上我們可以讀取本地的時間，知道今天的時間，然後在出現的日曆框中輸入指定的月和日，定位可以看出CSS選擇器的規律，只要在child後給出相應的月和日的數值就能點選輸入對應的時間。到此可以寫一個設定時間的方法，方法帶有一個入參，入參為從今天的日期起算，往後推算第n天，入參便是這個n：

        css_month = 'body > div.cal-wrap > div:nth-child(1) > div.cal-top > div.month > ul > li:nth-child(%d)' % month
        css_day = 'body > div.cal-wrap > div:nth-child(1) > div.cal-cm > div:nth-child(%d) > div' % day

    def set_date(self, n):
        needDate = datetime.datetime.now() + datetime.timedelta(days = n)   #獲取今天的時間往後偏移n天      
        css_month = 'body > div.cal-wrap > div:nth-child(1) > div.cal-top > div.month > ul > li:nth-child(%d)' % needDate.month
        css_day = 'body > div.cal-wrap > div:nth-child(1) > div.cal-cm > div:nth-child(%d) > div' % needDate.day
        
        #點選選擇出發時間輸入框
        train_date = self.wait.until(EC.presence_of_element_located((By.ID, "train_date")))
        train_date.click()
        
        #點選左邊選擇月份表
        month_list = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'body > div.cal-wrap > div:nth-child(1) > div.cal-top > div.month > input[type="text"]')))
        month_list.click()
        month = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, css_month)))
        month.click()
        
        get_date_list = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, css_day)))
        get_date_list.click()
        self.click_query()
        return needDate

第三步：點選查詢按鈕等待資料的呈現：

    #點選查詢按鈕
    def click_query(self):
        self.query_ticket = self.wait.until(EC.presence_of_element_located((By.ID, "query_ticket")))
        self.query_ticket.click()

第四步：分析資料獲取資料，可以看到，tobody節點中的tr標籤都是展開都是我們需要的單次列車資訊，需要將這裡面的資料解析出來報文，列印，或者做其他的資料分析處理。這裡就可以使用BeautifulSoup解析庫處理，首先可以根據關鍵字tobody中的id屬性立刻定位到列表資訊的位置所在，然後將tobody中的每一個車次行資訊提取出來，送到單獨處理行資訊的方法中。在該方法中就可以將我們期望需要的資訊提取出來。

    #對每一列車次的資訊進行解析
    def get_detail_info(self, node):
        autoShift = {}
        data = []
        nodes = node.contents
        queryLeftTable = nodes[0].div.div.div.a.string   #車班次，為key
        autoShift[queryLeftTable] = list()
        strong = nodes[0].select('strong')
        for i in range(0,4):
            data.append(strong[i].string)

        for i in range(1,len(nodes)):
        #在node.contents時，列表中有很多空格，會導致異常發生，在之前將資料清洗這裡就可以不用異常判斷，這裡大家可以自己試試
            try:   
                if nodes[i].string != '--':
                    key = nodes[i].attrs['id'].split('_')[0]
                    str = self.ztype[nodes[i].attrs['id'].split('_')[0]] + ":" + nodes[i].string
                    data.append(str)
            except:
                pass
        autoShift[queryLeftTable] = data
        print(autoShift)
        
    #在網頁中找到一頁班次資訊，然後遍歷這些班次資訊
    def get_list(self, date):  
        print('\n', date, ':')
        info = list()        
        soup = BeautifulSoup(self.browser.page_source, 'lxml')
        soup = soup.select('#queryLeftTable')   #在整個網頁中找到該id
        queryLeftTable =  soup[0].select('tr[id^="ticket_"]')     #返回列表，列表每個內容為一個節點tag
        for tr in queryLeftTable:
            self.get_detail_info(tr)  #傳入每一列車次的資訊

在這裡我們沒有將資料儲存下來，只是將其打印出來看我們確實將這些資料得到了，本章做個保留，等到後面我們將資料進行可是化的時候，再回頭對這些資料做一些簡單的處理，並將資料以圖表的形式呈現出來，現將所有的程式碼和執行結果貼出來，寫的並不是完美的，大家可以將這些程式碼複製下來進行改動，達到完美：

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from bs4 import BeautifulSoup
import io,sys, time, datetime, re

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') 

class Info12306(object):
    def __init__(self):
        #座位種類
        self.ztype = {"SWZ" : "商務特等座",
                     "ZY" : "一等座", 
                     "ZE" : "二等座", 
                     "GR" : "高階軟臥", 
                     "RW" : "軟臥", 
                     "SRRB" : "動臥",
                     "YW" : "硬臥", 
                     "RZ" : "軟座", 
                     "YZ" : "硬座", 
                     "WZ" : "無座", 
                     "QT" : "其他"}
        self.url = "https://kyfw.12306.cn/otn/leftTicket/init"
        self.info = {}
        self.browser = webdriver.Chrome()        #初始化瀏覽器 
        self.wait = WebDriverWait(self.browser, 5)
        
    def open_html(self):
        self.browser.get(self.url)
        
    def close_html(self):
        self.browser.close()
        
    #點選查詢按鈕
    def click_query(self):
        self.query_ticket = self.wait.until(EC.presence_of_element_located((By.ID, "query_ticket")))
        self.query_ticket.click()
     
    #點選離今天往後第n天的結果
    def set_date(self, n):
        needDate = datetime.datetime.now() + datetime.timedelta(days = n)   #獲取今天的時間往後偏移n天      
        css_month = 'body > div.cal-wrap > div:nth-child(1) > div.cal-top > div.month > ul > li:nth-child(%d)' % needDate.month
        css_day = 'body > div.cal-wrap > div:nth-child(1) > div.cal-cm > div:nth-child(%d) > div' % needDate.day
        
        #點選選擇出發時間輸入框
        train_date = self.wait.until(EC.presence_of_element_located((By.ID, "train_date")))
        train_date.click()
        
        #點選左邊選擇月份表
        month_list = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'body > div.cal-wrap > div:nth-child(1) > div.cal-top > div.month > input[type="text"]')))
        month_list.click()
        month = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, css_month)))
        month.click()
        
        get_date_list = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, css_day)))
        get_date_list.click()
        self.click_query()
        return needDate

    #選擇面板上的日期
    def select_date(self):
        action = ActionChains(self.browser)     #使用瀏覽器動作模擬庫
        move_to_date = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#date_range > ul > li:nth-child(3)")))
        action.move_to_element(move_to_date).perform()
        action.click(move_to_date).perform()
    
    #輸入出發地和目的地，可以手動新增地址
    def input_FromTo(self):
        fromStation = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#fromStationText")))
        fromStation.click()
        fromStation.clear()
        fromStation.send_keys('北京')
        fStation = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#citem_0 > span:nth-child(1)")))
        fStation.click()
        toStation = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#toStationText")))
        toStation.click()
        toStation.clear()
        toStation.send_keys('上海')
        tStation = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#citem_0 > span:nth-child(1)")))
        tStation.click()
        
    def get_detail_info(self, node):
        autoShift = {}
        data = []
        nodes = node.contents
        queryLeftTable = nodes[0].div.div.div.a.string   #車班次，為key
        autoShift[queryLeftTable] = list()
        strong = nodes[0].select('strong')
        for i in range(0,4):
            data.append(strong[i].string)

        for i in range(1,len(nodes)):
            try:
                if nodes[i].string != '--':
                    key = nodes[i].attrs['id'].split('_')[0]
                    str = self.ztype[nodes[i].attrs['id'].split('_')[0]] + ":" + nodes[i].string
                    data.append(str)
            except:
                pass
        autoShift[queryLeftTable] = data
        print(autoShift)
        
    def get_list(self, date):  
        print('\n', date, ':')
        info = list()        
        soup = BeautifulSoup(self.browser.page_source, 'lxml')
        soup = soup.select('#queryLeftTable')
        queryLeftTable =  soup[0].select('tr[id^="ticket_"]')     #返回列表，列表每個內容為一個節點tag
        for tr in queryLeftTable:
            self.get_detail_info(tr)
   
    def run(self):
        self.open_html()
        self.input_FromTo()
        for seq in range(0,1):
            date = self.set_date(seq)
            time.sleep(1)
            self.get_list(date)
        #self.close_html()
        
Get12306 = Info12306()
Get12306.run()

執行結果

小結：使用selenium的好處就是不需要分析後臺傳送的資料，因為後臺傳輸的資料有可能是加密，這樣的資料抓取了也是沒有用的，對於selenium來說這些都是不存的，在頁面可見即可抓，管你加密不加密，這就是selenium，當然這裡的解析庫也可以只用其他的，根據不同的場景選擇不同的解析庫有助於提高抓取效率。

相關推薦

python爬蟲系列（3）：使用Selenium和BeautifulSoup獲取12306一個月內所有車次車票情況

首先針對標題說明一下，本次的獲取資料是指定出發地和目的地之間的車次，不是整個網站所有車次。 在此操作之前，請確保自己的相關的庫都已經安裝完全，這裡可沒有教安裝庫的方法哦~~~~好的，往下走，這次的目標網頁是 https://kyfw.12306.cn/otn/leftTic

Python爬蟲系列（一）：從零開始，安裝環境

tar 公司 pip nal 網頁 解析 目標 http caption 在上一個系列，我們學會使用rabbitmq。本來接著是把公司的celery分享出來，但是定睛一看，celery4.0已經不再支持Windows。公司也逐步放棄了服役多年的celery項目。恰好，公司找

Python爬蟲系列（四）：Beautiful Soup解析HTML之把HTML轉成Python對象

調用 nor 結束 版本 現在 name屬性 data 官方文檔 get 在前幾篇文章，我們學會了如何獲取html文檔內容，就是從url下載網頁。今天開始，我們將討論如何將html轉成python對象，用python代碼對文檔進行分析。 (牛小妹在學校折騰了好幾天，也沒把h

python爬蟲實戰（四）：selenium爬蟲抓取阿里巴巴採購批發商品

一、前言 二、學習資料（感謝分享） 三、開始爬取 1、先分析目標網址，為什麼選擇selenium 在搜尋中輸入女裝，用F12檢視原始碼，看看網頁顯示的內容是不是Ajax。點選Network，選擇下面的XHR，按F5重新整理頁面，下

python爬蟲系列（一）：爬蟲簡介

一 什麼是爬蟲 爬蟲：就是抓取網頁資料的程式。 二、爬蟲怎麼抓取網頁資料： 網頁三大特徵： -1. 網頁都有自己唯一的URL（統一資源定位符）來進行定位 -2. 網頁都使用HTML （超文字標

python爬蟲系列（二）：標準庫的使用（A）

（一）Py2和Py3中的基本庫使用的區分 Urllib庫是python中的一個功能強大的，用於操作URL。python2和python3中用法基本相同，但是。python2中分為urllib和urllib2庫。下面列出常見的變化有： 1.python2.x使

python爬蟲系列（1）：使用python3和正則表示式獲取貓眼電影排行榜資料

簡述 這次打算寫一個爬蟲系列，一邊也想好好總結鞏固學習的知識，一邊做總結筆記，方便以後回憶。這次我們使用Python3和正則表示式來爬取一個簡單html頁面資訊，就從貓眼電影的排行榜單開始吧。如果讀到這篇文章的是位大神，期望您能不吝賜教，指正錯誤，如果您是小白，咋們可以一同

目標定位和檢測系列（3）：交併比（IOU）和非極大值抑制（NMS）的python實現

交併比（Intersection over Union）和非極大值抑制是（Non-Maximum Suppression）是目標檢測任務中非常重要的兩個概念。例如在用訓練好的模型進行測試時，網路會預測出一系列的候選框。這時候我們會用NMS來移除一些多餘的候選框。

Python爬蟲學習（3）

collect nbsp pri div time urlparse links ews 是否 在慕課網學習並創建了一個簡單的爬蟲包，爬取百度百科相關詞條信息 程序中會用到第三方解析包（BeautifulSoup4），Windows環境下安裝命令：pip install B

Python 爬蟲實戰（二）：使用 requests-html

分享 -html 調用 交流 html 技術 python-re find 自己的 Python 爬蟲實戰（一）：使用 requests 和 BeautifulSoup，我們使用了 requests 做網絡請求，拿到網頁數據再用 BeautifulSoup 解析，就在前不久

Python開發環境（3）：使用Eclipse+PyDev插件創建Django項目

ffffff postgresq 項目上線 右鍵 ont pat iat ngs ora OS：Windows 10家庭中文版，Python：3.6，Eclipse：Oxygen.1a Release (4.7.1a)， PyDev：6.3.2，Django：2.0.3

Python爬蟲-速度（3）

Python爬蟲-速度（3） 文章目錄 Python爬蟲-速度（3） 前言 普通爬蟲 多程序提速 多執行緒提速 非同步協程提速 最後 018.11.11 Python爬蟲-速度（1

arcgis jsapi介面入門系列（3）：各種型別的圖層新增

這裡說的tomcat切片，是指arcgis server切片後，把切片圖片檔案用tomcat釋出（其他任意web伺服器釋出都行） //新增tomcat切片圖層 addTomcatTileLayer: function () { //圖層

Python爬蟲開發（五）：反爬蟲措施以及爬蟲編寫注意事項

0×01 介紹 本人對於Python學習建立了一個小小的學習圈子，為各位提供了一個平臺，大家一起來討論學習Python。歡迎各位到來Python學習群：960410445一起討論視訊分享學習。Python是未來的發展方向，正在挑戰我們的分析能力及對世界的認知方式，因此，我們與時俱進，迎接變化，並

Python爬蟲開發（四）：動態載入頁面的解決方案與爬蟲代理

0×00 前言 如果讀者讀過我前面的關於爬蟲的文章，應該大概都清楚我們現在可以對一個靜態的web頁面”為所欲為“了，但是技術的發展總是沒有止境的，僅僅是這樣對靜態頁面處理遠遠不夠，要知道現在很多的web頁面有意無意為了防止靜態爬蟲使用ajax技術動態載入頁面，這就導致了在面對這些網站的時候，我們

Python爬蟲開發（三）：資料儲存以及多執行緒

0×00 介紹 本文我們就兩個方面來討論如何改進我們的爬蟲：資料儲存和多執行緒，當然我承認這是為我們以後要討論的一些東西做鋪墊。 本人對於Python學習建立了一個小小的學習圈子，為各位提供了一個平臺，大家一起來討論學習Python。歡迎各位到來Python學習群：960410445一起討論

Python爬蟲開發（二）：整站爬蟲與Web挖掘

0×00 介紹 在網際網路這個複雜的環境中，搜尋引擎本身的爬蟲，出於個人目的的爬蟲，商業爬蟲肆意橫行，肆意掠奪網上的或者公共或者私人的資源。顯然資料的收集並不是為所欲為，有一些協議或者原則還是需要每一個人注意。本文主要介紹關於爬蟲的一些理論和約定協議，然後相對完整完成一個爬蟲的基本功能。 本

Python爬蟲開發（一）：零基礎入門

0×00 介紹 本人對於Python學習建立了一個小小的學習圈子，為各位提供了一個平臺，大家一起來討論學習Python。歡迎各位到來Python學習群：960410445一起討論視訊分享學習。Python是未來的發展方向，正在挑戰我們的分析能力及對世界的認知方式，因此，我們與時俱進，迎接變化，並

解讀ASP.NET 5 & MVC6系列（3）：專案釋出與部署

本章我們將講解ASP.NET5專案釋出部署相關的內容，示例專案以我們前一章建立的BookStore專案為例。 釋出前的設定 由於新版ASP.NET5支援多版本DNX執行環境的釋出和部署，所以在部署之前，我們需要設定部署的目標DNX（即之前的KRE）。 步驟：右鍵BookStore專案->屬性->A

Python爬蟲系列（四）（簡單）Dota排行榜爬取，並存入Excel表格

在編寫Python程式的時候，有很多庫供我們選擇，如urllib、requests，BeautifulSoup，lxml，正則表示式等等，使得我們在獲取網頁原始碼或者選擇元素的時候