作者

高階農民工

已獲原作者授權，如需轉載，請聯絡原作者。

摘要：我們平常在瀏覽網頁中會遇到一些表格型的資料資訊，除了表格本身體現的內容以外，可能還想透過表格背後再挖掘些有意思或者有價值的資訊。這時，可用python爬蟲來實現。本文采用pandas庫中的read_html方法來快速準確地抓取網頁中的表格資料。

由於本文中含有一些超連結，微信中無法直接開啟，所以建議複製連結到瀏覽器開啟：

https://www.makcyun.top/web_scraping_withpython2.html

本文知識點：

• Table型表格抓取

• DataFrame.read_html函式使用

• MySQL資料庫儲存

• Navicat資料庫的使用

1. table型表格

我們在網頁上會經常看到這樣一些表格，比如：  QS2018世界大學排名：

財富世界500強企業排名：

IMDB世界電影票房排行榜：

中國A股上市公司資訊： 

它們除了都是表格以外，還一個共同點就是當點選右鍵-定位時，可以看到它們都是table型別的表格。

從中可以看到table型別的表格網頁結構大致如下：

 1<table class="..." id="...">
 2    <thead>
 3    <tr>
 4    <th>...</th>
 5    </tr>
 6    </thead>
 7    <tbody>
 8        <tr>
 9            <td>...</td>
10        </tr>
11        <tr>...</tr>
12        <tr>...</tr>
13        <tr>...</tr>
14        <tr>...</tr>
15        ...
16        <tr>...</tr>
17        <tr>...</tr>
18        <tr>...</tr>
19        <tr>...</tr>        
20    </tbody>
21</table>

先來簡單解釋一下上文出現的幾種標籤含義：

1<table>    : 定義表格
2<thead>    : 定義表格的頁首
3<tbody>    : 定義表格的主體
4<tr>    : 定義表格的行
5<th>    : 定義表格的表頭
6<td>    : 定義表格單元

這樣的表格資料，就可以利用pandas模組裡的read_html函式方便快捷地抓取下來。下面我們就來操作一下。

2. 快速抓取

下面以中國上市公司資訊這個網頁中的表格為例，感受一下read_html函式的強大之處。

1import pandas as pd
2import csv
3
4for i in range(1,178):  # 爬取全部177頁資料
5    url = 'http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=%s' % (str(i))
6    tb = pd.read_html(url)[3] #經觀察發現所需表格是網頁中第4個表格，故為[3]
7    tb.to_csv(r'1.csv', mode='a', encoding='utf_8_sig', header=1, index=0)
8    print('第'+str(i)+'頁抓取完成')

只需不到十行程式碼，1分鐘左右就可以將全部178頁共3535家A股上市公司的資訊乾淨整齊地抓取下來。比採用正則表示式、xpath這類常規方法要省心省力地多。如果採取人工一頁頁地複製貼上到excel中，就得操作到猴年馬月去了。    上述程式碼除了能爬上市公司表格以外，其他幾個網頁的表格都可以爬，只需做簡單的修改即可。因此，可作為一個簡單通用的程式碼模板。但是，為了讓程式碼更健壯更通用一些，接下來，以爬取177頁的A股上市公司資訊為目標，講解一下詳細的程式碼實現步驟。

3. 詳細程式碼實現

3.1. read_html函式

先來了解一下 read_html 函式的api:

 1pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None, skiprows=None, attrs=None, parse_dates=False, tupleize_cols=None, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True)
 2
 3常用的引數：
 4io:可以是url、html文字、本地檔案等；
 5flavor：解析器；
 6header：標題行；
 7skiprows：跳過的行；
 8attrs：屬性，比如 attrs = {'id': 'table'}；
 9parse_dates：解析日期
10
11注意：返回的結果是**DataFrame**組成的**list**。

參考：

1 http://pandas.pydata.org/pandas-docs/stable/io.html#io-read-html 2 http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_html.html

3.2. 分析網頁url

首先，觀察一下中商情報網第1頁和第2頁的網址：

1http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=1#QueryCondition
2http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=2#QueryCondition

可以發現，只有 pageNum 的值隨著翻頁而變化，所以基本可以斷定pageNum=1代表第1頁，pageNum=10代表第10頁，以此類推。這樣比較容易用for迴圈構造爬取的網址。  試著把 #QueryCondition 刪除，看網頁是否同樣能夠開啟，經嘗試發現網頁依然能正常開啟，因此在構造url時，可以使用這樣的格式：    http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=i  再注意一下其他引數：   a ：表示A股，把a替換為 h ，表示 港股 ；把a替換為 xsb ，則表示 新三板 。那麼，在網址分頁for迴圈外部再加一個for迴圈，就可以爬取這三個股市的股票了。

3.3. 定義函式

將整個爬取分為網頁提取、內容解析、資料儲存等步驟，依次建立相應的函式。

 1# 網頁提取函式
 2def get_one_page(i):
 3    try:
 4        headers = {
 5            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
 6        }
 7        paras = {
 8        'reportTime': '2017-12-31',   
 9        #可以改報告日期，比如2018-6-30獲得的就是該季度的資訊
10        'pageNum': i   #頁碼
11        }
12        url = 'http://s.askci.com/stock/a/?' + urlencode(paras)
13        response = requests.get(url,headers = headers)
14        if response.status_code == 200:
15            return response.text
16        return None
17    except RequestException:
18        print('爬取失敗')
19
20# beatutiful soup解析然後提取表格
21def parse_one_page(html):
22    soup = BeautifulSoup(html,'lxml')
23    content = soup.select('#myTable04')[0] #[0]將返回的list改為bs4型別
24    tbl = pd.read_html(content.prettify(),header = 0)[0]
25    # prettify()優化程式碼,[0]從pd.read_html返回的list中提取出DataFrame
26
27    tbl.rename(columns = {'序號':'serial_number', '股票程式碼':'stock_code', '股票簡稱':'stock_abbre', '公司名稱':'company_name', '省份':'province', '城市':'city', '主營業務收入(201712)':'main_bussiness_income', '淨利潤(201712)':'net_profit', '員工人數':'employees', '上市日期':'listing_date', '招股書':'zhaogushu', '公司財報':'financial_report', '行業分類':'industry_classification', '產品型別':'industry_type', '主營業務':'main_business'},inplace = True)
28
29    print(tbl)
30    # return tbl
31    # rename將表格15列的中文名改為英文名，便於儲存到mysql及後期進行資料分析
32    # tbl = pd.DataFrame(tbl,dtype = 'object') #dtype可統一修改列格式為文字
33
34# 主函式
35def main(page):
36    for i in range(1,page):   # page表示提取頁數
37        html = get_one_page(i)
38        parse_one_page(html)
39
40# 單程序
41if __name__ == '__main__':    
42    main(178)   #共提取n頁

上面兩個函式相比於快速抓取的方法程式碼要多一些，如果需要抓的表格很少或只需要抓一次，那麼推薦快速抓取法。如果頁數比較多，這種方法就更保險一些。解析函式用了BeautifulSoup和css選擇器，這種方法定位提取表格所在的 id為#myTable04 的table程式碼段，更為準確。

3.4. 儲存到MySQL

接下來，我們可以將結果儲存到本地csv檔案，也可以儲存到MySQL資料庫中。這裡為了練習一下MySQL，因此選擇儲存到MySQL中。

首先，需要先在資料庫建立存放資料的表格，這裡命名為 listed_company 。程式碼如下：

 1import pymysql
 2
 3def generate_mysql():
 4    conn = pymysql.connect(
 5        host='localhost',   # 本地伺服器
 6        user='root',
 7        password='******',  # 你的資料庫密碼
 8        port=3306,          # 預設埠
 9        charset = 'utf8',
10        db = 'wade')
11    cursor = conn.cursor()
12
13    sql = 'CREATE TABLE IF NOT EXISTS listed_company2 (serial_number INT(30) NOT NULL,stock_code INT(30) ,stock_abbre VARCHAR(30) ,company_name VARCHAR(30) ,province VARCHAR(30) ,city VARCHAR(30) ,main_bussiness_income VARCHAR(30) ,net_profit VARCHAR(30) ,employees INT(30) ,listing_date DATETIME(0) ,zhaogushu VARCHAR(30) ,financial_report VARCHAR(30) , industry_classification VARCHAR(255) ,industry_type VARCHAR(255) ,main_business VARCHAR(255) ,PRIMARY KEY (serial_number))'
14    # listed_company是要在wade資料庫中建立的表，用於存放資料
15
16    cursor.execute(sql)
17    conn.close()
18
19generate_mysql()

上述程式碼定義了generate_mysql()函式，用於在MySQL中wade資料庫下生成一個listed_company的表。表格包含15個列欄位。根據每列欄位的屬性，分別設定為INT整形（長度為30）、VARCHAR字元型(長度為30) 、DATETIME(0) 日期型等。    在Navicat中檢視建立好之後的表格：

接下來就可以往這個表中寫入資料，程式碼如下：

 1import pymysql
 2from sqlalchemy import create_engine
 3
 4def write_to_sql(tbl, db = 'wade'):
 5    engine = create_engine('mysql+pymysql://root:******@localhost:3306/{0}?charset=utf8'.format(db))
 6    # db = 'wade'表示儲存到wade這個資料庫中,root後面的*是密碼
 7    try:
 8        tbl.to_sql('listed_company',con = engine,if_exists='append',index=False)
 9        # 因為要迴圈網頁不斷資料庫寫入內容，所以if_exists選擇append，同時該表要有表頭，parse_one_page（）方法中df.rename已設定
10    except Exception as e:
11        print(e)

以上就完成了單個頁面的表格爬取和儲存工作，接下來只要在main()函式進行for迴圈，就可以完成所有總共178頁表格的爬取和儲存，完整程式碼如下：

 1import requests
 2import pandas as pd
 3from bs4 import BeautifulSoup
 4from lxml import etree
 5import time
 6import pymysql
 7from sqlalchemy import create_engine
 8from urllib.parse import urlencode  # 編碼 URL 字串
 9
10start_time = time.time()  #計算程式執行時間
11
12def get_one_page(i):
13    try:
14        headers = {
15            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
16        }
17        paras = {
18        'reportTime': '2017-12-31',
19        #可以改報告日期，比如2018-6-30獲得的就是該季度的資訊
20        'pageNum': i   #頁碼
21        }
22        url = 'http://s.askci.com/stock/a/?' + urlencode(paras)
23        response = requests.get(url,headers = headers)
24        if response.status_code == 200:
25            return response.text
26        return None
27    except RequestException:
28        print('爬取失敗')
29
30
31def parse_one_page(html):
32    soup = BeautifulSoup(html,'lxml')
33    content = soup.select('#myTable04')[0] #[0]將返回的list改為bs4型別
34    tbl = pd.read_html(content.prettify(),header = 0)[0]
35    # prettify()優化程式碼,[0]從pd.read_html返回的list中提取出DataFrame
36    tbl.rename(columns = {'序號':'serial_number', '股票程式碼':'stock_code', '股票簡稱':'stock_abbre', '公司名稱':'company_name', '省份':'province', '城市':'city', '主營業務收入(201712)':'main_bussiness_income', '淨利潤(201712)':'net_profit', '員工人數':'employees', '上市日期':'listing_date', '招股書':'zhaogushu', '公司財報':'financial_report', '行業分類':'industry_classification', '產品型別':'industry_type', '主營業務':'main_business'},inplace = True)
37
38    # print(tbl)
39    return tbl
40    # rename將中文名改為英文名，便於儲存到mysql及後期進行資料分析
41    # tbl = pd.DataFrame(tbl,dtype = 'object') #dtype可統一修改列格式為文字
42
43def generate_mysql():
44    conn = pymysql.connect(
45        host='localhost',
46        user='root',
47        password='******',
48        port=3306,
49        charset = 'utf8',  
50        db = 'wade')
51    cursor = conn.cursor()
52
53    sql = 'CREATE TABLE IF NOT EXISTS listed_company (serial_number INT(20) NOT NULL,stock_code INT(20) ,stock_abbre VARCHAR(20) ,company_name VARCHAR(20) ,province VARCHAR(20) ,city VARCHAR(20) ,main_bussiness_income VARCHAR(20) ,net_profit VARCHAR(20) ,employees INT(20) ,listing_date DATETIME(0) ,zhaogushu VARCHAR(20) ,financial_report VARCHAR(20) , industry_classification VARCHAR(20) ,industry_type VARCHAR(100) ,main_business VARCHAR(200) ,PRIMARY KEY (serial_number))'
54    # listed_company是要在wade資料庫中建立的表，用於存放資料
55
56    cursor.execute(sql)
57    conn.close()
58
59
60def write_to_sql(tbl, db = 'wade'):
61    engine = create_engine('mysql+pymysql://root:******@localhost:3306/{0}?charset=utf8'.format(db))
62    try:
63        # df = pd.read_csv(df)
64        tbl.to_sql('listed_company2',con = engine,if_exists='append',index=False)
65        # append表示在原有表基礎上增加，但該表要有表頭
66    except Exception as e:
67        print(e)
68
69
70def main(page):
71    generate_mysql()
72    for i in range(1,page):  
73        html = get_one_page(i)
74        tbl = parse_one_page(html)
75        write_to_sql(tbl)
76
77# # 單程序
78if __name__ == '__main__':    
79    main(178)
80
81    endtime = time.time()-start_time
82    print('程式運行了%.2f秒' %endtime)
83
84
85# 多程序
86# from multiprocessing import Pool
87# if __name__ == '__main__':
88#     pool = Pool(4)
89#     pool.map(main, [i for i in range(1,178)])  #共有178頁
90
91#     endtime = time.time()-start_time
92#     print('程式運行了%.2f秒' %(time.time()-start_time))

最終，A股所有3535家企業的資訊已經爬取到mysql中，如下圖：

除了A股，還可以順便再把港股和新三板所有的上市公司也爬了。後期，將會對爬取的資料做一下簡單的資料分析。

最後，需說明不是所有表格都可以用這種方法爬取，比如這個網站中的表格，表面是看起來是表格，但在html中不是前面的table格式，而是list列表格式。這種表格則不適用read_html爬取。得用其他的方法，比如selenium，以後再進行介紹。

本文完。