這是簡易資料分析系列的第 11 篇文章。

今天我們講講如何抓取網頁表格裡的資料。首先我們分析一下，網頁裡的經典表格是怎麼構成的。

• First Name 所在的行比較特殊，是一個表格的表頭，表示資訊分類
• 2-5 行是表格的主體，展示分類內容

經典表格就這些知識點，沒了。下面我們寫個簡單的表格 Web Scraper 爬蟲。

1.製作 Sitemap

我們今天的練手網站是

http://www.huochepiao.com/search/chaxun/result.asp?txtChuFa=%C9%CF%BA%A3&txtDaoDa=%B1%B1%BE%A9

爬蟲的內容是抓取上海到北京的所有列車時刻表。

我們先建立一個包含整個表格的 container，Type 型別選為 Table，表示我們要抓取表格。

具體的引數如上圖所示，因為比較簡單，就不多說了。

在這個面板下向下翻，會發現多了一個不一樣的面板。觀察一下你就會發現，這些資料其實就是表格資料型別的分類，在這個案例裡，他把車次、出發站、開車時間等分類都列了出來。

在 Table columns 這個分類裡，每一行的內容旁邊的選擇按鈕預設都是打勾的，也就是說預設都會抓取這些列的內容。如果你不想抓取某類內容，去掉對應的勾選就可以了。

在你點選 Save selector 的按鈕時，會發現 Result key 的一些選項報錯，說什麼 invalid format

格式無效：

解決這個報錯很簡單，一般來說是 Result key 名字的長度不夠，你給加個空格加個標點符號就行。如果還報錯，就試試換成英文名字：

解決報錯儲存成功後，我們就可以按照 Web Scraper 的爬取套路抓取資料了。

2.為什麼我不建議你用 Web Scraper 的 Table Selector？

如果你按照剛剛的教程做下里，就會感覺很順利，但是檢視資料時就會傻眼了。

剛開始抓取時，我們先用 Data preview 預覽一下資料，會發現資料很完美：

抓取資料後，在瀏覽器的預覽面板預覽，會發現車次這一列資料為 null，意味著沒有抓取到相關內容：

我們下載抓取的 CSV 檔案後，在預覽器裡開啟，會發現車次

的資料出現了，但出發站的資料又為 null 了！

這不是坑爹呢！

關於這個問題我調查了半天，應該是 Web Scraper 對中文關鍵字索引的支援不太友好，所以會丟擲一些詭異的 bug，因此我並不建議大家用它的 Table 功能。

如果真的想抓取表格資料，我們可以用之前的方案，先建立一個型別為 Element 的 container，然後在 container 裡再手動建立子選擇器，這樣就可以規避這個問題。

上面只是一個原因，還有一個原因是，在現代網站，很少有人用 HTML 原始表格了。

HTML 提供了表格的基礎標籤，比如說 <table>、 <thead>、 <tbody> 等標籤，這些標籤上提供了預設的樣式。好處是在網際網路剛剛發展起來時，可以提供開箱即用的表格；缺點是樣式太單一，不太好定製，後來很多網站用其它標籤模擬表格，就像 PPT裡用各種大小方塊組合出一個表格一樣，方便定製：

出於這個原因，當你在用 Table Selector 匹配一個表格時，可能會死活匹配不上，因為從 Web Scraper 的角度考慮，你看到的那個表格就是個高仿，根本不是原裝正品，自然是不認的。

3.總結

我們並不建議直接使用 Web Scraper 的 Table Selector，因為對中文支援不太友好，也不太好匹配現代網頁。如果有抓取表格的需求，可以用之前的建立父子選擇器的方法來做。

4.推薦閱讀

簡易資料分析 10 | Web Scraper 翻頁——抓取「滾動載入」型別網頁

相關推薦