免費爬蟲程式:后羿採集器如何採集天貓店鋪商品資料
本文主要介紹如何使用后羿採集器的 ofollow,noindex">智慧模式 ,免費採集天貓店鋪商品的標題、銷售量、累計評價、價格及圖片等資訊。
採集工具簡介:
后羿採集器是一款基於人工智慧技術的網頁採集器,只需要輸入網址就能夠自動識別網頁資料,無需配置即可完成資料採集,是業內首家支援三種作業系統(包括Windows、Mac和Linux)的 網路爬蟲軟體 。
該軟體是一款真正免費的資料採集軟體,對採集結果匯出沒有任何限制,沒有程式設計基礎的小白使用者也可輕鬆實現資料採集要求。
官方網址:http://www.houyicaiji.com/
採集物件簡介:
天貓原名淘寶商城,是一個綜合性購物網站。其整合數千家品牌商、生產商,為商家和消費者之間提供一站式解決方案。提供100%品質保證的商品,7天無理由退貨的售後服務,以及購物積分返現等優質服務。
採集欄位:
商品標題、商品連結、價格、月銷量、累計評價、主圖、圖片1、圖片2、圖片3、圖片4
功能點目錄 :
採集結果預覽:
釋出到Excel表格:

下載圖片到本地:

下面我們來詳細介紹一下如何免費採集天貓店鋪商品的資料,我們以天貓大賣家韓都衣舍為例,具體步驟如下:
步驟一:下載安裝后羿採集器,並註冊登入
1、 點此 開啟后羿採集器官網,下載並安裝爬蟲軟體工具—后羿採集器軟體
2、點選註冊登入,註冊新賬號,登入后羿採集器

【溫馨提示】 您可以直接使用此款爬蟲軟體,不需要進行註冊,但是匿名賬戶下的任務在切換到註冊使用者時會丟失,因此建議您註冊後使用。
后羿採集器為神箭手雲旗下產品,如果您是神箭手使用者,可直接登入。
步驟二:新建採集任務
1、複製 天貓韓都衣舍 的網頁(需要搜尋結果頁的網址,而不是首頁的網址)
點此 瞭解關於如何正確地輸入網址。

2、新建智慧模式採集任務
您可以在軟體上直接新建採集任務,也可以通過匯入規則來建立任務。
點此 瞭解如何匯入和匯出採集規則。

步驟三:配置採集規則
1、設定預登入
天貓上的店鋪一定要登入後才能檢視店鋪的商品資訊,因此我們需要先進行登入,然後才能進行採集。
這裡我們要使用到“預登入”功能,點選“預登入”按鈕即可開啟登入視窗,如下圖所示。后羿採集器不會儲存和上傳您的賬戶資訊,您可以放心使用此功能。
點此 深入瞭解預登入功能的使用用法。


點選登入完成跳轉到採集頁時,會出現以下圖片,按照提示拉動滑塊就好。

2、設定提取資料欄位
在智慧模式下,我們輸入網址後軟體即可自動識別出頁面上的資料並生成採集結果,每一類資料對應一個採集欄位,我們可以右擊欄位進行相關設定,包括修改欄位名稱、增減欄位、處理資料等。
點此 瞭解如何對採集欄位進行配置。

在列表頁上,我們需要採集韓都衣舍的商品標題、商品連結及價格等內容,欄位設定效果如下:

3、使用深入採集功能提取詳情頁資料
在列表頁上只展示出了韓都衣舍商品的部分資訊,如果需要商品的詳細圖片、銷量、累計評價的話,我們需要右擊商品連結使用“深入採集”功能,跳轉到詳情頁進行採集。

由於天貓設定了反爬,所以在跳轉到詳情頁的時候那個滑塊再次出現了,我們繼續按照提示操作。

在詳情頁面我們可以看到商品的月銷量、累計評價及詳細圖片等,我們點選“新增欄位”按鈕,然後在頁面中新增欄位,設定效果如下:

步驟四:設定並啟動採集任務
1、設定採集任務
完成了採集資料新增,我們可以開始啟動採集任務了。在啟動之前我們需要對採集任務進行一些設定,從而提高採集的穩定性和成功率。
點選“設定”按鈕,在彈出的執行設定頁面中我們可以進行執行設定和防遮蔽設定,這裡我們勾選“跳過繼續採集”,設定“3”秒請求等待時間,勾選“不載入網頁圖片”,防遮蔽設定就按照系統預設設定,然後點選儲存。
點此 深入瞭解如何對採集任務進行配置。


2、啟動採集任務
點選“儲存並啟動”按鈕,可在彈出的頁面中進行一些高階設定,包括定時啟動、自動入庫和下載圖片,本次示例中未使用到定時採集及自動入庫功能,勾選下載圖片到本地的功能後,點選“啟動”執行爬蟲工具。
點此 深入瞭解什麼是定時採集。
點此 深入瞭解什麼是自動入庫。
點此 深入瞭解如何下載圖片。
【溫馨提示】 免費版本可以使用非週期性定時採集功能,下載圖片功能是免費的。個人專業版及以上版本可以使用高階定時功能和自動入庫功能。

3、執行任務提取資料
系統開始自動採集資料,等待一會兒,便可看到採集到的韓都衣舍店鋪商品的資料。

步驟五:匯出並檢視資料
資料採集完成後,我們可以檢視和匯出資料,后羿採集器支援多種匯出方式(手動匯出到本地、手動匯出到資料庫、自動釋出到資料庫、自動釋出到網站)和匯出檔案的格式(EXCEL、CSV、HTML和TXT),我們選擇自己需要方式和檔案型別,點選“確認匯出”。
點此 深入瞭解如何檢視和清空採集資料。
點此 深入瞭解如何匯出採集結果。
【溫馨提示】: 所有手動匯出功能都是免費的。個人專業版及以上版本可以使用釋出到網站功能。
