1. 程式人生 > >【簡易采集】美團數據抓取方法 八爪魚

【簡易采集】美團數據抓取方法 八爪魚

方法 IT 情況下 根據 規則 內置 教程 關鍵詞 查看

【簡易采集】美團數據抓取方法

最近學習了 一下 如何爬取數據 然後就接觸了 八爪魚 數據分析 這個軟件

詳細信息訪問這個:http://www.bazhuayu.com/tutorial/hottutorial/shfw/xfdp

對於某些用戶來說,直接自定義規則可能有難度,所以在這種情況下,我們提供了網頁簡易模式,網頁簡易模式下存放了國內一些主流網站爬蟲采集規則,在你需要采集相關網站時可以直接調用,節省了制作規則的時間以及精力。

對於我們采集用戶來說,美團數據抓取下來可以分析每一家商鋪的價格,銷量,位置,人均消費,好評率等各種主要信息,幫助你做出更好的判斷,分析當下主流消費用戶的消費情況。

所以本次介紹八爪魚簡易采集模式下“美團爬蟲規則”的使用教程以及註意要點。

步驟一、下載八爪魚軟件並登陸

1、打開/download,即八爪魚軟件官方下載頁面,點擊圖中的下載按鈕。


技術分享圖片

2、軟件下載好了之後,雙擊安裝,安裝完畢之後打開軟件,輸入八爪魚用戶名密碼,然後點擊登陸


技術分享圖片

步驟二、設置美團數據抓取規則任務

1、進入登陸界面之後就可以看到主頁上的網站簡易采集了,選擇立即使用即可。

技術分享圖片

2、進去之後便可以看到目前網頁簡易模式裏面內置的所有主流網站了,需要采集美團內容的,這裏選擇第四個--美團即可。

技術分享圖片

3、美團爬蟲規則下內置了很多常用的采集規則,大家可以根據自身實際需求選擇相應的規則,這裏僅以“美團-》商家信息-關鍵詞搜索”這條爬蟲規則舉例說明,點擊“立即使用”即可使用。

技術分享圖片

4、美團-商家信息-關鍵詞搜索簡易采集模式任務界面介紹


查看詳情:點開可以看到示例網址

任務名:自定義任務名,默認為美食商家列表信息采集

任務組:給任務劃分一個保存任務的組,如果不設置會有一個默認組

城市頁面地址:輸入你要在美團網上采集的城市url(可放入多個)

搜索關鍵詞:設置你要搜索的關鍵詞,填入即可

示例數據:這個規則采集到的所有字段信息。

技術分享圖片

5、 美團數據抓取規則設置示例

例如要采集南昌市所有燒烤類的商家信息

在設置裏如下圖所示:

任務名:自定義任務名,也可以不設置按照默認的就行

任務組:自定義任務組,也可以不設置按照默認的就行

城市頁面地址:http://nc.meituan.com/

搜索關鍵詞:燒烤

註意事項:URL列表中建議不超過2萬條,大量的URL可以通過八爪魚先抓取美團裏每一個城市的url,少量可直接去瀏覽器裏獲取。

步驟三、保存並運行美團數據抓取規則

1、設置好爬蟲規則之後點擊保存。

技術分享圖片

2、保存之後,點擊會出現開始采集的按鈕。

技術分享圖片

3、 選擇開始采集之後系統將會彈出運行任務的界面,可以選擇啟動本地采集(本地執行采集流程)或者啟動雲采集(由雲服務器執行采集流程),這裏以啟動本地采集為例,我們選擇啟動本地采集按鈕。

技術分享圖片

4、選擇本地采集按鈕之後,系統將會在本地執行這個采集流程來采集數據,下圖為本地采集的效果。(由於數據量較大,我這展示能夠采集到數據後手動停止了)

技術分享圖片

5、采集完畢之後選擇導出數據按鈕即可,這裏以導出excel2003為例,選擇這個選項之後點擊確定。

技術分享圖片

6、然後選擇文件存放在電腦上的路徑,路徑選擇好之後選擇保存。

技術分享圖片

7、這樣美團上南昌市關於燒烤類的商家數據就被完整的采集導出到自己的電腦上來了。

技術分享圖片

爬取數據就是這麽的簡單哦

【簡易采集】美團數據抓取方法 八爪魚