1. 程式人生 > >外賣訂單爬蟲 定時自動抓取三大外賣平臺上商家訂單(美團,餓了麼,百度外賣)

外賣訂單爬蟲 定時自動抓取三大外賣平臺上商家訂單(美團,餓了麼,百度外賣)

這個程式是用來抓取外賣平臺(美團,餓了麼,百度)的商戶訂單開發,並不是一個通用庫,而是為這個 特定場景進行開發的。 

適用場景:餐飲企業擁有多家外賣門店,訂單量非常大,有對訂單進行資料分析的需求。 

主要功能:每天定時啟動,抓取三大外賣平臺的訂單,轉成成excel檔案,發郵件給需要的人

如何使用

修改config目錄下的production.json

{
  "log": {
    "level": "DEBUG"
  },
  "mail": {
    "from": "[email protected]", //郵件傳送人
    "mailTo": "[email protected]
x.com", //郵件接收人 "host":"smtp.xxx.com", "port":25, "secure":false, "user":"[email protected]", //程式使用的郵件 "pass":"程式使用的郵件的密碼" }, "imgCode":{ "key":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxx" // https://www.juhe.cn/docs/api/id/60 識別驗證碼api的key }, "account": [ { "name": "美團xxx店", "username": "帳戶名", "password": "賬戶密碼", "type": "meituan" }, { "name": "餓了麼xxx店", "username": "帳戶名", "password": "賬戶密碼", "type": "eleme" }, { "name": "百度xxx店", "username": "帳戶名", "password": "賬戶密碼", "type": "baidu" } ] }

其中以下配置是程式中使用驗證碼識別的api服務, 美團,百度的商家後臺都需要驗證碼登入 api服務使用的是聚合資料的驗證碼識別服務,你需要先 申請聚合資料的賬號,得到key 填寫到如下配置項中去。

"imgCode":{
    "key":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxx"   // https://www.juhe.cn/docs/api/id/60  識別驗證碼api的key
  },
郵件功能需要配置詳細的smtp服務地址、發件人賬號名、密碼、埠、是否使用ssl
"mail": {
    "from": "[email protected]", //郵件傳送人
    "mailTo": "
[email protected]
", //郵件接收人 "host":"smtp.xxx.com", "port":25, "secure":false, "user":"[email protected]", //程式使用的郵件 "pass":"程式使用的郵件的密碼" },
GitHub地址:https://github.com/mudiyouyou/waimai-crawler



相關推薦

訂單爬蟲 定時自動三大平臺商家訂單

這個程式是用來抓取外賣平臺(美團,餓了麼,百度)的商戶訂單開發,並不是一個通用庫,而是為這個特定場景進行開發的。 適用場景:餐飲企業擁有多家外賣門店,訂單量非常大,有對訂單進行資料分析的需求。 主要功能:每天定時啟動,抓取三大外賣平臺的訂單,轉成成exc

訂單爬蟲 定時自動三大平臺商家訂單

這個程式是用來抓取外賣平臺(美團,餓了麼,百度)的商戶訂單開發,並不是一個通用庫,而是為這個 特定場景進行開發的。  適用場景:餐飲企業擁有多家外賣門店,訂單量非常大,有對訂單進行資料分析的需求。  主要功能:每天定時啟動,抓取三大外賣平臺的訂單,轉成成excel檔案,發郵

Python爬蟲三:鏈家已成交二手房資訊58W資料

環境:Windows7+python3.6+Pycharm2017 目標:抓取鏈家北京地區已成交二手房資訊(無需登入),如下圖,戶型、朝向、成交時間價格等,儲存到csv。最後一共抓取約58W資料,程式執行8h。 --------全部文章: 京東爬蟲 、鏈家爬蟲、美團爬蟲、

仿這些App的雙ListView列表聯動效果

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" android:layout_width="match_parent" android:layout_height="wrap_content

爬蟲自動騰訊視訊評論 -- json的使用和資料解析

  這周和大家分享下騰訊視訊評論抓取爬蟲,實際抓下來的資料裡面除了評論還有其他不少有價值的資訊,有部分使用者資料可以使用的,不過具體就看大家自己怎麼用了。   這個demo的具體原始碼在最後面,下文將對這個demo的實現過程進行說明。   其實我挺期待有人評

爬蟲實戰1--糗事百科段子

爬蟲1.提取某一頁的所有段子 # -*- coding:utf-8 -*- import urllib import urllib2 import re page = 1 url = ‘http://www.qiushibaike.com/hot/page/‘ + str(page) user_agen

python第一個爬蟲的例子數據到mysql實測有數據

入mysql數據庫 nor gecko /usr png 支持 web local webkit python3.5 先安裝庫或者擴展 1 requests第三方擴展庫 pip3 install requests 2 pymysql pip3 install pym

python3 基於zabbix 自動監控圖片

bject exc format code pass url for pytho path 開發環境:操作系統:Ubuntu 16.04 LTS      python版本:python3.6.3 以下是代碼分析: # _*_coding:utf-8_*_ import

利用Fiddler2的Custom Rules自動App的TOKEN並記錄到文件

測試結果 style key ref 啟動 nbsp 分享圖片 modify clip 本文原創作者:鯤之鵬(http://www.site-digger.com)本文原始鏈接:http://www.site-digger.com/html/articles/2017081

Python爬蟲實戰:並儲存雲資源附程式碼

尋找並分析百度雲的轉存api 首先你得有一個百度雲盤的賬號,然後登入,用瀏覽器(這裡用火狐瀏覽器做示範)開啟一個分享連結。F12開啟控制檯進行抓包。手動進行轉存操作:全選檔案->儲存到網盤->選擇路徑->確定。點選【確定】前建議先清空一下抓包記錄,這樣可以精確定位到轉存的api,這就是

Python網路爬蟲實戰:和分析天貓胸罩銷售資料

本文實現一個非常有趣的專案,這個專案是關於胸罩銷售資料分析的。Google曾給出了一幅世界女性胸部尺寸分佈地圖 ,從地圖中可以明顯看出中國大部分地區呈現綠色(表示平均胸部尺寸為A罩杯),少部分地區呈現藍色(表示平均胸部尺寸為B罩杯) 現在李寧老師也來驗證一下這個

Python爬蟲案例:豆瓣程式設計類高評分書籍

對於很多正在學習計算機的朋友來說,選擇合適的學習材料是非常重要的。 本文將通過 Python 來爬取豆瓣程式設計類評分大於 9.0 的書籍。 此案例很適合入門爬蟲的朋友學習,總共也就 3 個函式。 下圖是最終的結果: 下面進入正題: 一、採集源分析: 首先我們

爬蟲-python3.6貓眼電影資訊

思路分解: 1.頁面資訊 url:http://maoyan.com/cinema/24311?poi=164257570   檢視資訊發現價格存在亂碼現象:   重新整理頁面找到亂碼的URL,下載woff格式檔案:方法:複製URL:右鍵單擊轉

android啟動時自動logcat

建立一個指令碼 #!/bin/sh log_path=/cache/boot_logcat.log kernel_log=/cache/boot_kernel.log while true do df | grep cache cache_ch

python爬蟲定時增量爬資料

解決要點: 1.定時更新 2.增量爬取 以上兩個技術關鍵點均可基於scrapy開源爬蟲框架擴充解決 解決 1.定時爬取 在linux下使用crontab來執行scrapy定時爬取的需求。 Crontab命令是Unix系統和類Unix系統中,用來設定週期性執行的

Pyhon網路爬蟲學習筆記—本地網頁

如何用Python爬取本地網頁   一、寫出一個簡單的靜態網頁,下面是我隨便寫的一個 網頁原始碼如下 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UT

[Python爬蟲] 7-Charles微信小程式

最近在嘗試抓取微信的小程式,用到了Charles,微信小程式的話需要使用HTTPS抓包,網上有些教程內容有步驟的缺失,所以重新整理一份傻瓜式的教程,環境WIN10+IOS,內容基於Roy_Liang前輩

網路爬蟲中FiddlerPC端網頁資料包與手機端APP資料包

1 引言   在編寫網路爬蟲時,第一步(也是極為關鍵一步)就是對網路的請求(request)和回覆(response)進行分析,尋找其中的規律,然後才能通過網路爬蟲進行模擬。瀏覽器大多也自帶有除錯工具可以進行抓包分析,但是瀏覽器自帶的工具比較輕量,複雜的抓包並不支援。且有時候需要編寫手機APP爬

[記錄]Java網路爬蟲基礎和網站資料的兩個小例項

前段時間在學習爬蟲,並從網路抓取了一些簡單的資料,記錄一下。 抓取分成下面3個部分: 1、網路請求 2、解析抓取下來的頁面,並且處理亂碼或者解壓程式碼的問題 3、拿到指定的資料、資源 完整程式碼如下: 第一個例項: /** * 從某網站查詢所有帖子標題 * 把所有

自動並解析一個商品頁

以美國adidas官網為例。 輸入url,抓取商品資訊(標題、描述、圖片等);抓取屬性資訊(顏色、尺碼、價格、庫存、skuId)。 思路很簡單,就是開啟頁面,分析各個需要內容的標籤。 獲取頁面 public static Document get