1. 程式人生 > >網頁資料採集系統(58同城、美團)

網頁資料採集系統(58同城、美團)

QQ/微信 112908676

下載過程中彈出輸入密碼框,請選擇取消,不影響使用

支援Windows XP/Vista/7/8/10

需求

  1. 美團獲取外賣和團購商戶的基本資訊,比如商戶名稱、地址以及聯絡電話
  2. 將搜尋的結果匯出至Excel表中,無需使用者手動翻頁,軟體自動將所有搜尋結果匯出
  3. 匯出成功後,彈窗並播放提示音
  4. 試用版跟正式版的唯一區別:匯出結果的電話號碼以*替換部分數字
  5. 可以定製寫入資料庫

更新

2018.11.04

修改了美團選擇按區顯示結果時軟體自動執行的問題

2018.09.28

修改了美團無法開始採集的問題

2018.08.15

修改了美團採集的電話分隔符和使用說明

2018.08.01

美團可以自定義採集資料項,比如經緯度

所有已列出資料均可採集,解決舊版無法100%採集的問題

2018.05.15

修改了淘寶買家訂單採集時,可能出現部分資料採集不到的問題

2018.05.13

修改了淘寶買入採集時,可能出現的程式崩潰問題

2018.05.06

修改了高德地圖搜尋的精準度問題

增加了美團外賣的採集功能

美團和淘寶採集過程中可以停止採集

2018.04.28 淘寶訂單

修改了訂單採集有時候造成程式崩潰的問題

增加了採集的靈活配置,買家訂單或賣家訂單,資料項

增加了MySQL/PostgreSQL同步功能

2018.03.22 淘寶訂單

修改了訂單採集有時候造成程式崩潰的問題

2018.03.08 淘寶訂單

修改了有些情況採集造成程式崩潰的問題

支援買家訂單賣家訂單

如果當前不在訂單頁面,提示選擇

2018.02.17

修改了美團採集過程中可能出現的軟體崩潰

2018.02.03

修改了美團不能採集美食類資訊的問題

2017.12.22

修改了美團採集部分資料就停止的問題

2017.11.11

根據新版美團頁面,從團購結果中提取商家資訊,簡化了使用者操作

新版只需兩步:1. 輸入關鍵詞搜尋; 2. 點選儲存搜尋結果

新版增加使用者提示音,由於儲存數量多,儲存時間長,儲存結束後會彈窗並播放提示音

如何使用

從上述連結處下載完整壓縮包後,完全解壓到webcrawl資料夾

雙擊webcrawl.exe即可,如有360防毒提示有毒,屬於誤報,請放心使用

美團使用過程示例

開啟美團,輸入關鍵詞後點擊搜尋放大鏡

搜尋到結果後,點選儲存搜尋結果至Excel

選擇要採集的資料項後點擊開始

輸入好檔名

儲存進行中

如果搜尋結果較多儲存時間會相應加長,比如有多頁,正式版會自動儲存多頁的結果,使用者無需手動翻頁

選擇開啟已儲存完畢的Excel檔案

檢視Execl檔案

獲取評論資訊

示例

http://sh.meituan.com/ptapi/poi/getcomment?id=88586670&offset=0&pageSize=10&mode=0&sortType=1

API

/ptapi/poi/getcomment

引數

id=88586670
offset=0
pageSize=10
mode=0
sortType=1

美團外賣的滾動載入

其中uuid取自cookie中的w_uuid

var r = ["cate_all"],
        p = {
            classify_type: "",
            sort_type: 0,
            price_type: 0,
            support_online_pay: 0,
            support_invoice: 0,
            support_logistic: 0,
            page_offset: 21,
            page_size: 20
        },

 a, o = window.location.href,
	s = o.split("-");
a = 1 === s.length ? "cate_all" : s[1], r.length = 0, r.push(a), m.request(!1)

            request: function(t) {
                p.classify_type = r.join("|"), p.uuid = o.get("w_uuid"), p.platform = 1, p.partner = 4, p.originUrl = encodeURIComponent(window.location.href);
                var e = "",
                    a = 0;
                for (var n in p) e += (0 == a ? "" : "&") + n + "=" + p[n], a++;
                var u = Rohr_Opt.reload("http://waimai.meituan.com/ajax/poilist?" + e);
                i.ajax({
                    url: "/ajax/poilist?_token=" + u,
                    type: "POST",
                    dataType: "json",
                    data: p
                }).done(function(e) {

如果是分類獲取

url:http://waimai.meituan.com/home/wx4g14vq1wtc-910

_token=eJyV0luPmkAUB/DvMq9SYYbb4BtWVxFkvbKrzT4oIsNV5OrS9Lt3wFaajS8lJPw48x/O5ISfINVOYAA5eskMKJ0UDADsc30RMCDP6IqIeCTxPKdIssAA+9+azEkKZsAxtUZg8AMizDE8FD+ayooW7hUZcR/MnRKmRAK9m4xGI4DkeTJg2ergRQevHzleXhzivn2JWHKJHLa6CS4UyiuscvubAjl6qP/YAWibaNO0kUTEQBlKdP8fyi35pxQ6ik8pdZSfUnlQ4jrCjvwX4pZCR/ELlZZSR/kpMSXiWioPylxH+JTNGRBsKXZsv4AaYngnHWjQDJQ+D4/BIl5mRprV5Djan8ftG43kf6Nz+lPR5cxzYypndjN9GxZurS6JicMhEsxopmtWqRMvHErrsZBs88ywCe+nc5VNTYeIr4HhhZvQLBemP9mFzm38PX8xRwE8Y/L2NlsqQ/fQq0Vie2xSBJdKJbtJtd0SCxp7RTfmn5fTuSpNryjVVTJbfCqaka7S9zwYr2olPg1TN4k9vA/Cd83DG94Nr1OSYXOox0UNg/XU1Fk/F8qXorbq/XbK+ZnpbtWeNjnJmZ7edklC/Oko4m+xS0Lr2NNdGJr+9hzXx9DxFiJLNvFeLGPpmPm5hWz19WoneErGXmykBj4fewaRlEJZntQRWm/Ar9/7p/RH

classify_type=910&sort_type=0&price_type=0&support_online_pay=0&support_invoice=0&support_logistic=0&page_offset=21&page_size=20&uuid=Z0ir51E6iTUgi8r_UpwAC8rpMdubES3zXm8kME6qoqre8G2sriutSku12HGCuLYk&platform=1&partner=4&originUrl=http%253A%252F%252Fwaimai.meituan.com%252Fhome%252Fwx4g14vq1wtc-910

time lapse photo deflickering