1. 程式人生 > >一次網頁資料抓取採集儲存我的電子商務業務

一次網頁資料抓取採集儲存我的電子商務業務

最近我注意到許多電子商務指南都關注相同的技巧:

  • 增加你的社交活動
  • 投資chatbots
  • 構建一個AR應用程式

雖然這些都是很棒的提示,但我在這裡只給你一個刮傷黑客的資訊,這可以幫助我的公司不再關機。(如果您沒有使用網路抓取您的線上業務,請檢視此部落格)。

image: https://cdn.business2community.com/wp-content/uploads/2018/03/Scraping_Lesson-6.jpg

 來源:https//upload.wikimedia.org/wikipedia/commons/c/ca/Scraping_Lesson.jpg

這一切是如何開始的

我的背景是市場營銷,我是一個經驗豐富的SEO,PPC和聯盟營銷人員,所以自然而然地,我對於推動流量並將其轉化為銷售理解了一兩件事。

在電子商務商店創造另一個收入來源的同時,讓我的日常工作成為市場營銷副總裁感覺很對。

我有一位程式設計師朋友,他同意用定價優化邏輯為我編寫一個刮板。邏輯可以簡化為兩個基本規則。第一條規則是,無論何時發現競爭對手降低其價格,我都會收到通知,以便我可以決定是降低價格還是閒置。第二條規則是每當競爭對手缺貨時,我會收到通知,以便決定是否提高我的價格。

經過幾個月的艱苦營銷工作,我看到我的商店流量增加,後來轉化為轉化率的增加。生活是美好的,錢來了,我唯一的任務是執行再營銷活動,並保持我的SEO整潔。

然而,這場派對並沒有持續很長時間,幾周過去了,令我驚訝的是,我看到我的轉換率下降,最終我的開支超過了我的收入。

我試圖尋找問題的根源。

在減少開始之前,我沒有改變我的商店頁面或營銷活動,並且我的流量保持穩定。

找到原因

排除商店和市場營銷活動後,我檢查了我的定價和刮板。

我將轉換率下降的日期與競爭對手網站的快取版本進行了比較,我發現我的競爭對手顯著降低了我銷售的產品的價格。出於某種原因,我在轉換率下降前幾天停止接收通知。

難怪我失去了銷售業績 - 我店的目標受眾是最不忠誠和價格最敏感的年齡段:21-29歲。根據MarketTrack的研究如果他們在其他地方找到更好的價格85%的人將更換商店,86%的人將更換品牌。

我的刮是怎麼回事?

我颳得太快了嗎?太過分了?我使用了常見的做法來確保我的競爭對手不被識別為機器人,並且在我的手術的頭幾個月裡它執行良好。

當我研究這個問題時,我發現目標公司確實試圖保護自己不被刮傷。例如,一家名為Shiledsquare的公司通過識別由於不正常活動引起的刮刀,幫助電子商務企業。

由於企業通常通過帶有特定公開上市IP範圍的付費資料中心來抓取其他業務,因此該公司可以輕鬆識別和阻止商業資料中心擁有的可疑IP。這意味著我可能被阻止,因為其他人使用我使用的同一個IP範圍來糟糕地使用同一個站點......然而,我付出了代價。

尋找解決方案

在這一點上,我意識到我需要一個適合我現有的基礎架構的解決方案,一個可靠且永遠不會被阻止的解決方案。

幸運的是,我發現了住宅智慧財產權。住宅IP是由網際網路服務提供商公司提供給私人使用者的IP。住宅智慧財產權與資料中心智慧財產權之間的區別在於他們被識別的機會,並因此被阻止。

顯然,新一代的業務代理網路由P2P消費者組成。這些消費者同意允許通過他們的IP路由一些請求,同時他們的裝置閒置,連線到無線和充電。作為允許這些請求的回報,他們以免費使用應用程式和無廣告應用程式的形式獲得好處。

顯然,新一代的業務代理網路由P2P消費者組成。這些消費者同意允許通過他們的IP路由一些商業請求,同時他們的裝置閒置,連線到WiFi和充電。作為允許這些請求的回報,他們以免費使用應用程式和無廣告應用程式的形式獲得好處。

應用程式開發人員通常希望使用這種易貨貿易來增長並通過廣告或付費訂閱通過應用程式獲利,通常會降低參與度。

這使得阻止刮板幾乎不可能,因為目標網站無意阻止常規消費者訪問他們的網站。

我找到了一家名為Luminati 的公司,他建立了一個龐大的住宅IP池,並且我迅速更換了我的刮板基礎設施,繼續使用他們的住宅IP進行刮擦。

價格警報立即回來了,再加上正確的價格調整,我的轉換率再次回升,並且我很快再次盈利。

結論

刮刮有它的兩面。一方面,它是完全自動化的,一旦工作,你就可以進入自動駕駛模式。另一方面,您正在抓取的網站將嘗試阻止您,您必須避免這種情況,以確保您始終獲得可靠的資料,這正是住宅IP允許我做的事情。

提供網站資料採集抓取服務,QQ:1183877282,www.hnxpu.com