1. 程式人生 > >用python爬取有道翻譯遇到反爬,3分鐘反反爬繞過其反爬

用python爬取有道翻譯遇到反爬,3分鐘反反爬繞過其反爬

利用有道翻譯的介面,自制一個翻譯程式

檢視其翻譯介面,發現post請求需要傳很多引數,而且經過測驗,satl,sigh屬於動態生成的,遇到這種問題怎麼辦?當然有時間的情況下,可以去研究這些引數在哪個響應中返回,或者怎麼構造,但是一般在工作中我們可能需求來了,不會有過多的時間去考慮這些反爬怎麼處理,那麼該怎麼辦?

下面就講如何3分鐘繞過其反爬,獲取翻譯結果

這裡寫圖片描述

切換到手機端模式,精神一震,post引數只需要傳2個,比PC端介面簡單多了

這裡寫圖片描述

嘗試用該介面,因為是手機端,我們需要加手機端代理,測試了簡單的詞語,在響應中發現有返回的結果,id=translateResult,正是我們需要提取的結果

這裡寫圖片描述

接下來,開始愉快的寫xpath了,並簡單測試了些句子,也完美翻譯成功

這裡寫圖片描述

本文主要講一種爬取思路,很多情況下,我們爬PC端爬的多了,只要爬就首先想到爬PC端的,結果一根筋走下去,遇到很多反爬,所以當我們遇到反爬時候,不防試試手機網頁或者手機APP,說不定就有新的收穫,也減少了工作量,並且會簡單高效