詳情請檢視：https://zhuanlan.zhihu.com/p/42832499

使用postman ，按照下面的指導，可以檢視請求中需要帶上那些資訊。直接生成程式碼，把程式碼複製到編譯器使用就可以了。

今天介紹一個神器postman，可以一鍵生成我們的爬蟲程式碼。即能提高我們的開發效率，還能有效的解決我們實際工作中爬蟲難題。
先來看一段最簡單的爬蟲程式碼。

import requests
url = 'https://www.baidu.com'
print(requests.get(url).text)

這段請求百度首頁的爬蟲程式碼得到了網頁程式碼，其中可能包含我們所需的資料。下面使用postman來生成程式碼。
首先，你需要下載一個postman。在mac中可直接下載postman應用，在windows中則以chrome瀏覽器的外掛形式下載。
下載完成後，開始我們的騷操作。

先在頁面中拷貝頁面的cURL

注意使用chrome瀏覽器拷貝，其他瀏覽器可能不行



然後開啟postman,點選左上角的 import 選擇Paste Raw Text ，最後 Import。



點選右上角的 Send 鍵就能過得到我們想看到的頁面程式碼原始碼了。

接下來是見證奇蹟的時刻，點選右上角橙色的 code 鍵，並選擇程式語言，就可以看見程式碼了，只需點見 copy to clipboard 就把程式碼複製到貼上板上了。



這段程式碼貌似要比我們上面的三行簡易程式碼麻煩不少，那你說要他何用。客官別急，好戲才剛剛開始。瞭解了postman的基本用法，接下來看看在實際的爬蟲工作中的用途。

我們以微博為例，在爬取微博資訊的時候，需要我們使用賬戶密碼登陸，在登陸的過程中還需要九宮格的驗證碼解鎖。有一些爬蟲基礎的人，這時候一般會使用攜帶cookies的方法繞過驗證碼。但是給請求資訊中加入cookies又是一個繁瑣的事情。

還有一種情況是，我們通過網站介面獲取json資料時，僅僅只是使用requests獲取，並沒有如我們所想能夠獲取到資料。而我們也不知道，是因為少了什麼請求資訊導致的這種情況，不得不一個個新增資訊慢慢嘗試。

以上兩種情況，使用postman可以大大提升開發的效率，只需文中所提的幾個簡單步驟，將生成的程式碼黏貼到編譯器上，點選執行檢視結果即可。這大大節省了我們在開發過程中的耗時。剩下的只需從獲取的網頁程式碼中解析出我們所需的資料即可。