1,需要準備的工作，電腦已經安裝好python，如果沒裝，可以執行去https://www.python.org/官網下載，初學者可以安裝輕量級的wingide python開發工具，python安裝成功後配置好環境變數，在dos環境使用pip install 模組 將需要用到的模組新增到python中。

需要新增的模組有 lxml，Pool,requests,json,pymongo或者pymysql

1，開啟wingide 新建一個python檔案  在裡面匯入我們需要用到的模組

2，尋找我們需要爬取的網頁  這裡 我以京東的搜尋為例  url為：https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&pvid=4e336fe84d3247f0b0795a790b09b422  主要是獲取京東手機的名稱，價格以及一些其他詳細資訊

寫一個方法獲取我們初次爬取的網頁    get_sku_id(url)

3，由於京東搜尋查詢的手機資訊無法完全滿足我們所需要的資訊  所以需要進一步去詳情頁面爬取內容

     寫一個爬取手機具體內容的方法 get_phone_content(sku)   sku為京東為手機設定的獨特id 

4，通過瀏覽器工具查詢，我們可以知道獲取價格是單獨通過一個請求返回讓介面顯示的，所以如果我們想在手機詳情頁面獲取價格就必須再次請求這個連結才能獲取價格

在這裡我建議大家使用火狐瀏覽器查詢    谷歌看的眼睛花  得知的url為：https://p.3.cn/prices/mgets?callback=jQuery1346298&type=1&area=1_72_2799_0&pdtk=&pduid=1713961549&pdpin=&pin=null&pdbp=0&skuIds=J_{手機獨特的ID}

寫一個方法來獲取每個手機的價格

get_phone_price(sku)

5，在主頁面解析的方法（get_sku_id）中呼叫我們的兩個子頁面的方法（get_phone_content,get_phone_price） 傳入手機獨特的id

6，將集合存入到我們的資料庫中   mysql或者mongodb 都可以

寫一個主函式呼叫我們的get_sku_id方法即可

主流程圖如下:

github地址：https://github.com/ElvisLiang/reptilefortaobao.git