畢業後的5年多時間裡一直在Java的生態體系裡遊走，很少觸碰其他非Java技術棧。職業安全感隱隱的警告我不能一直逗留在自己的舒適區裡，不能被大時代拋棄。時下最火的莫過於AI， 而AI時代則帶火了AI第一語言Python，那就學學Python。學習一門新技術的最佳方法是：learning by doing， 在實踐中學習。我選擇了爬蟲作為自己的第一個練手小專案。爬蟲的目標是京東的計算機與網際網路圖書銷量榜。

一、html結構分析

圖書的介紹資訊都存在class為p-detail的div模組裡， 一個這樣的div裡儲存著一本書的完備資訊。圖書的購買連結，書名都在這個div下的a標籤裡。這樣，拿到這個a標籤就能找到我要的資訊了

二、如何找下一個頁面的url

點開“下一頁”這個按鈕的html資訊，a標籤裡的href就是下一個頁面的url。so easy。爬蟲挖掘url的策略無外乎寬度優先搜尋（BFS）和深度優先搜尋（DFS）。而我則採取了深搜。

三、程式碼實現

怎麼解析頁面的內容，如何找下一個頁面，解決這兩個問題就可以寫爬蟲程式碼了。

開發中需要用到的重要的python庫：
1. html內容解析， 使用BeautifulSoup庫， Beautiful Soup庫中文文件。 這個庫相當於Java裡的Jsoup庫。
2. 網頁下載，使用requests庫。功能類似Java的httpclient庫。

#!/usr/bin/env python
# encoding=utf-8

import requests
from bs4 import BeautifulSoup
from requests import HTTPError

HTTP_ = 'http:'


def download_page(url):
    print(url)
    try:
        data = requests.get(url).content
    except HTTPError as err:
        print(err.__traceback__)
    except ConnectionError as
 
 err:
        print(err.__traceback__)
    except TimeoutError as err:
        print(err.__traceback__)

    return data


def parse_html(html):
    soup = BeautifulSoup(html, "html.parser")
    book_list_soup = soup.find_all('div', attrs={'class': 'p-detail'})
    for book_li in book_list_soup:
        a_tag = book_li.find('a', attrs={'class': 'p-name'})
        print('書名 ： ' + a_tag['title'] + '\t連結 ： ' + HTTP_ + a_tag['href'])
    next_button = soup.find('a', attrs={'class': 'pn-next'})
    return next_button['href']


def main():
    download_url = '//book.jd.com/booktop/0-0-0.html?category=3287-0-0-0-5-1#comfort'
    while download_url != 'javascript:void(0);':
        html = download_page(HTTP_ + download_url)
        download_url = parse_html(html)


if __name__ == '__main__':
    main()

程式輸出, 榜單有100個，這裡只貼出前20個

書名 ： Python程式設計 從入門到實踐    連結 ： http://item.jd.com/11993134.html
書名 ： 機器學習【首屆京東文學獎-年度新銳入圍作品】     連結 ： http://item.jd.com/11867803.html
書名 ： 數學之美（第二版）  連結 ： http://item.jd.com/11572052.html
書名 ： 深度學習   連結 ： http://item.jd.com/12128543.html
書名 ： Word Excel PPT 2016辦公應用從入門到精通（附光碟） 連結 ： http://item.jd.com/11988251.html
書名 ： 鳥哥的Linux私房菜 （基礎學習篇 第三版）    連結 ： http://item.jd.com/10064429.html
書名 ： Python基礎教程（第3版）    連結 ： http://item.jd.com/12279949.html
書名 ： Python核心程式設計（第3版）    連結 ： http://item.jd.com/11936238.html
書名 ： Java從入門到精通（第4版 附光碟）    連結 ： http://item.jd.com/11985075.html
書名 ： 深入理解Java虛擬機器：JVM高階特性與最佳實踐（第2版）  連結 ： http://item.jd.com/11252778.html
書名 ： TensorFlow：實戰Google深度學習框架（第2版） 連結 ： http://item.jd.com/12287533.html
書名 ： Java程式設計思想（第4版）  連結 ： http://item.jd.com/10058164.html
書名 ： Python零基礎入門學習-水木書薈 連結 ： http://item.jd.com/12004711.html
書名 ： C Primer Plus 第6版 中文版  連結 ： http://item.jd.com/11917487.html
書名 ： 演算法導論（原書第3版）/電腦科學叢書    連結 ： http://item.jd.com/11144230.html
書名 ： Python 3網路爬蟲開發實戰   連結 ： http://item.jd.com/12333540.html
書名 ： 高效能MySQL（第3版）  連結 ： http://item.jd.com/11220393.html
書名 ： 浪潮之巔 第三版 套裝上下冊     連結 ： http://item.jd.com/11922453.html
書名 ： 利用Python進行資料分析 連結 ： http://item.jd.com/11352441.html
書名 ： Excel高效辦公：資料處理與分析（修訂版）（附CD光碟1張）    連結 ： http://item.jd.com/11042690.html
......

python言簡意賅，一行頂Java10行。以前用Java實現過crawler，程式碼比python版的冗長多了。