項目托管平臺地址:https://github.com/xyhcq/top250

開發模塊功能: 原網頁代碼分析功能,開發時間:1小時,得到了程序所需要的網頁源代碼

def getHTMLText(url,k):
    # 獲取網頁源代碼
    try:
        if(k==0):
            kw={}
        else:
            kw={‘start‘:k,‘filter‘:‘‘}
        # 保存獲取的網頁
        read = requests.get(url,params=kw,headers={‘User-Agent‘: ‘Mozilla/4.0
 
‘})
        read.raise_for_status()
        read.encoding = read.apparent_encoding
        return read.text
    except:
        print("獲取失敗!")

實現過程：用瀏覽器中的查看網頁源代碼功能，將代碼粘貼下來進行代碼整合。然後在python中加入網頁源碼導入功能。

沒有遇到任何問題。

Forward團隊-爬蟲豆瓣top250項目-模塊開發過程