這次爬取微博以手機客戶端為主。開啟手機客戶端的微博連結為 https://m.weibo.cn

進入微博後，隨機找到評論多的為例。比如搜尋鹿晗。爬取評論鹿晗的評論人的微博網址

 開啟F12控制檯，點選網路，重新整理頁面往下滑，在控制檯出現一些資料，找到資料型別為json，後邊是Service Worker.

滑鼠點選，如圖

我們可以看到請求的網址。訊息頭後邊的響應。開啟響應，如圖

 我們可以看到評論資訊的內容，id等

程式碼很短，每次爬取一個頁面

具體程式碼實現如下

import requests
url = "https://m.weibo.cn/comments/hotflow?id=4267937844374459&mid=4267937844374459&max_id=176075044218609&max_id_type=0"
response = requests.get(url)
for j in range(10):
    with open('F:\\untitled\\weibo.txt','a')as f:
        f.write(str(response.json()['data']['data'][j]['user']['profile_url']) + '\n')
 

很簡單的程式碼就實現了爬取評論人的微博網址

執行結果如下，會在指定的F:\\untitled\\weibo.txt 的生成評論人的微博網址

隨便複製一個到瀏覽器中開啟，就能看到評論人的微博主頁了！如圖