python爬蟲例項，一小時上手爬取淘寶評論(附程式碼)
阿新 • • 發佈：2020-04-22
前言
本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理。
1 明確目的
通過訪問天貓的網站，先搜尋對應的商品，然後爬取它的評論資料。可以作為設計前期的市場調研的資料，幫助很大。
2 爬取評論並儲存
（首先要進行登入，獲取cookie）搜尋你想收集的資訊的評價，然後點開對應的產品圖片。找到對應的評價的位置。
找到對應的位置之後就可以進行資料的爬取了，但是在爬取的過程中發現始終無法獲取對應的資料。判斷可能是因為沒有新增cookie導致的，但是在添加了cookie之後發現依舊無法解決問題。
最後，發現應該是顯示的資料是通過json解析之後顯示在網頁上的，因此需要多一些步驟來獲取真正的爬取連結。
首先在network中，清除掉以往的資料資訊，然後將頁面進行重新整理，複製其中的一條資訊，進行搜尋。在4中獲得連結，並在5中獲取到連結。
找到檔案裡面的訪問url、cookie、referer、agent，將其複製在程式裡。
大功告成，現在就可以進行資料的爬取了。
import pandas as pd
import requests
import re
import time
data_list = []
for i in range(1,20,1):
print("正在爬取第" + str(i) + "頁")
#構建訪問的網址，這個網址可有講究了
first = 'https://rate.tmall.com/list_detail_rate.htm?itemId=596452219968&spuId=1240258038&sellerId=1579115485&order=3¤tPage=1'
last = '&append=0&content=1&tagId=&posi=&picture=&groupId=&ua=098%23E1hvB9vnvPgvUvCkvvvvvjiPn25pQjlhPFSv0jthPmPy6jiPR2MwAjnjRLF9gjlERphvCvvvphmjvpvhvUCvp8wCvvpvvhHhmphvLvUIUkUaQCAwe1O0747BhCka%2BoHoDOvfjLeAnhjEKBmAdXIaUExreTgcnkxb5ah6Hd8ram56D40OdiUDNrBlHd8reC69D70fd3J18heivpvUvvCCWUB0wV0EvpvVvpCmpJ2vKphv8vvvpHwvvvvvvvCmqvvvv4pvvhZLvvmCvvvvBBWvvvjwvvCHhQvvvxQCvpvVvUCvpvvv2QhvCvvvMMGtvpvhvvCvp86CvChh9P2s3QvvC0ODj6KHkoVQROhCvCLwMbra3rMwznsJWxS5gn1Uzvr4486Cvvyv9mQS7Qvvm4p%3D&needFold=0&_ksTS=1585406932472_453&callback=jsonp454'
url = first + str(i) + last
#訪問的標頭檔案，還帶這個cookie
headers ={
# 用的哪個瀏覽器
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
# 從哪個頁面發出的資料申請，每個網站可能略有不同
'referer': 'https://detail.tmall.com/item.htm?spm=a220m.1000858.1000725.1.464b6bbfQwJmpT&id=596452219968&skuId=4313616443848&areaId=340700&user_id=1579115485&cat_id=2&is_b=1&rn=2aaf4f3d019121cb4b9c1816fe2eb360',
# 哪個使用者想要看資料，是遊客還是註冊使用者,建議使用登入後的cookie
'cookie':'tk_trace=1; cna=BPoFF17G1wkCASShM8zuMe/z; dnk=%5Cu6211%5Cu624B%5Cu673A%5Cu9762%5Cu5305; uc1=tag=10&cookie16=UIHiLt3xCS3yM2h4eKHS9lpEOw%3D%3D&cookie14=UoTUP2Hg22VKGQ%3D%3D&cookie15=URm48syIIVrSKA%3D%3D&cookie21=WqG3DMC9Fb5mPLIQo9kR&lng=zh_CN&existShop=false&pas=0; uc3=nk2=rUtEsEAPxFiBAw%3D%3D&vt3=F8dBxd9vfOFX6TF0nIU%3D&lg2=UtASsssmOIJ0bQ%3D%3D&id2=UU20sOBlt5YjsA%3D%3D; tracknick=%5Cu6211%5Cu624B%5Cu673A%5Cu9762%5Cu5305; lid=%E6%88%91%E6%89%8B%E6%9C%BA%E9%9D%A2%E5%8C%85; _l_g_=Ug%3D%3D; uc4=nk4=0%40r7rCJKnwPLZ3%2FwyNCMllICP5es7j&id4=0%40U2%2Fz9fRgFErUiIbdThLAqnTeryYw; unb=2565225077; lgc=%5Cu6211%5Cu624B%5Cu673A%5Cu9762%5Cu5305; cookie1=VyVfQs3fk3Q1AMa82%2BACjr%2B92r264TDI3Q1c5WQuXXw%3D; login=true; cookie17=UU20sOBlt5YjsA%3D%3D; cookie2=1cf0a583503c0e1120b70f4ef312f5c5; _nk_=%5Cu6211%5Cu624B%5Cu673A%5Cu9762%5Cu5305; sgcookie=EilyrHs60A8pXOSQMCPEY; sg=%E5%8C%857f; t=0f46f0f89d1ad6a09a42a2e03e34c8ad; csg=af40d9de; _tb_token_=7e358e863e33f; enc=m7O0wanabkvr3U2e%2B%2FVwjIRhdoivog54aY5f614N4hBpuXKXuZzuCOP8Wqjk%2FohRVNzechJXzRihNyJDnIQHxw%3D%3D; l=dBOQ8BwlQB9FA9pWBOfwVsUBXgbOgIOb8sPzcQtKtICPOq1wBiJPWZ43uHTeCnGVh6JwR3laeFr4BMsXcnV0x6aNa6Fy_1Dmn; isg=BKOjn8dx-fVsPLXByTRwZsHRMuFNmDfaBnKiX9UB34JaFMI2XWiVKt1CDuQatI_S'
}
#嘗試獲取資料（這裡的資料應該是從json裡面獲取的）
try:
data = requests.get(url,headers = headers).text
time.sleep(10)
result = re.findall('rateContent":"(.*?)"fromMall"',data)
data_list.extend(result)
except:
print("本頁爬取失敗")
df = pd.DataFrame()
df["評論"] = data_list
df.to_excel("評論_彙總.xlsx")
由於天貓會有比較強的反爬機制，因此需要設定睡眠時間，連結也要更新。
以上就是爬取的部分評價，可以通過視覺化工具提取關鍵詞並繪製出詞雲。
3 詞雲圖的製作
首先將原來的資料儲存為csv的格式
# df = pd.DataFrame()
# df["review"] = data_list
# df.to_excel("評論_彙總.xlsx")
df = pd.DataFrame()
df["review"] = data_list
df.to_csv("coms.csv",mode="a+",header=None,index=None,encoding="utf-8")
之後利用這些資料進行詞雲的繪製
# @功能：讀取csv檔案，然後進行繪製詞雲圖
# @日期：2020-04-22
import re
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import pandas as pd
import jieba
import np
from PIL import Image
# 讀取原始資料
raw_comments = pd.read_csv('com.csv');raw_comments.head()
# 匯入停用詞表,這裡的stopword是可以自己更改上傳的
with open('stopword.txt') as s:
stopwords = set([line.replace('\n', ' ') for line in s])
# 傳入apply的預處理函式，完成中文提取、分詞以及多餘空格剔除
def preprocessing(c):
c = [word for word in jieba.cut(' '.join(re.findall('[\u4e00-\u9fa5]+', c))) if word != ' ' and word not in stopwords]
return ' '.join(c)
# 將所有語料按空格拼接為一整段文字
comments = ' '.join(raw_comments['評論'].apply(preprocessing));comments[:500]
# ---------生產詞雲----------
usa_mask = np.array(Image.open('flower.png'))
#image_colors = ImageColorGenerator(usa_mask) #讀取圖片本身顏色，但是這一句有錯誤
#從文字中生成詞雲圖
wordcloud = WordCloud(background_color='white', # 背景色為白色
height=400, # 高度設定為400
width=800, # 寬度設定為800
scale=1, # 長寬拉伸程度設定為20
prefer_horizontal=0.2, # 調整水平顯示傾向程度為0.2
max_words=500, # 設定最大顯示字數為500
relative_scaling=0.3, # 設定字型大小與詞頻的關聯程度為0.3
max_font_size=50,# 縮小最大字型為50
font_path='msyh.ttf',#設定字型為微軟雅黑
mask=usa_mask#新增蒙版
).generate_from_text(comments)
plt.figure(figsize=[8, 4])
plt.imshow(wordcloud
#.recolor(color_func=image_colors),alpha=1
)
plt.axis('off')
#儲存到本地
plt.savefig('圖6.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()
最後生產的圖片：
（猜猜這個圖片像什麼）
如果你處於想學Python或者正在學習Python，Python的教程不少了吧，但是是最新的嗎？說不定你學了可能是兩年前人家就學過的內容，在這小編分享一波2020最新的Python教程。獲取方式，私信小編 “ 資料 ”，即可免費獲取