Python中文社群

Python中文開發者的

精神部落

全文簡介

本文是先採集拉勾網上面的資料，採集的是Python崗位的資料，然後用Python進行視覺化。主要涉及的是爬蟲&資料視覺化的知識。

爬蟲部分

先用Python來抓取拉勾網上面的資料，採用的是簡單好用的requests模組。主要注意的地方是，拉勾網屬於動態網頁，所以會用到瀏覽器的F12開發者工具進行抓包。抓包以後會發現，其實網頁是一個POST的形式，所以要提交資料，提交的資料如下圖：

真實網址是：

https://www.lagou.com/jobs/positionAjax.jsonneedAddtionalResult=false&isSchoolJob=0

在上圖也可以輕鬆發現：kd是查詢關鍵詞，pn是頁數，可以實現翻頁。

程式碼實現

1. import requests # 網路請求

2. import re

3. import time

4. import random

5. # post的網址

6. url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&isSchoolJob=0'

7. # 反爬措施

8. header = {'Host': 'www.lagou.com',

9. 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'

   ,

10. 'Accept': 'application/json, text/javascript, */*; q=0.01',

11. 'Accept-Language': 'zh-CN,en-US;q=0.7,en;q=0.3',

12. 'Accept-Encoding': 'gzip, deflate, br',

13. 'Referer': 'https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput=',

14. 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',

15. 'X-Requested-With': 'XMLHttpRequest',

16. 'X-Anit-Forge-Token': 'None',

17. 'X-Anit-Forge-Code': '0',

18. 'Content-Length': '26',

19. 'Cookie': 'user_trace_token=20171103191801-9206e24f-9ca2-40ab-95a3-23947c0b972a; _ga=GA1.2.545192972.1509707889; LGUID=20171103191805-a9838dac-c088-11e7-9704-5254005c3644; JSESSIONID=ABAAABAACDBABJB2EE720304E451B2CEFA1723CE83F19CC; _gat=1; LGSID=20171228225143-9edb51dd-ebde-11e7-b670-525400f775ce; PRE_UTM=; PRE_HOST=www.baidu.com; PRE_SITE=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DKkJPgBHAnny1nUKaLpx2oDfUXv9ItIF3kBAWM2-fDNu%26ck%3D3065.1.126.376.140.374.139.129%26shh%3Dwww.baidu.com%26sht%3Dmonline_3_dg%26wd%3D%26eqid%3Db0ec59d100013c7f000000055a4504f6; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; LGRID=20171228225224-b6cc7abd-ebde-11e7-9f67-5254005c3644; index_location_city=%E5%85%A8%E5%9B%BD; TG-TRACK-CODE=index_search; SEARCH_ID=3ec21cea985a4a5fa2ab279d868560c8',

20. 'Connection': 'keep-alive',

21. 'Pragma': 'no-cache',

22. 'Cache-Control': 'no-cache'}

23. for n in range(30):

24. # 要提交的資料

25.    form = {'first':'false',

26. 'kd':'Python',

27. 'pn':str(n)}

28.    time.sleep(random.randint(2,5))

29. # 提交資料

30.    html = requests.post(url,data=form,headers = header)

31. # 提取資料

32.    data = re.findall('{"companyId":.*?,"positionName":"(.*?)","workYear":"(.*?)","education":"(.*?)","jobNature":"(.*?)","financeStage":"(.*?)","companyLogo":".*?","industryField":".*?","city":"(.*?)","salary":"(.*?)","positionId":.*?,"positionAdvantage":"(.*?)","companyShortName":"(.*?)","district"',html.text)

33. # 轉換成資料框

34.    data = pd.DataFrame(data)

35. # 儲存在本地

36.    data.to_csv(r'D:\Windows 7 Documents\Desktop\My\LaGouDataMatlab.csv',header = False, index = False, mode = 'a+')

注意：抓取資料的時候不要爬取太快，除非你有其他的反爬措施，比如更換IP等，另外不需登入，我在程式碼加入了time模組，用於限制爬取速度。

資料視覺化

下載下來的資料長成這個樣子：

注意標題（也就是列明）是我自己新增的。

匯入模組並配置繪圖風格

1. import pandas as pd # 資料框操作

2. import numpy as np

3. import matplotlib.pyplot as plt # 繪圖

4. import jieba # 分詞

5. from wordcloud importWordCloud# 詞雲視覺化

6. import matplotlib as mpl  # 配置字型

7. from pyecharts importGeo# 地理圖

8. mpl.rcParams["font.sans-serif"] = ["Microsoft YaHei"]

9. # 配置繪圖風格

10. plt.rcParams["axes.labelsize"] = 16.

11. plt.rcParams["xtick.labelsize"] = 14.

12. plt.rcParams["ytick.labelsize"] = 14.

13. plt.rcParams["legend.fontsize"] = 12.

14. plt.rcParams["figure.figsize"] = [15., 15.]

注意：匯入模組的時候其他都容易解決，除了wordcloud這個模組，這個模組我建議大家手動安裝，如果pip安裝的話，會提示你缺少C++14.0之類的錯誤，導致安裝不上。手動下載whl檔案就可以順利安裝了。

資料預覽

1. # 匯入資料

2. data = pd.read_csv('D:\\Windows 7 Documents\\Desktop\\My\\LaGouDataPython.csv',encoding='gbk')  # 匯入資料

3. data.head()

read_csv路徑不要帶有中文

1. data.tail()

學歷要求

1. data['學歷要求'].value_counts().plot(kind='barh',rot=0)

2. plt.show()

工作經驗

1. data['工作經驗'].value_counts().plot(kind='bar',rot=0,color='b')

2. plt.show()

Python熱門崗位

1. final = ''

2. stopwords = ['PYTHON','python','Python','工程師','（','）','/'] # 停止詞

3. for n in range(data.shape[0]):

4.    seg_list = list(jieba.cut(data['崗位職稱'][n]))

5. for seg in seg_list:  

6. if seg notin stopwords:  

7. final = final + seg + ' '

8. # final 得到的詞彙

工作地點

1. data['工作地點'].value_counts().plot(kind='pie',autopct='%1.2f%%',explode = np.linspace(0,1.5,25))

2. plt.show()

工作地理圖

1. # 提取資料框

2. data2 = list(map(lambda x:(data['工作地點'][x],eval(re.split('k|K',data['工資'][x])[0])*1000),range(len(data))))

3. # 提取價格資訊

4. data3 = pd.DataFrame(data2)

5. # 轉化成Geo需要的格式

6. data4 = list(map(lambda x:(data3.groupby(0).mean()[1].index[x],data3.groupby(0).mean()[1].values[x]),range(len(data3.groupby(0)))))

7. # 地理位置展示

8. geo = Geo("全國Python工資佈局", "製作人:挖掘機小王子", title_color="#fff", title_pos="left", width=1200, height=600,

9. background_color='#404a59')

10. attr, value = geo.cast(data4)

11. geo.add("", attr, value, type="heatmap", is_visualmap=True, visual_range=[0, 300], visual_text_color='#fff')

12. # 中國地圖Python工資，此分佈是最低薪資

13. geo

本文作者

❈

挖掘機小王子，資料分析愛好者。

部落格：zhihu.com/people/WaJueJiPrince

❈

相關推薦