1. 程式人生 > >從0開始學爬蟲(1)—— 配置工作環境

從0開始學爬蟲(1)—— 配置工作環境

時間:2018/12/7

內容:爬蟲環境配置


資源:https://pan.baidu.com/s/1ULd7H_9B-wiKH2manP9Inw     提取碼:k7nv

資源簡介:

Python 程式包:https://www.python.org/downloads/

pycharm:Python視覺化編輯器(推薦使用)

MySQL:關係型資料庫(Navicat —— MySQl的視覺化編輯器)

MongoDB:非關係型資料庫(studio-3t —— MongoDB的視覺化編輯器)

Redis:非關係型資料庫(Redis —— redis-desktop的視覺化編輯器)

關係型與非關係型資料庫的區別:https://blog.csdn.net/qq_31536117/article/details/78179646


爬蟲介紹:

https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB/5162711?fr=aladdin


安裝過程:

1)Python 程式包:直接安裝(檢查是否安裝:WIN鍵+R鍵;輸入cmd回車開啟命令視窗;輸入python,下圖所示安裝成功)

2)pycharm:直接安裝,可以更改安裝目錄

3)MySQL:

    32位的系統安裝比較簡單:

https://dev.mysql.com/downloads/windows/installer/8.0.html下載MSI檔案直接安裝

    64位的系統安裝麻煩點:參考這篇文章安裝https://blog.csdn.net/WJQ18235194489/article/details/83932121

4)MongoDB:下載新版本不需要配置,直接安裝就好

5)Redis:直接安裝就好

6)視覺化工具直接安裝


安裝過程存在多版本問題:

1)預設編輯器的設定問題:①環境變數刪除,只剩你想用的那個;②將你用的版本放在Path環境變數的前面


Python爬蟲常用庫的安裝:

1)WIN鍵+R鍵;輸入cmd回車開啟命令視窗

2)輸入:

pip install requests selenium beautifulsoup4 pyquery pymysqpl pymongo redis flask django jupyter