從0開始學爬蟲(1)—— 配置工作環境
時間:2018/12/7
內容:爬蟲環境配置
資源:https://pan.baidu.com/s/1ULd7H_9B-wiKH2manP9Inw 提取碼:k7nv
資源簡介:
Python 程式包:https://www.python.org/downloads/
pycharm:Python視覺化編輯器(推薦使用)
MySQL:關係型資料庫(Navicat —— MySQl的視覺化編輯器)
MongoDB:非關係型資料庫(studio-3t —— MongoDB的視覺化編輯器)
Redis:非關係型資料庫(Redis —— redis-desktop的視覺化編輯器)
關係型與非關係型資料庫的區別:https://blog.csdn.net/qq_31536117/article/details/78179646
爬蟲介紹:
https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB/5162711?fr=aladdin
安裝過程:
1)Python 程式包:直接安裝(檢查是否安裝:WIN鍵+R鍵;輸入cmd回車開啟命令視窗;輸入python,下圖所示安裝成功)
2)pycharm:直接安裝,可以更改安裝目錄
3)MySQL:
32位的系統安裝比較簡單:
64位的系統安裝麻煩點:參考這篇文章安裝https://blog.csdn.net/WJQ18235194489/article/details/83932121
4)MongoDB:下載新版本不需要配置,直接安裝就好
5)Redis:直接安裝就好
6)視覺化工具直接安裝
安裝過程存在多版本問題:
1)預設編輯器的設定問題:①環境變數刪除,只剩你想用的那個;②將你用的版本放在Path環境變數的前面
Python爬蟲常用庫的安裝:
1)WIN鍵+R鍵;輸入cmd回車開啟命令視窗
2)輸入:
pip install requests selenium beautifulsoup4 pyquery pymysqpl pymongo redis flask django jupyter