爬蟲是什麼？

進群進群：943752371可以獲取Python各類入門學習資料！

這是我的微信公眾號【Python程式設計之家】各位大佬用空可以關注下，每天更新Python學習方法，感謝！

如果我們把網際網路比作一張大的蜘蛛網，資料便是存放於蜘蛛網的各個節點，而爬蟲就是一隻小蜘蛛，

沿著網路抓取自己的獵物（資料）爬蟲指的是：向網站發起請求，獲取資源後分析並提取有用資料的程式；

從技術層面來說就是 通過程式模擬瀏覽器請求站點的行為，把站點返回的HTML程式碼/JSON資料/二進位制資料（圖片、視訊） 爬到本地，進而提取自己需要的資料，存放起來使用；

基本環境配置

版本：Python3

系統：Windows

IDE： Pycharm

爬蟲所需工具：

請求庫：requests,selenium（可以驅動瀏覽器解析渲染CSS和JS，但有效能劣勢（有用沒用的網頁都會載入）；）

解析庫：正則，beautifulsoup，pyquery

儲存庫：檔案，MySQL，Mongodb，Redis

Python爬蟲基本流程

基礎版：

函式封裝版

併發版

（如果一共需要爬30個視訊，開30個執行緒去做，花的時間就是 其中最慢那份的耗時時間）

明白了Python爬蟲的基本流程，然後對照程式碼是不是覺得爬蟲特別的簡單呢？