1. 程式人生 > >Crawlab Lite 正式釋出,更輕量的爬蟲管理平臺

Crawlab Lite 正式釋出,更輕量的爬蟲管理平臺

[Crawlab](https://github.com/crawlab-team/crawlab) 是一款基於 Golang 的分散式爬蟲管理平臺,產品釋出已經一年有餘,經過開發團隊的不斷打磨,即將迭代到 v0.5 版本。在這期間我們為 Crawlab 加入了大量社群使用者共同期望的功能,使產品更加專業。但與此同時我們也注意到,部分使用者並不是分散式爬蟲使用者,他們更多隻是在單機情況下使用 Crawlab。其次目前 Crawlab 逐步加入了豐富的功能,也使整個產品逐漸巨化,大部分使用者並不能充分使用所有的功能。 因此 [Crawlab Lite](https://github.com/crawlab-team/crawlab-lite) 作為 Crawlab 的輕量化版本正式釋出,相較於 Crawlab,該版本將專注於解決單機環境下的爬蟲管理,並且平臺本身不再依賴任何外部資料庫,現有以及未來加入的功能都僅限於高頻使用的必需功能,做到最大化的功能剋制。 ## 功能特性 首次釋出的版本為 `v0.0.1` 版本,該版本作為首個體驗版本,已經具備了 Lite 版規劃的核心功能,相較於 Crawlab 主要區別: - 僅支援單機環境下的爬蟲管理,不再具備分散式功能 - 內建依賴 Key-Value 檔案資料庫,執行不再需要配置外部資料庫 - 刪減了大量非必需的功能,平臺更加輕量與易用 - 後端程式碼大量重構,平臺的穩定和速度大幅提升 ## 執行方式 我們依然保留通過 docker-componse 這種最方便的方式: 1. 在任意目錄下建立 `docker-compose.yml`,內容如下: ```yaml version: '3' services: master: image: zkqiang/crawlab-lite:latest container_name: master ports: - "8080:8080" ``` 2. 在目錄下執行命令: ```bash docker-compose up -d ``` 3. 訪問 `http://localhost:8080` ## 專案地址 [https://github.com/crawlab-team/crawlab-lite](https://github.com/crawlab-team/crawlab-lite) ## 專案截圖 ![爬蟲列表](https://static.zkqiang.cn/images/20200715164320.png-slim) ![任務列表](https://static.zkqiang.cn/images/20200715164318.png-slim) ![定時列表](https://static.zkqiang.cn/images/20200715164317.png-slim) ![任務日誌](https://static.zkqiang.cn/images/20200715164319.p