現行環境下，大資料與人工智慧的重要依託還是龐大的資料和分析採集，類似於淘寶 京東 百度 騰訊級別的企業 能夠通過資料可觀的使用者群體獲取需要的資料，而一般企業可能就沒有這種通過產品獲取資料的能力和條件，想從事這方面的工作，需掌握以下知識：

1. 學習Python基礎知識並實現基本的爬蟲過程

一般獲取資料的過程都是按照 傳送請求-獲得頁面反饋-解析並且儲存資料 這三個流程來實現的。這個過程其實就是模擬了一個人工瀏覽網頁的過程。

Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests 負責連線網站，返回網頁，Xpath 用於解析網頁，便於抽取資料。

2.瞭解非結構化資料的儲存

爬蟲抓取的資料結構複雜 傳統的結構化資料庫可能並不是特別適合我們使用。我們前期推薦使用MongoDB 就可以。

3. 掌握一些常用的反爬蟲技巧

使用代理IP池、抓包、驗證碼的OCR處理等處理方式即可以解決大部分網站的反爬蟲策略。

4.瞭解分散式儲存

分散式這個東西，聽起來很恐怖，但其實就是利用多執行緒的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具就可以了。