也叫spider,始於也發展於百度、谷歌。但隨者近幾年大資料的興起，爬蟲應用被提升到前所未有的高度。就大資料而言，其實自有資料或使用者產生資料平臺很有限，只有像電商、微博類這樣的平臺才能免強自給自足，像很多資料分析挖掘公司多以網路爬蟲的方式得到不同來元的資料集合，最後為其所用，構建屬於自己的大資料綜合平臺。其中，像輿情類、金融股票分析類、廣告資料探勘類等屬於此種。 下面技術層面描述之。

（1） 傳統爬蟲，像nutch、hetriex之類的，以爬取簡單頁面為好，即沒有複雜請求的頁面。但隨著web2.0的興起，越來越多的網站採用很多動態互動技術如ajax之類的來提升使用者體驗、需使用者登陸才可訪問的頁面等，它們就無能為力了，或者說需要二次開發的開發成本太高，很多人放棄用它們。

（2） 定製爬蟲，針對一些大資料平臺，如微博、電商、點評網之類的，頁面互動複雜、使用者登陸後方可訪問，往往是需要自定義定製開發一些爬蟲專案，如專門針對微博的微博爬蟲，針對大眾點評網的定製爬蟲，針對豆辯書評的評論爬蟲，都屬於典型的定製爬蟲，其難度要大於傳統爬蟲，需要相應的定製分析工具與能力，並且要具備很紮實的程式設計功底，優化效率，克服驗證碼、拒絕服務等反爬措施，方可做出高效的該類爬蟲。現在主流依然是基於httpclient+jsoup來搞定網路下載與頁面解析。

（3） 新型爬蟲，結合一些成熟的第三方工具，如c/c++實現的webkit、htmlunit、phantomjs、casper等工具，其共同點即最大限度的去模擬人為操作瀏覽器的方式去解決用（1）、（2）所不易解決的問題，如模擬登陸、複雜引數的獲取、複雜頁面互動等問題。往往採用如上的工具可以輕鬆搞定這些問題，其最大的缺點是由於基於真實瀏覽器的操作，故效率比較低，所以往往需要和httpclient相結合，才能達到高效實用的目的。基於phantomjs做的百度元搜尋抓取也證明了這一點，下一步可以結合它去完成微博類爬蟲的模擬登陸獲取cookies部分，之後採用httpclient+jsoup解決海量資料的抓取，是非常好的微博爬蟲解決方案。

因為其需要的知識面相對要較多，故其待遇要高於web開發，且上升幅度與速度都遠高於web開發。

三、自然語言處理