作為程序員或者軟件測試員們的一員，置信大家一定都聽說過python語言。

Python語言這兩年是越來越火了，它漸漸崛起也是有緣由的。

比如市場需求、入門簡單易學、支持多種語言……當然這些都是很官方的。

說白了，就是

寫個web服務，可以用python；

寫個服務器腳本，可以用python；

寫個桌面客戶端，可以用python；

做機器學習數據挖掘，可以用python；

寫測試工具自動化腳本依舊可以用python……

Python語言是免費支持的！

既然那麽好，如何利用python進行有意義的行（zhuan）為（錢）呢？

今天，小編和大家一起學習python爬蟲技術呢？

一、老生常談-學習準備

學會提前準備是一切好的開始，學習語言更是如此。興趣是最好的老師，學習爬蟲技術，可以給自己定個目標，比如為了妹紙，爬取時尚網站的數據信息，打包給那個她······

基礎知識必須掌握

什麽是爬蟲？數據是從哪裏來的？這些基礎到不行的知識點，請自行搜索！你還得掌握：

·HTML，了解網頁的結構，內容等，幫助後續的數據爬取。

·Python

因為比較簡單，零基礎可以聽一些大牛的博客文章，或者聽別人是怎麽說

python玩轉自動化測試，這個點有基礎的同學，可以略過哈~

·TCP/IP協議，HTTP協議

了解在網絡請求和網絡傳輸上的基本原理，幫助今後寫爬蟲的時候理解爬蟲的邏輯。

二、爬取整個網站的構思

當用戶在瀏覽網頁時，會看圖片。

點擊網址看到的圖片，是用戶輸入網址-DNS服務器-服務器主機-服務器請求-服務器解析-發送瀏覽器HTML、JS、CSS-瀏覽器解析-解析圖片

爬蟲需要爬取，有HTML代碼構成的網頁，然後獲取圖片和文字！

三、環境配置

環境配置總是最重要的一個環境，做過測試的都知道。python也一樣，需要掌握幾款好用的IDE，我們來看看常用的幾個：

1、Notepad++，簡單，但是提示功能不強

2、PyCharm，用於一般IDE具備的功能，比如，調試、語法高亮、代碼跳轉、等等，同時可用於Django開發，支持Google App Engine，更酷的是，PyCharm支持IronPython！

好的開發工具是一切工作完成的前提。

爬取這麽多數據，賺錢豈不是分分鐘~技藝快學起來吧！

原文鏈接：http://www.magedu.com/71963.html

本文出自 “馬哥Linux培訓” 博客，請務必保留此出處http://mageedu.blog.51cto.com/4265610/1931428

如何自學Python爬蟲技術