學習python已經很久了，從各個大牛的技術部落格中獲益良多。現在也想把自己的小小收穫公開一下，以方便大家學習python，讓python更加普及的應用。下面我準備寫一個爬蟲例項：從鏈家網爬取福田區二手房的資料。

環境：

win10專業版

python3.6（需要使用模組BeatifulSoup；pandas；Selector；time；re）

Office2013

背景知識：

Xpath的使用

pandas的使用

request的使用

    python爬蟲能力大致分為三個層次：第一個層次就是靜態網頁的爬取；第二個層次就是非同步載入的網頁資料的爬取；第三個層次使用加密請求資料的網站資料爬取（使用selenium）。

    今天我們的任務是非常簡單的爬取靜態網站資料。要爬取的是2017年10月24日的鏈家網福田區二手房掛牌房源資料（圖片擷取是為了讓大家看清網頁機構並不是當天擷取）。鏈家網的資料爬取非常簡單，步驟如下：

一、觀察網站地址和不同頁碼的網址變化，得到目標網頁100頁的網址列表；編寫request請求的頭部資訊（讓對方知道你是一個瀏覽器）；最好加入代理ip地址；

我們開啟第二頁的目標網址是：https://sz.lianjia.com/ershoufang/futianqu/pg2/
所以我們可以判斷pg後面就是頁碼的數字。

二、製作一個空表格；

三、編寫函式將每一頁的資訊都爬取下來變成表格（使用Selector的xpath定位資訊）；

四、使用迴圈將所有頁面上的房源資訊（房屋介紹的文字資訊；房屋編號；圖片地址）寫入空的表格。

#coding=utf-8
from bs4 import BeautifulSoup
import re
import requests
from parsel import Selector
import pandas as pd
import time
#############################################################
'''
這個模組爬取鏈家網福田區的二手房資訊；僅僅爬取了前100頁的資料
為了避免反爬蟲策略，設定每5秒鐘抓取一頁資訊
@time=2017-10-24
@author=wq

'''

###########################################################
# 進行網路請求的瀏覽器頭部
 headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 BIDUBrowser/8.7 Safari/537.36'

}
# pages是不同頁碼的網址列表
pages=['https://sz.lianjia.com/ershoufang/futianqu/pg{}/'.format(x) for x in range(1,100)]
############################################################

#############################################################
lj_futian = pd.DataFrame(columns=['code','dec','img'])
count=0
def l_par_html(url):
    # 這個函式是用來獲取鏈家網福田區二手房的資訊
    wr=requests.get(url,headers=headers,stream=True)
    sel=Selector(wr.text)
    # describ用來獲取房源的文字資訊
    describ=sel.xpath('//li[@class="clear"]//text()').extract()
    new_information=([x for x in describ if x != '關注'and x != '加入對比' ])
    sep_infor=' '.join(new_information).split(r'/平米')[:-1]
    # hou_code用來獲取房源的編號
    hou_code=sel.xpath('//li[@class="clear"]/a/@data-housecode').extract()
    # hou_image用來獲取房源的圖片
    hou_image=sel.xpath('//li[@class="clear"]/a/img/@data-original').extract()
    # 將資訊形成表格全部寫到一起
    pages_info=pd.DataFrame(list(zip(hou_code,sep_infor,hou_image)),columns=['code','dec','img'])
    return pages_info

for page in pages:
    a=l_par_html(page)
    count=count+1
    print ('the '+str(count)+' page is sucessful')
    time.sleep(5)
    lj_futian=pd.concat([lj_futian,a],ignore_index=True)

# 將表格資料輸出到excel檔案
lj_futian.to_excel('d:\\lianjia_ershou_futian_100.xlsx')
 

  


  同樣，改動一下網址和excel檔案地址，你可以繼續抓取深圳每個區的二手房資料。為了簡單例項我只使用了福田區的二手房資料。大家可以看到，抓取的資料全部集中到三列中。
      可以從表格中看到抓取的資訊是非結構化的資料，不能直接split然後取值。需要使用正則進行抓取，我會在下一章將資料清理拆分到可以仔細分析的粒度。
    各位，有疑問的或者提出改進意見的，請留言或者發郵件[email protected]！
謝謝！