1. 程式人生 > >2018年蘇州房價都快超過上海了,python技術實踐分析一波!

2018年蘇州房價都快超過上海了,python技術實踐分析一波!

最近在學習python,不禁感嘆其強大的資料處理能力,簡單幾句程式碼即可從網際網路中獲取千萬資料。生活在這個資料為王的時代,我們需要學習著如何將資料為我所用。

作為一個兩年研發三年產品的網際網路青年,依然對蘇州房價望而卻步。房價天天漲,剛需勇可追,但是什麼時候買?買哪裡?價格如何?是最值得關心的幾個問題,下面技術小哥哥附身,用技術和資料給你一個答案。

技術環境

環境:python3.6

引用模組:

urllib —urllib提供了一系列用於操作URL的功能,urllib的request模組可以非常方便地抓取URL內容

BeautifulSoup —可以從HTML或XML檔案中很方便的提取資料

xlwt —用於操作Excel將抓取的資料儲存到Excel

資料圖表:hcharts

小編給大家推薦一個學習氛圍超好的地方,python交流企鵝裙:【611+530+101】適合在校大學生,小白,想轉行,想通過這個找工作的加入。裙裡有大量學習資料,有大神解答交流問題,每晚都有免費的直播課程

獲取蘇州各區十年內房價資料

一、頁面請求

安居客上提供了從2009年到現在蘇州的房價資料,就看上了這部分資料,開始爬蟲之旅。現在爬蟲肆虐,很多網站都有防爬蟲機制,有防的方式也有攻的方法,道高一尺魔高一丈,攻防較量不相上下。安居客上也有防禦機制,第一次請求ip就被封了,以為不能爬了,幾個小時後IP被釋放了,python模擬瀏覽器請求,可正常抓取,沒想到其防禦機制不過如此而已。

二、資料解析

資料能夠抓取到本地,就已經是成功打開了資料世界的大門,剩下的就是解析資料,分析頁面獲得需要的資料欄位,逐個欄位分析,這裡資料解析使用的 BeautifulSoup庫,它可以檢索出整個頁面中任何一個你所需要的欄位,一層層剝去HTML的外衣,剩下的就是赤裸裸的資料。

三、資料儲存

資料解析為我所需要的資訊,剩下就是儲存了,之前練習的時候有將爬取的資料存到MySql中,本次為了便於簡單分析,直接將抓取的資料儲存的Excel中,使用了xlwt 模組,簡單幾行程式碼就能將資料儲存起來,非常方便。

蘇州各區10年內房價資料

四、資料分析

python本身也有很多包(5大資料分析包:Matplotlib 、Numpy 、Pandas 、Scikit-Learn 、Scipy )可用用於資料分析挖掘,本次沒有做過多研究,使用了線上製表軟體(資料圖表:hcharts)生成了一些視覺化的圖表,簡單做了幾個資料趨勢分析、佔比分析和優勢分析。

以下是安居客網站抓取的蘇州十年資料,生成的趨勢圖:

此圖告誡我們房價猶如登天的梯,無限延伸不見頂端。蘇州房價在2016年初經歷了一次山洪暴發似的增長,一躍成為新一線城市。因此還是老話說得好,買房要趁早。

另外還抓取了貝殼網目前在售的所有房源資訊分析了蘇州各區域住宅類房源的均價(排除別墅、商用、寫字樓等),目前還算可以接受的屬吳江、吳中、相城三個區的房價。

從目前在售的房源數量上看,吳中和吳江房源數量最多,正在吸收著一批批新蘇州人,不斷髮展壯大的道路上。從地理優勢上看瀕臨上海的吳江似乎更有潛力。

以下是貝殼網目前在售的所有新房房源資訊(不包含二手房),供計劃購房的同志們參考。

貝殼蘇州在售住宅類房源

總結

什麼時候買——如果首付攢夠了就現在買吧,觀望帶來失望。

買哪裡——吳江、吳中、相城將是新蘇州城,個人更看好吳江。

價格如何——整體來看蘇州房價還沒那麼離譜,該出手時就出手。

儘管國家對房價不斷調控,增幅沒那麼陡峭了,但緩慢上升的趨勢不可抑制,畢竟房價的上漲牽動著國家GDP的命脈。