用 4 行代碼畫一幅中國地圖
先來聊聊為什麽做數據分析一定要用Python
或R
語言。編程語言這麽多種,Java
, PHP
都很成熟,但是為什麽在最近熱火的數據分析領域,很多人選擇用Python
語言?
數據分析只是一個需求,理論上來講,任何語言都可以滿足任何需求,只是麻煩與簡易之別。Python
這門語言誕生也相當之早,它的第一個版本是26
年前發表的,曾經(或者說當前)也被用於web開發,但是就流行程度來說,遠遠幹不過Java
和PHP
。
東方不亮西方亮,在與Java
幹仗失敗的這20幾年時光裏,Python
練就了一身獨門武藝,是Java
和PHP
遠遠不及的(當然以後是不是能追得上來,目前還不好說)。
你要說做個博客網站,Python
PHP
和Java
也是分分鐘的事情。你要說做個BBS
網站,做個電商網站,PHP
手到擒來。Python
在這些方面和Java
或者PHP
競爭,基本就是作死的節奏,雖然也有django
這樣的框架,但流行程度遠遠不及其他語言。但在這些年默默的失敗背後,有一幫研究人員用Python
幹出了一些驚天地泣鬼神的神器,使Python
在數據研究領域做到了除了R
語言以外基本無人能及的地步。Jupyter
首先,第一神器是Jupyter
。
如果你是第一次使用,可能搞不清楚它的開發者做這麽個鬼東西出來幹什麽,說它是博客系統也不像,說它是web服務器也不像,但它就是有用。因為我們傳統的web開發首先想的就是面向公眾,你做一個服務器就是要服務成千上萬瀏覽器的,當然Jupyter
Markdown
的一個增強版,畢竟Markdown
還只能顯示文字,最多再加上一些圖片,而Jupyter
是可以直接運行Python
代碼的。當然,也有些人試圖在Jupyter
裏運行PHP
或Java
代碼,但顯然成不了氣候。因為Python
這個語言天生就是腳本語言,可能將來唯一有希望往裏移植的就是Javascript
,這貨也是一個腳本語言。腳本語言的好處就是不用編譯,一行一個結果。
縱觀計算機語言發展歷史,就是一個從繁到簡的過程,C語言需要編譯+鏈接才能運行,Java
javac
一下,把編譯和鏈接合二為一,PHP
更簡單,直接運行就行了,連編譯都省了。但是還不夠直接,因為還要編寫一個.php
文件存盤,然後才能運行,到了Python
以及其它腳本語言這裏,可以直接在殼裏運行,但最大的問題是運行可以運行,無法保存,要保存就又要跟傳統方式一樣,找個編輯器來,或者vi
,存成文件以後才可以運行。Jupyter
最大的優點就是:
它本身還是一個外殼環境,可以運行腳本,但同時也幫你自動把這些腳本代碼保存了下來,不但保存腳本代碼,並且你插在腳本代碼當中的所有註釋不是普通註釋,而是各種格式化的Markdown
都一並幫你保存下來,並且可以隨時修改。所以它兼具了腳本外殼和文件管理系統的優點,從此你開發Python
代碼再也不用先在IDE裏寫好代碼,然後再到終端裏去運行,而直接在一個web
頁面上就全部搞定了。
Java
有這樣的工具嗎?PHP
有這樣的工具嗎?
沒有,所以我們必須選擇Python
。
Pandas
第二神器是Pandas
。如果我讓你讀取一個csv
文件,然後求每一列數據的平均值,最大值,最小值,方差,用Java
或PHP
怎麽做?你首先要fopen
一個文件,然後一行一行讀進來,再給它整個數據結構,然後弄個循環計算,最後你可能還要fclose
這個文件。總之代碼一坨,麻煩死。而Python
語言因為有Pandas
這個神器,一行代碼搞定:
df = pd.read_csv('a.csv')
行了,從此以後,df
就是這個DataFrame
,它本身就是一個強大的數據結構,也可以把它理解成mysql
數據庫中的一張表吧,各種增刪改查,求總和,求平均都是一行代碼的事情。所以有這樣強大的庫,研究人員有什麽理由選擇Java
?
scikit-learn
第三神器scikit-learn
,一般縮寫為sklearn
,各種機器學習算法,基本上只要你能想得到的,線性回歸,邏輯回歸,SVM,隨機森林,最近鄰居等等等等,各種算法全部在這裏面(http://scikit-learn.org/stable/user_guide.html),簡而言之,只有你想不到,沒有它做不到,不詳述。所以這就是為什麽玩機器學習必選Python
的原因,你給我找一個Java
或者PHP
有這樣多種算法的庫來?
matplotlib
第四神器是matplotlib
。如果我讓你根據上面csv
文件裏的信息,畫一個圖,用Java
該怎麽做?你當然會去找第三方插件庫,然後又是一通折騰,終於把圖做出來,然後編譯,然後運行。如果我要改配色呢?如果我要求畫地圖呢?如果要畫熱力圖呢?那個麻煩就不是一星半點,而對於matplotlib
來說,簡直就是小菜一碟。簡單的直方圖就不說了,下面重點介紹如何用matplotlib
配合Basemap
畫一個中國地圖。
安裝Basemap
先安裝相應的組件。我假定你已經都安裝好了Python
以及Jupyter
等等。如果沒有安裝的話,就去嘗試一下brew install python3
和brew install jupyter
吧,網上有很多教程。
然後你需要用pip3 install
很多我們下面可能需要用到的庫。但是因為我們要用一個叫做Basemap
的庫,而這個庫沒有辦法用簡單的pip3 install
安裝,所以稍多兩個步驟:
brew install geos pip3 install https://github.com/matplotlib/basemap/archive/v1.1.0.tar.gz
開始畫圖
啟動Jupyter
之後,我們還是本著從最簡單的代碼開始。先畫一個世界地圖:
import matplotlib.pyplot as plt from mpl_toolkits.basemap import Basemap plt.figure(figsize=(16,8)) m = Basemap() m.drawcoastlines() plt.show()
前面兩行引入相應的庫,真正的代碼就4行,夠簡單吧。第1行甚至可以不寫,它定義了圖的大小。第2行我們創建一個地圖,第3行把海岸線畫上,第4行顯示這個地圖,就是這樣:
你用Java
的4
行代碼畫一個地圖出來?
然後我們開始畫上國家,又是1行代碼:
m.drawcountries(linewidth=1.5)
就變成了這樣:
用Java
可能嗎?用PHP
可能嗎?
如果我們想顯示中國地圖,只需要在創建Basemap
時指定一下經緯度就行了:
m = Basemap(llcrnrlon=73, llcrnrlat=18, urcrnrlon=135, urcrnrlat=53)
然後就得到了中國地圖:
看上去有點變形,這是因為我們沒有添加任何投影的原因,Basemap
提供24
種不同的投影方式,你可以自己一個個試一下,比較常用的是蘭勃特投影
,我們添加一下:
m = Basemap(llcrnrlon=77, llcrnrlat=14, urcrnrlon=140, urcrnrlat=51, projection='lcc', lat_1=33, lat_2=45, lon_0=100)
這次終於看上去比較正常了:
我們想加上省的邊界怎麽辦呢?Basemap
缺省的包裏沒有中國的省區,只有美國的州,畢竟是美國人做的嘛。不過好在世界很大,有專門的國際組織幹這事,在這裏(https://gadm.org/download_country_v3.html)你可以下載全世界任何一個國家的行政區劃Shape
文件,然後我們給它加上:
m.readshapefile('CHN_adm_shp/CHN_adm1', 'states', drawbounds=True)
然後就得到了下圖:
再往後,你還可以往圖上改顏色啦,寫數字啦,這些就留待你研究吧。總之,我想說的是,用Python
畫地圖真的超容易。
最後再為Java
和PHP
美言幾句:大家分工不同,Java
和PHP
雖然做這樣的數字研究不是很方便,但還是非常適合web
開發的,而Python
在這方面並不適合。所以通常的做法是:首先用Python
驗證算法,經過一系列復雜的計算,把算法確定下來之後,當要應用到web
上的時候,再用Java
或者PHP
把最終形成的結論重寫一遍,這樣就能充分利用各種語言的優勢。
本文由馬哥教育Python學院提供支持。
用 4 行代碼畫一幅中國地圖