1. 程式人生 > >一行代碼讓 Python 的運行速度提高100倍

一行代碼讓 Python 的運行速度提高100倍

int 相互轉換 linu ack 用法 pyo 高速 其中 ef6

python一直被病垢運行速度太慢,但是實際上python的執行效率並不慢,慢的是python用的解釋器Cpython運行效率太差。

“一行代碼讓python的運行速度提高100倍”這絕不是嘩眾取寵的論調。

我們來看一下這個最簡單的例子,從1一直累加到1億。

最原始的代碼:

技術分享圖片

結果:
技術分享圖片
我們來加一行代碼,再看看結果:
技術分享圖片
結果:
技術分享圖片
是不是快了100多倍呢?

那麽下面就分享一下“為啥numba庫的jit模塊那麽牛掰?”

NumPy的創始人Travis Oliphant在離開Enthought之後,創建了CONTINUUM,致力於將Python大數據處理方面的應用。最近推出的Numba項目能夠將處理NumPy數組的Python函數JIT編譯為機器碼執行,從而上百倍的提高程序的運算速度。

Numba項目的主頁上有Linux下的詳細安裝步驟。編譯LLVM需要花一些時間。
Windows用戶可以從Unofficial Windows Binaries for Python Extension Packages下載安裝LLVMPy、meta和numba等幾個擴展庫。

下面我們看一個例子:
技術分享圖片
numba中提供了一些修飾器,它們可以將其修飾的函數JIT編譯成機器碼函數,並返回一個可在Python中調用機器碼的包裝對象。為了能將Python函數編譯成能高速執行的機器碼,我們需要告訴JIT編譯器函數的各個參數和返回值的類型。我們可以通過多種方式指定類型信息,在上面的例子中,類型信息由一個字符串’f8(f8[:])’指定。其中’f8’表示8個字節雙精度浮點數,括號前面的’f8’表示返回值類型,括號裏的表示參數類型,’[:]’表示一維數組。因此整個類型字符串表示sum1d()是一個參數為雙精度浮點數的一維數組,返回值是一個雙精度浮點數。

需要註意的是,JIT所產生的函數只能對指定的類型的參數進行運算:
技術分享圖片
如果希望JIT能針對所有類型的參數進行運算,可以使用autojit:
技術分享圖片
autoit雖然可以根據參數類型動態地產生機器碼函數,但是由於它需要每次檢查參數類型,因此計算速度也有所降低。numba的用法很簡單,基本上就是用jit和autojit這兩個修飾器,和一些類型對象。下面的程序列出numba所支持的所有類型:
技術分享圖片
工作原理
numba的通過meta模塊解析Python函數的ast語法樹,對各個變量添加相應的類型信息。然後調用llvmpy生成機器碼,最後再生成機器碼的Python調用接口。

meta模塊
通過研究numba的工作原理,我們可以找到許多有用的工具。例如meta模塊可在程序源碼、ast語法樹以及Python二進制碼之間進行相互轉換。下面看一個例子:

技術分享圖片
decompile_func能將函數的代碼對象反編譯成ast語法樹,而str_ast能直觀地顯示ast語法樹,使用這兩個工具學習Python的ast語法樹是很有幫助的。
技術分享圖片
而python_source可以將ast語法樹轉換為Python源代碼:
技術分享圖片
decompile_pyc將上述二者結合起來,它能將Python編譯之後的pyc或者pyo文件反編譯成源代碼。下面我們先寫一個tmp.py文件,然後通過py_compile將其編譯成tmp.pyc。
技術分享圖片

下面調用decompile_pyc將tmp.pyc顯示為源代碼:
技術分享圖片
llvmpy模塊
LLVM是一個動態編譯器,llvmpy則可以通過Python調用LLVM動態地創建機器碼。直接通過llvmpy創建機器碼是比較繁瑣的,例如下面的程序創建一個計算兩個整數之和的函數,並調用它計算結果。
技術分享圖片
f_add就是一個動態生成的機器碼函數,我們可以把它想象成C語言編譯之後的函數。在上面的程序中,我們通過ee.run_function調用此函數,而實際上我們還可以獲得它的地址,然後通過Python的ctypes模塊調用它。
首先通過ee.get_pointer_to_function獲得f_add函數的地址:
技術分享圖片
然後通過ctypes.PYFUNCTYPE創建一個函數類型:
技術分享圖片
最後通過f_type將函數的地址轉換為可調用的Python函數,並調用它:
技術分享圖片
numba所完成的工作就是:
解析Python函數的ast語法樹並加以改造,添加類型信息;
將帶類型信息的ast語法樹通過llvmpy動態地轉換為機器碼函數,然後再通過和ctypes類似的技術為機器碼函數創建包裝函數供Python調用。

一行代碼讓 Python 的運行速度提高100倍