一行代碼讓 Python 的運行速度提高100倍
“一行代碼讓python的運行速度提高100倍”這絕不是嘩眾取寵的論調。
我們來看一下這個最簡單的例子,從1一直累加到1億。
最原始的代碼:
結果:
我們來加一行代碼,再看看結果:
結果:
是不是快了100多倍呢?
那麽下面就分享一下“為啥numba庫的jit模塊那麽牛掰?”
NumPy的創始人Travis Oliphant在離開Enthought之後,創建了CONTINUUM,致力於將Python大數據處理方面的應用。最近推出的Numba項目能夠將處理NumPy數組的Python函數JIT編譯為機器碼執行,從而上百倍的提高程序的運算速度。
Numba項目的主頁上有Linux下的詳細安裝步驟。編譯LLVM需要花一些時間。
Windows用戶可以從Unofficial Windows Binaries for Python Extension Packages下載安裝LLVMPy、meta和numba等幾個擴展庫。
下面我們看一個例子:
numba中提供了一些修飾器,它們可以將其修飾的函數JIT編譯成機器碼函數,並返回一個可在Python中調用機器碼的包裝對象。為了能將Python函數編譯成能高速執行的機器碼,我們需要告訴JIT編譯器函數的各個參數和返回值的類型。我們可以通過多種方式指定類型信息,在上面的例子中,類型信息由一個字符串’f8(f8[:])’指定。其中’f8’表示8個字節雙精度浮點數,括號前面的’f8’表示返回值類型,括號裏的表示參數類型,’[:]’表示一維數組。因此整個類型字符串表示sum1d()是一個參數為雙精度浮點數的一維數組,返回值是一個雙精度浮點數。
如果希望JIT能針對所有類型的參數進行運算,可以使用autojit:
autoit雖然可以根據參數類型動態地產生機器碼函數,但是由於它需要每次檢查參數類型,因此計算速度也有所降低。numba的用法很簡單,基本上就是用jit和autojit這兩個修飾器,和一些類型對象。下面的程序列出numba所支持的所有類型:
工作原理
numba的通過meta模塊解析Python函數的ast語法樹,對各個變量添加相應的類型信息。然後調用llvmpy生成機器碼,最後再生成機器碼的Python調用接口。
meta模塊
通過研究numba的工作原理,我們可以找到許多有用的工具。例如meta模塊可在程序源碼、ast語法樹以及Python二進制碼之間進行相互轉換。下面看一個例子:
decompile_func能將函數的代碼對象反編譯成ast語法樹,而str_ast能直觀地顯示ast語法樹,使用這兩個工具學習Python的ast語法樹是很有幫助的。
而python_source可以將ast語法樹轉換為Python源代碼:
decompile_pyc將上述二者結合起來,它能將Python編譯之後的pyc或者pyo文件反編譯成源代碼。下面我們先寫一個tmp.py文件,然後通過py_compile將其編譯成tmp.pyc。
下面調用decompile_pyc將tmp.pyc顯示為源代碼:
llvmpy模塊
LLVM是一個動態編譯器,llvmpy則可以通過Python調用LLVM動態地創建機器碼。直接通過llvmpy創建機器碼是比較繁瑣的,例如下面的程序創建一個計算兩個整數之和的函數,並調用它計算結果。
f_add就是一個動態生成的機器碼函數,我們可以把它想象成C語言編譯之後的函數。在上面的程序中,我們通過ee.run_function調用此函數,而實際上我們還可以獲得它的地址,然後通過Python的ctypes模塊調用它。
首先通過ee.get_pointer_to_function獲得f_add函數的地址:
然後通過ctypes.PYFUNCTYPE創建一個函數類型:
最後通過f_type將函數的地址轉換為可調用的Python函數,並調用它:
numba所完成的工作就是:
解析Python函數的ast語法樹並加以改造,添加類型信息;
將帶類型信息的ast語法樹通過llvmpy動態地轉換為機器碼函數,然後再通過和ctypes類似的技術為機器碼函數創建包裝函數供Python調用。
一行代碼讓 Python 的運行速度提高100倍