1. 程式人生 > >基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

前言

本次分析基於 CPython 直譯器,python3.x版本

在python2時代,整型有 int 型別和 long 長整型,長整型不存在溢位問題,即可以存放任意大小的整數。在python3後,統一使用了長整型。這也是吸引科研人員的一部分了,適合大資料運算,不會溢位,也不會有其他語言那樣還分短整型,整型,長整型...因此python就降低其他行業的學習門檻了。


 

那麼,不溢位的整型實現上是否可行呢?

不溢位的整型的可行性

儘管在 C 語言中,整型所表示的大小是有範圍的,但是 python 程式碼是儲存到文字檔案中的,也就是說,python程式碼中並不是一下子就轉化成 C 語言的整型的,我們需要重新定義一種資料結構來表示和儲存我們新的“整型”。

怎麼來儲存呢,既然我們要表示任意大小,那就得用動態的可變長的結構,顯然,陣列的形式能夠勝任:

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

 

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

 

長整型的儲存形式

長整型在python內部是用一個 int 陣列( ob_digit[n] )儲存值的. 待儲存的數值的低位資訊放於低位下標, 高位資訊放於高下標.比如要儲存 123456789 較大的數字,但我們的int只能儲存3位(假設):

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

 

低索引儲存的是地位,那麼每個 int 元素儲存多大的數合適?有同學會認為陣列中每個int存放它的上限(2^31 - 1),這樣表示大數時,陣列長度更短,更省空間。但是,空間確實是更省了,但操作會程式碼麻煩,比方大數做乘積操作,由於元素之間存在乘法溢位問題,又得多考慮一種溢位的情況。

怎麼來改進呢?在長整型的 ob_digit 中元素理論上可以儲存的int型別有 32 位,但是我們只儲存 15位,這樣元素之間的乘積就可以只用 int 型別儲存即可, 對乘積結果做位移操作就能得到尾部和進位 carry了,因此定義位移長度為 15:

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

 

PyLong_MASK 也就是 0b111111111111111 ,通過與它做位運算 與 的操作就能得到低位數。

有了這種存放方式,在記憶體空間允許的情況下,我們就可以存放任意大小的數字了。

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

 

長整型的運算

加法與乘法運算都可以使用我們小學的豎式計算方法,例如對於加法運算:

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

 

為方便理解,表格展示的是陣列中每個元素儲存的是 3 位十進位制數,計算結果儲存在變數z中,那麼 z 的陣列最多隻要 size_a+1 的空間(兩個加數中陣列較大的元素個數 + 1),因此對於加法運算,處理過程就是各個對應位置的元素進行加法運算,計算過程就是豎式計算的方式:

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

 

這部分的過程就是,先將兩個加數中長度較長的作為第一個加數,再為用於儲存結果的 z 申請空間,兩個加數從陣列從低位向高位計算,處理結果的進位,將結果的低 15 位賦值給 z 相應的位置。最後的 long_normalize(z)是一個整理函式,因為我們 z 申請了 a_size+1 的空間,但不意味著 z 會全部用到,因此這個函式會做一些調整,去掉多餘的空間,陣列長度調整至正確的數量。

若不方便理解,附錄將給出更利於理解的 python 程式碼。

豎式計算不是按個位十位來計算的嗎,為什麼這邊用整個元素?

豎式計算方法適用與任何進位制的數字,我們可以這樣來理解,這是一個 32768 (2的15次方) 進位制的,那麼就可以把陣列索引為 0 的元素當做是 “個位”,索引 1 的元素當做是 “十位”。

乘法運算

乘法運算一樣可以用豎式的計算方式,兩個乘數相乘,存放結果的 z 的元素個數為 size_a+size_b即可:

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

 

這裡需要主意的是,當乘數 b 用索引 i 的元素進行計算時,結果 z 也是從 i 索引開始儲存。先建立 z 並初始化為 0,這 z 進行累加,加法運算則可以利用前面的 x_add 函式:

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

 

這大致就是乘法的處理過程,豎式乘法的複雜度是n^2,當數字非常大的時候(陣列元素個數超過 70 個)時,python會選擇效能更好,更高效的 Karatsuba multiplication 乘法運算方式,這種的演算法複雜度是 3nlog3≈3n1.585,當然這種計算方法已經不是今天討論的內容了。有興趣的小夥伴可以去了解下。

總結

要想支援任意大小的整數運算,首先要找到適合存放整數的方式,本篇介紹了用 int 陣列來存放,當然也可以用字串來儲存。找到合適的資料結構後,要重新定義整型的所有運算操作,本篇雖然只介紹了加法和乘法的處理過程,但其實還需要做很多的工作諸如減法,除法,位運算,取模,取餘等。

python程式碼以文字形式存放,因此最後,還需要一個將字串形式的數字轉換成這種整型結構:

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位

 

這部分不是本篇的重點,有興趣的同學可以看看這個轉換的過程,這個過程還是比較繁瑣的,因為它還要處理進位制問題,能夠處理 0xfff3 或者 0b1011 等情況。

參考

https://github.com/python/cpython/blob/master/Objects/longobject.c

附錄

基於 CPython 直譯器,為你深度解析為什麼Python中整型不會溢位