詳解增強算術賦值：“-=”操作是怎麼實現的？
阿新 • • 發佈：2020-09-11
**花下貓語：** 本篇譯文仍是 Brett 大佬的“Python語法糖”系列，他在演示“-=”操作的實現時，竟發現 CPython 的一個 bug，順手就修復了，這才是大佬……
**原題** | [Unravelling augmented arithmetic assignment](https://snarky.ca/unravelling-augmented-arithmetic-assignment/)
**作者** | Brett Cannon
**譯者** | 豌豆花下貓（“Python貓”公眾號作者）
**宣告** | 本翻譯是出於交流學習的目的，基於 [CC BY-NC-SA 4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/) 授權協議。為便於閱讀，內容略有改動。
## 序言
本文是 [Python語法糖](https://snarky.ca/tag/syntactic-sugar/) 系列文章之一。最新的原始碼可以在 desugar 專案中找到（https://github.com/brettcannon/desugar）。
## 介紹
Python 有一種叫做`增強算術賦值`（augmented arithmetic assignment）的東西。可能你不熟悉這個叫法，其實就是在做數學運算的同時進行賦值，例如 a -= b 就是減法的增強算術賦值。
增強賦值是在 [Python 2.0 版本中](https://docs.python.org/3/whatsnew/2.0.html#augmented-assignment) 加入進來的。（譯註：在 [PEP-203](https://www.python.org/dev/peps/pep-0203/) 中引入）
## 剖析`-=`
因為 Python 不允許覆蓋式賦值，所以相比其它有特殊/魔術方法的操作，它實現增強賦值的方式可能跟你想象的不完全一樣。
首先，要知道`a -= b`在語義上與 `a = a-b` 相同。但也要意識到，如果你預先知道要將一個物件賦給一個變數名，相比`a - b` 的盲操作，就可能會更高效。
例如，最起碼的好處是可以避免建立一個新物件：如果可以就地修改一個物件，那麼返回 self，就比重新構造一個新物件要高效。
因此，Python 提供了一個[\_\_isub\_\_()](https://docs.python.org/3/reference/datamodel.html#object.isub) 方法。如果它被定義在賦值操作的左側（通常稱為 [lvalue](https://en.wikipedia.org/wiki/Value_(computer_science)#lrvalue)），則會呼叫右側的值（通常稱為 rvalue ）。所以對於`a -= b` ，就會嘗試去呼叫 a.\_\_isub\_\_(b)。
如果呼叫的結果是 NotImplemented，或者根本不存在結果，那麼 Python 會退回到常規的[二元算術運算](https://snarky.ca/unravelling-binary-arithmetic-operations-in-python/)：`a - b`。（譯註：作者關於二元運算的文章，譯文[在此](https://mp.weixin.qq.com/s/ZNztqjp76OMibn9uesstHg)）
最終無論用了哪種方法，返回值都會被賦值給 a。
下面是簡單的虛擬碼，`a -= b` 被分解成：
```python
# 實現 a -= b 的虛擬碼
if hasattr(a, "__isub__"):
_value = a.__isub__(b)
if _value is not NotImplemented:
a = _value
else:
a = a - b
del _value
else:
a = a - b
```
## 歸納這些方法
由於我們已經實現了[二元算術運算](https://snarky.ca/unravelling-binary-arithmetic-operations-in-python/)，因此歸納增強算術運算並不太複雜。
通過傳入二元算術運算函式，並做一些自省（以及處理可能發生的 TypeError），它可以被漂亮地歸納成：
```python
def _create_binary_inplace_op(binary_op: _BinaryOp) -> Callable[[Any, Any], Any]:
binary_operation_name = binary_op.__name__[2:-2]
method_name = f"__i{binary_operation_name}__"
operator = f"{binary_op._operator}="
def binary_inplace_op(lvalue: Any, rvalue: Any, /) -> Any:
lvalue_type = type(lvalue)
try:
method = debuiltins._mro_getattr(lvalue_type, method_name)
except AttributeError:
pass
else:
value = method(lvalue, rvalue)
if value is not NotImplemented:
return value
try:
return binary_op(lvalue, rvalue)
except TypeError as exc:
# If the TypeError is due to the binary arithmetic operator, suppress
# it so we can raise the appropriate one for the agumented assignment.
if exc._binary_op != binary_op._operator:
raise
raise TypeError(
f"unsupported operand type(s) for {operator}: {lvalue_type!r} and {type(rvalue)!r}"
)
binary_inplace_op.__name__ = binary_inplace_op.__qualname__ = method_name
binary_inplace_op.__doc__ = (
f"""Implement the augmented arithmetic assignment `a {operator} b`."""
)
return binary_inplace_op
```
這使得定義的 -= 支援 _create_binary_inplace_op(\_\_ sub\_\_)，且可以推斷出其它內容：函式名、呼叫什麼 \_\_i*\_\_ 函式，以及當二元算術運算出問題時，該呼叫哪個可呼叫物件。
## 我發現幾乎沒有人使用`**=`
在寫本文的程式碼時，我碰上了 \*\*= 的一個奇怪的測試錯誤。在所有確保 \_\_pow\_\_ 會被適當地呼叫的測試中，有個測試用例對於 Python 標準庫中的`operator` 模組卻是失敗。
我的程式碼通常沒問題，如果程式碼與 CPython 的程式碼之間存在差異，通常會意味著是我哪裡出錯了。
但是，無論我多麼仔細地排查程式碼，我都無法定位出為什麼我的測試會通過，而標準庫則失敗。
我決定深入地瞭解 CPython 內部發生了什麼。從反彙編位元組碼開始：
```python
>>> def test(): a **= b
...
>>> import dis
>>> dis.dis(test)
1 0 LOAD_FAST 0 (a)
2 LOAD_GLOBAL 0 (b)
4 INPLACE_POWER
6 STORE_FAST 0 (a)
8 LOAD_CONST 0 (None)
10 RETURN_VALUE
```
通過它，我找到了在 eval 迴圈中的`INPLACE_POWER`：
```c
case TARGET(INPLACE_POWER): {
PyObject *exp = POP();
PyObject *base = TOP();
PyObject *res = PyNumber_InPlacePower(base, exp, Py_None);
Py_DECREF(base);
Py_DECREF(exp);
SET_TOP(res);
if (res == NULL)
goto error;
DISPATCH();
}
```
出處：https://github.com/python/cpython/blob/v3.8.3/Python/ceval.c#L1677
然後找到`PyNumber_InPlacePower()`：
```c
PyObject *
PyNumber_InPlacePower(PyObject *v, PyObject *w, PyObject *z)
{
if (v->ob_type->tp_as_number &&
v->ob_type->tp_as_number->nb_inplace_power != NULL) {
return ternary_op(v, w, z, NB_SLOT(nb_inplace_power), "**=");
}
else {
return ternary_op(v, w, z, NB_SLOT(nb_power), "**=");
}
}
```
出處：https://github.com/python/cpython/blob/v3.8.3/Objects/abstract.c#L1172
鬆了口氣~程式碼顯示如果定義了\_\_ipow\_\_，則會呼叫它，但是隻在沒有\_\_ipow\_\_ 時，才會呼叫\_\_pow\_\_。
然而，正確的做法應該是：**如果呼叫\_\_ipow\_\_ 時出問題，返回了 NotImplemented 或者根本不存在返回，那麼就應該呼叫 \_\_pow\_\_ 和\_\_rpow\_\_。**
換句話說，當存在\_\_ipow\_\_ 時，以上程式碼會意外地跳過 a\*\*b 的後備語義！
實際上，大約11個月前，這個問題被部分地發現，並[提交了 bug](https://bugs.python.org/issue38302)。我修復了該問題，並[在 python-dev 上](https://mail.python.org/archives/list/python-dev%40python.org/thread/MJTHPFSHGH7RIEKXQKYUBHCZBW3T3JTR/)作了說明。
截至目前，這似乎會在 Python 3.10 中修復，我們還需要在 3.8 和 3.9 的文件中新增關於 \*\*= 有 bug 的通知（該問題可能很早就有了，但較舊的 Python 版本已處於僅安全維護模式，因此文件不會變更）。
修復的程式碼很可能不會被移植，因為它是語義上的變化，並且很難判斷是否有人意外地依賴了有問題的語義。但是這個問題花了很長時間才被注意到，這就表明 \*\*= 的使用並不廣泛，否則問題早就被發現