1. 程式人生 > >Python 進階之原始碼分析:如何將一個類方法變為多個方法?

Python 進階之原始碼分析:如何將一個類方法變為多個方法?

前一篇文章《Python 中如何實現引數化測試?》中,我提到了在 Python 中實現引數化測試的幾個庫,並留下一個問題:

它們是如何做到把一個方法變成多個方法,並且將每個方法與相應的引數繫結起來的呢?

我們再提煉一下,原問題等於是:在一個類中,如何使用裝飾器把一個類方法變成多個類方法(或者產生類似的效果)?

# 帶有一個方法的測試類
class TestClass:
    def test_func(self):
        pass

# 使用裝飾器,生成多個類方法
class TestClass:
    def test_func1(self):
        pass
    def test_func2(self):
        pass
    def test_func3(self):
        pass

Python 中裝飾器的本質就是移花接木,用一個新的方法來替代被裝飾的方法。在實現引數化的過程中,我們介紹過的幾個庫到底用了什麼手段/祕密武器呢?

1、ddt 如何實現引數化?

先回顧一下上篇文章中 ddt 庫的寫法:

import unittest
from ddt import ddt,data,unpack
@ddt
class MyTest(unittest.TestCase):
    @data((3, 1), (-1, 0), (1.2, 1.0))
    @unpack
    def test(self, first, second):
        pass

ddt 可提供 4 個裝飾器:1 個加在類上的 @ddt,還有 3 個加在類方法上的 @data、@unpack 和 @file_data(前文未提及)。

先看看加在類方法上的三個裝飾器的作用:

# ddt 版本(win):1.2.1
def data(*values):
    global index_len
    index_len = len(str(len(values)))
    return idata(values)

def idata(iterable):
    def wrapper(func):
        setattr(func, DATA_ATTR, iterable)
        return func
    return wrapper

def unpack(func):
    setattr(func, UNPACK_ATTR, True)
    return func

def file_data(value):
    def wrapper(func):
        setattr(func, FILE_ATTR, value)
        return func
    return wrapper

它們的共同作用是在類方法上 setattr() 新增屬性。至於這些屬性在什麼時候使用?下面看看加在類上的 @ddt 裝飾器原始碼:

第一層 for 迴圈遍歷了所有的類方法,然後是 if/elif 兩條分支,分別對應 DATA_ATTR/FILE_ATTR,即對應引數的兩種來源:資料(@data)和檔案(@file_data)。

elif 分支有解析檔案的邏輯,之後跟處理資料相似,所以我們把它略過,主要看前面的 if 分支。這部分的邏輯很清晰,主要完成的任務如下:

  • 遍歷類方法的引數鍵值對
  • 根據原方法及引數對,建立新的方法名
  • 獲取原方法的文件字串
  • 對元組和列表型別的引數作解包
  • 在測試類上新增新的測試方法,並繫結引數與文件字串

分析原始碼,可以看出,@data、@unpack 和 @file_data 這三個裝飾器主要是設定屬性並傳參,而 @ddt 裝飾器才是核心的處理邏輯。

這種將裝飾器分散(分別加在類與類方法上),再組合使用的方案,很不優雅。為什麼就不能統一起來使用呢?後面我們會分析它的難言之隱,先按下不表,看看其它的實現方案是怎樣的?

2、parameterized 如何實現引數化?

先回顧一下上篇文章中 parameterized 庫的寫法:

import unittest
from parameterized import parameterized
class MyTest(unittest.TestCase):
    @parameterized.expand([(3,1), (-1,0), (1.5,1.0)])
    def test_values(self, first, second):
        self.assertTrue(first > second)

它提供了一個裝飾器類 @parameterized,原始碼如下(版本 0.7.1),主要做了一些初始的校驗和引數解析,並非我們關注的重點,略過。

我們主要關注這個裝飾器類的 expand() 方法,它的文件註釋中寫到:

A "brute force" method of parameterizing test cases. Creates new test cases and injects them into the namespace that the wrapped function is being defined in. Useful for parameterizing tests in subclasses of 'UnitTest', where Nose test generators don't work.

關鍵的兩個動作是:“creates new test cases(建立新的測試單元)”和“inject them into the namespace…(注入到原方法的名稱空間)”。

關於第一點,它跟 ddt 是相似的,只是一些命名風格上的差異,以及引數的解析及繫結不同,不值得太關注。

最不同的則是,怎麼令新的測試方法生效?

parameterized 使用的是一種“注入”的方式:

inspect 是個功能強大的標準庫,在此用於獲取程式呼叫棧的資訊。前三句程式碼的目的是取出 f_locals,它的含義是“local namespace seen by this frame”,此處 f_locals 指的就是類的區域性名稱空間。

說到區域性名稱空間,你可能會想到 locals(),但是,我們之前有文章提到過“locals() 與 globals() 的讀寫問題”,locals() 是可讀不可寫的,所以這段程式碼才用了 f_locals。

3、pytest 如何實現引數化?

按慣例先看看上篇文章中的寫法:

import pytest
@pytest.mark.parametrize("first,second", [(3,1), (-1,0), (1.5,1.0)])
def test_values(first, second):
    assert(first > second)

首先看到“mark”,pytest 裡內建了一些標籤,例如 parametrize、timeout、skipif、xfail、tryfirst、trylast 等,還支援使用者自定義的標籤,可以設定執行條件、分組篩選執行,以及修改原測試行為等等。

用法也是非常簡單的,然而,其原始碼可複雜多了。我們這裡只關注 parametrize,先看看核心的一段程式碼:

根據傳入的引數對,它複製了原測試方法的呼叫資訊,存入待呼叫的列表裡。跟前面分析的兩個庫不同,它並沒有在此建立新的測試方法,而是複用了已有的方法。在 parametrize() 所屬的 Metafunc 類往上查詢,可以追蹤到 _calls 列表的使用位置:

最終是在 Function 類中執行:

好玩的是,在這裡我們可以看到幾行神註釋……

閱讀(粗淺涉獵) pytest 的原始碼,真的是自討苦吃……不過,依稀大致可以看出,它在實現引數化時,使用的是生成器的方案,遍歷一個引數則呼叫一次測試方法,而前面的 ddt 和 parameterized 則是一次性把所有引數解析完,生成 n 個新的測試方法,再交給測試框架去排程。

對比一下,前兩個庫的思路很清晰,而且由於其設計單純是為了實現引數化,不像 pytest 有什麼標記和過多的抽象設計,所以更易讀易懂。前兩個庫發揮了 Python 的動態特性,設定類屬性或者注入區域性名稱空間,而 pytest 倒像是從什麼靜態語言中借鑑的思路,略顯笨拙。

4、最後小結

回到標題中的問題“如何將一個方法變為多個方法?”除了在引數化測試中,不知還有哪些場景會有此訴求?歡迎留言討論。

本文分析了三個測試庫的裝飾器實現思路,通過閱讀原始碼,我們可以發現它們各有千秋,這個發現本身還挺有意思。在使用裝飾器時,表面看它們差異不大,但是真功夫的細節都隱藏在底下。

原始碼分析的意義在於探究其所以然,在這次探究之旅中,讀者們可有什麼收穫啊?一起來聊聊吧!(PS:在“Python貓”公眾號後臺傳送“學習群”,獲取加群暗號。