黑盒測試與其幾個主要的方法
概念
黑盒測試被稱為 功能測試或資料測試,在測試時,將被測軟體視為一個不能開啟,看不見的黑盒子,在完全不考慮程式內部結構和內部特性的情況下來進行測試,採用·黑盒測試的主要目的是在已有軟體產品所應具有的功能等基礎上進行下列操作:
1、檢查程式功能是否按照需求規格說明書的要求正常使用,測試每個功能是否有遺漏,測試效能特性是否滿足要求。
2、測試人機互動是否錯誤,檢測資料結構或外部資料庫訪問是否錯誤,程式是否能適當的輸入資料而產生正確的輸出結果,保持外部資訊(如資料庫或檔案)的完整性。
3、檢測程式初始化和終止方面的錯誤。
從理論上講,黑盒測試只有採用窮舉輸入測試,把所有可能的輸入都作為測試情況考慮,才能查出程式中所有的錯誤。實際上測試情況有無窮多個,人們不僅要測試所有合法的輸入,而且還要對那些不合法但可能的輸入進行測試。這樣看來,完全測試是不可能的,所以我們要進行有針對性的測試,通過制定測試案例指導測試的實施,保證軟體測試有組織、按步驟,以及有計劃地進行。黑盒測試行為必須能夠加以量化,才能真正保證軟體質量,而測試用例就是將測試行為具體量化的方法之一。
黑盒測試用例設計方法包括等價類劃分法
、邊界值分析法
、錯誤推測法
、因果圖法
、判定表驅動法
、正交試驗設計法
、功能圖法
、場景法
等。
等價類劃分
等價類劃分的辦法是把程式的輸入域劃分成若干部分(子集),然後從每個部分中選取少數代表性資料作為測試用例。每一類的代表性資料在測試中的作用等價於這一類中的其他值。該方法是一種重要的,常用的黑盒測試用例設計方法。
按區間劃分 按數值劃分 按數值集合劃分 按限制條件或規劃劃分 按處理方式劃分 劃分等價類重要的是:集合的劃分,劃分為互不相交的一組子集,而子集的並是整個集合。
等價類是指某個輸入域的子集合。在該子集合中,各個輸入資料對於揭露程式中的錯誤都是等效的,併合理地假定:測試某等價類的代表值就等於對這一類其它值的測試。因此,可以把全部輸入資料合理劃分為若干等價類,在每一個等價類中取一個數據作為測試的輸入條件,就可以用少量代表性的測試資料。取得較好的測試結果。
等價類劃分可有兩種不同的情況:有效等價類和無效等價類。
有效等價類
指對於程式的規格說明來說是合理的,有意義的輸入資料構成的集合.利用有效等價類可檢驗程式是否實現了規格說明中所規定的功能和效能。
無效等價類
與有效等價類的定義恰巧相反。
設計測試用例時,要同時考慮這兩種等價類。因為,軟體不僅要能接收合理的資料,也要能經受意外的考驗。這樣的測試才能確保軟體具有更高的可靠性。
方法
下面給出六條確定等價類的原則。
- 在輸入條件規定了取值範圍或值的個數的情況下,則可以確立一個有效等價類和兩個無效等價類。
- 輸入條件規定了輸入值的集合或者規定了“必須如何”的條件的情況下,可確立一個有效等價類和一個無效等價類。
- 在輸入條件是一個布林量的情況下,可確定一個有效等價類和一個無效等價類。
- 在規定了輸入資料的一組值(假定n個),並且程式要對每一個輸入值分別處理的情況下,可確立n個有效等價類和一個無效等價類。
- 在規定了輸入資料必須遵守的規則的情況下,可確立一個有效等價類(符合規則)和若干個無效等價類(從不同角度違反規則)。
- 在確知已劃分的等價類中各元素在程式處理中的方式不同的情況下,則應再將該等價類進一步的劃分為更小的等價類。
設計測試用例
在確立了等價類後,可建立等價類表,列出所有劃分出的等價類:
然後從劃分出的等價類中按以下三個原則設計測試用例:
為每一個等價類規定一個唯一的編號。
設計一個新的測試用例,使其儘可能多地覆蓋尚未被覆蓋地有效等價類,重複這一步。直到所有的有效等價類都被覆蓋為止。
設計一個新的測試用例,使其僅覆蓋一個尚未被覆蓋的無效等價類,重複這一步。直到所有的無效等價類都被覆蓋為止。 例如設計的登入帳號的密碼要求:是6---10位的自然數。來設計測試用例 從中分析得出:
有效的是:
(1)輸入的長度是位數是 6~10 位。
(2)輸入的型別是0~9 的自然數。
無效的是:
輸入長度小於6
輸入的長度大於10
輸入的是負數
輸入的是小數
輸入的是英文字母
輸入的是中文
輸入為空
輸入條件 |
有效等價類 |
無效等價類 |
輸入長度為6~10 的自然數 |
1)輸入長度為6~10位 |
3)長度小於6 |
4)長度大於10 |
||
5)輸入負數 |
||
6)輸入小數 |
||
2)輸入的為0~9 的自然輸入 |
7)輸入英文字母 |
|
8)輸入漢字 |
||
9)輸入為空 |
覆蓋用例編號 |
輸入 |
預期結果 |
1)2) |
123456 |
正確 |
3) |
33 |
提示錯誤 |
4) |
2222222222222222222 |
提示錯誤 |
5) |
-23455555 |
提示錯誤 |
6) |
1.2323434 |
提示錯誤 |
7) |
ABCDEFG |
提示錯誤 |
8) |
輸入的是中文的密碼 |
提示錯誤 |
9) |
沒有任何的輸入 |
提示錯誤 |
邊界值分析法
邊界值分析是通過選擇等價類邊界的測試用例。邊界值分析法不僅重視輸入條件邊界,而且也必須考慮輸出域邊界。它是對等價類劃分方法的補充。
邊界值分析方法的考慮
長期的測試工作經驗告訴我們,大量的錯誤是發生在輸入或輸出範圍的邊界上,而不是發生在輸入輸出範圍的內部。因此針對各種邊界情況設計測試用例,可以查出更多的錯誤。
使用邊界值分析方法設計測試用例,首先應確定邊界情況.通常輸入和輸出等價類的邊界,就是應著重測試的邊界情況.應當選取正好等於,剛剛大於或剛剛小於邊界的值作為測試資料,而不是選取等價類中的典型值或任意值作為測試資料。等價分類法與邊界值分析法的比較:邊界值分析法使用範圍更廣,更復雜,找到的缺陷也更多,需要測試人員有更多的經驗和耐心: a.等價分類法的測試資料是在各個等價類允許的值域內任意選取的; b.邊界值分析法的測試資料必須在等價類的邊界值附近選取;
原則
- 如果輸入條件規定了值的範圍,則應取剛達到這個範圍的邊界的值,以及剛剛超越這個範圍邊界的值作為測試輸入資料。
- 如果輸入條件規定了值的個數,則用最大個數,最小個數,比最小個數少一,比最大個數多一的數作為測試資料。
- 根據規格說明的每個輸出條件,使用前面的原則1)。
- 根據規格說明的每個輸出條件,應用前面的原則2)。
- 如果程式的規格說明給出的輸入域或輸出域是有序集合,則應選取集合的第一個元素和最後一個元素作為測試用例。
- 如果程式中使用了一個內部資料結構,則應當選擇這個內部資料結構的邊界上的值作為測試用例。
- 分析規格說明,找出其它可能的邊界條件。
錯誤推測法
錯誤推測法是基於經驗和直覺推測程式中所有可能存在的各種錯誤,從而有針對性的設計測試用例的方法。
基本思想
列舉出程式中所有可能有的錯誤和容易發生錯誤的特殊情況,根據他們選擇測試用例。 例如
- 在單元測試時曾列出的許多在模組中常見的錯誤
- 以前產品測試中曾經發現的錯誤
- 輸入資料和輸出資料為0的情況
- 輸入表格為空格或輸入表格只有一行
因果圖法
前面介紹的等價類劃分方法和邊界值分析方法,都是著重考慮輸入條件,但未考慮輸入條件之間的聯絡,相互組合等。 考慮輸入條件之間的相互組合,可能會產生一些新的情況。但要檢查輸入條件的組合不是一件容易的事情,即使把所有輸入條件劃分成等價類,他們之間的組合情況也相當多。因此必須考慮採用一種適合於描述對於多種條件的組合,相應產生多個動作的形式來考慮設計測試用例。這就需要利用因果圖(邏輯模型)。
因果圖方法最終生成的就是判定表
。它適合於檢查程式輸入條件的各種組合情況。
生成測試用例
- 分析軟體規格說明描述中,哪些是原因(即輸入條件或輸入條件的等價類),哪些是結果(即輸出條件),並給每個原因和結果賦予一個識別符號。
- 分析軟體規格說明描述中的語義。找出原因與結果之間,原因與原因之間對應的關係。根據這些關係,畫出因果圖。
- 由於語法或環境限制,有些原因與原因之間,原因與結果之間的組合情況不可能出現。為表明這些特殊情況,在因果圖上用一些記號標明約束或限制條件。
- 把因果圖轉換為判定表。
- 把判定表的每一列拿出來作為依據,設計測試用例。
從因果圖生成的測試用例(區域性,組合關係下的)包括了所有輸入資料的取TRUE與取FALSE的情況,構成的測試用例數目達到最少,且測試用例數目隨輸入資料數目的增加而線性地增加。
上述所說的等價類劃分法和邊界值分析法都只是考慮了輸入的條件但是沒有考慮到輸入的條件之間的組合,因果圖的方法是用來描述多種條件組合產生相應的動作的測試方法。
因果圖的四種符號所表示的因果關係。
C1表示原因而e1表示的是結果。
在實際問題當中輸入的狀態之間可能還存在某些依賴關係,稱之為”約束”。在因果圖中用特定的符號來表示。
E約束:a和b最多有一個可能為1,即a和b不能同時為1.
I約束:a和b中至少有一個必須是1,即 a b c 不能同時為0 。
O約束:a和b中必須有一個且有一個為1.
R約束:a為1的時候b必須為1,即a是1的時候b不能是0.
M約束:a為1的時候b強制為0.
在畫因果圖的時候首先是要分析原因和結果,原因通常是輸入條件或是輸入條件的等價類。結果是輸出條件。
分析程式規格中的語義含義,找出原因與結果之間,原因與原因之間的對應關係,將其連線成線。
然後再將因果圖轉換成為決策表。
判定表也稱為決策表,判定表通常是由四個部分組成的。
條件樁:列出了問題的所有的條件,通常是認為列出的條件的次序無關緊要。
動作樁:列出針對問題規定可能採取的操作,這些操作的排列順序沒有約束。
要求是使用者名稱和密碼的長度都在6~10之間,並且使用者名稱和密碼都是數字的格式。
判定表
前面因果圖方法中已經用到了判定表。判定表(Decision Table)是分析和表達多邏輯條件下執行不同操作的情況下的工具.在程式設計發展的初期,判定表就已被當作編寫程式的輔助工具了。由於它可以把複雜的邏輯關係和多種條件組合的情況表達得既具體又明確。
判定表組成
條件樁(Condition Stub):列出了問題的所有條件.通常認為列出的條件的次序無關緊要。 動作樁(Action Stub):列出了問題規定可能採取的操作.這些操作的排列順序沒有約束。 條件項(Condition Entry):列出針對它左列條件的取值.在所有可能情況下的真假值。 動作項(Action Entry):列出在條件項的各種取值情況下應該採取的動作。
規則
任何一個條件組合的特定取值及其相應要執行的操作。在判定表中貫穿條件項和動作項的一列就是一條規則。顯然,判定表中列出多少組條件取值,也就有多少條規則,既條件項和動作項有多少列。
判定表的建立步驟
- 確定規則的個數。假如有n個條件.每個條件有兩個取值(0,1),故有2n種規則。
- 列出所有的條件樁和動作樁。
- 填入條件項。
- 填入動作項.等到初始判定表。
- 簡化合並相似規則(相同動作)。
適合使用判定表的條件
- 規格說明以判定表形式給出,或很容易轉換成判定表。
- 條件的排列順序不會也不影響執行哪些操作。
- 規則的排列順序不會也不影響執行哪些操作。
- 每當某一規則的條件已經滿足,並確定要執行的操作後,不必檢驗別的規則。
- 如果某一規則得到滿足要執行多個操作,這些操作的執行順序無關緊要。
正交試驗
概念
在一項試驗中 ,把影響試驗結果的量稱為試驗因素 ,簡稱因素。 因素可以理解為試驗過程中的自變數 ,試驗結果可以看成因素的函式。 在試驗過程中 ,每一個因素可以處於不同的狀態或狀況 ,把因素所處的狀態或狀況 ,稱為因素的水平 ,簡稱水平 。
正交試驗設計是利用正交表來安排與分析多因素試驗的一種設計方法。 它是由試驗因素的全部水平組合中 ,挑選部分有代表性的水平組合進行試驗的 ,通過對這部分試驗結果的分析瞭解全面試驗的情況 ,找出最優的水平組合。
特點
用部分試驗來代替全面試驗 ,通過對部分試驗結果的分析 ,瞭解全面試驗的情況。
設計測試用例的步驟
確定因素
這裡的因素是指對軟體執行結果有影響的軟體執行條件。
確定因素的取值範圍或集合
因素的取值範圍是指軟體輸入的取值範圍或集合以及可用的硬體資源。
確定每個因素的水平
根據因素的取值範圍或集合 ,採用等價類劃分、邊界值分析以及其他軟體測試技術 ,在每個因素的取值範圍或集合內挑選出有效等價類、無效等價類、正好等於、剛剛大於或剛剛小於邊界值等有代表性的測試點。
選擇正交表
根據確定的因素和水平 ,選擇適合的正交表。如果沒有合適的正交表可用或需要的測試用例個數太多 ,要對因素和水平進行調整。
設計測試用例
將所確定的因素與正交表中的“列”號對應 ,所確定的水平與正交表中的數碼數對應 ,填寫正交表。若要對結果進行分析 ,該表還要包括其他的行和列。如響應時間、平均響應時間、極差等。 除此之外 ,還要增加“期望值”等列。
測試結果分析
根據測試需要 ,採用極差或方差分析法對測試資料進行分析 ,找出對測試指標影響最大的因素以及最佳的因素水平組合 。
利用正交實驗設計方法設計測試用例,比使用等價類劃分,邊界值分析,因果圖等方法有以下優點:節省測試工作工時;可控制生成的測試用例數量;測試用例具有一定的覆蓋率。
場景法
軟體幾乎都是用事件觸發來控制流程的,事件觸發的情景便形成了場景,而同一事件不同的觸發順序和處理結果就形成事件流。這種在軟體設計方面的思想也可以引入到軟體測試中,可以比較生動地描繪出事件觸發時的情景,有利於測試設計者設計測試用例,同時使測試用例更容易理解和執行。
基本流和備選流:如下圖所示
圖中經過用例的每條路徑都用基本流和備選流來表示,直黑線表示基本流,是經過用例的最簡單的路徑。備選流用不同的色彩表示,一個備選流可能從基本流開始,在某個特定條件下執行,然後重新加入基本流中(如備選流1和3);也可能起源於另一個備選流(如備選流2),或者終止用例而不再重新加入到某個流(如備選流2和4)。