1. 程式人生 > >在做自動化測試之前你需要知道的

在做自動化測試之前你需要知道的

什麼是自動化測?

  做測試好幾年了,真正學習和實踐自動化測試一年,自我感覺這一個年中收穫許多。一直想動筆寫一篇文章分享自動化測試實踐中的一些經驗。終於決定花點時間來做這件事兒。

  首先理清自動化測試的概念,廣義上來講,自動化包括一切通過工具(程式)的方式來代替或輔助手工測試的行為都可以看做自動化,包括效能測試工具(loadrunner、jmeter),或自己所寫的一段程式,用於生成1到100個測試資料。狹義上來講,通工具記錄或編寫指令碼的方式模擬手工測試的過程,通過回放或執行指令碼來執行測試用例,從而代替人工對系統的功能進行驗證。

  當然,我們更普遍的認識把“自動化測試”看做“ 基於產品或專案UI層的自動化測試”。

分層的自動化測試

  這個概念最近曝光度比較高,傳統的自動化測試更關注的產品UI層的自動化測試,而分層的自動化測試倡導產品的不同階段(層次)都需要自動化測試。

  相信測試同學對上面的金字塔並不陌生,這不就是對產品開發不同階段所對應的測試麼!我們需要規範的來做單元測試同樣需要相應的單元測試框架,如java的Junit、testNG,C#的NUnit ,python 的unittest、pytest 等,幾乎所有的主流語言,都會有其對應的單元測試框架。

  整合、介面測試對於不少測試新手來說不太容易理解,單元測試關注程式碼的實現邏輯,例如一個if 分支或一個for迴圈的實現;那麼整合、介面測試關注的一是個函式、類(方法)所提供的介面是否可靠。例如,我定義一個add()函式用於計算兩個引數的結果並返回,那麼我需要呼叫add()並傳參,並比較返回值是否兩個引數相加。當然,介面測試也可以是url的形式進行傳遞。例如,我們通過get方式向伺服器傳送請求,那麼我們傳送的內容做為URL的一部分傳遞到伺服器端。但比如 Web service 技術對外提供的一個公共介面,需要通過soapUI 等工具對其進行測試。 

  UI層的自動化測試,這個大家應該再熟悉不過了,大部分測試人員的大部分工作都是對UI層的功能進行測試。例如,我們不斷重複的對一個表單提交,結果查詢等功能進行測試,我們可以通過相應的自動化測試工具來模擬這些操作,從而解放重複的勞動。UI層的自動化測試工具非常多,比較主流的是QTP,Robot Framework、watir、selenium 等。

  為什麼要畫成一個金字塔形,則不是長方形 或倒三角形呢? 這是為了表示不同階段所投入自動化測試的比例。如果一個產品從沒有做單元測試與介面測試,只做UI層的自動化測試是不科學的,從而很難從本質上保證產品的質量。如果你妄圖實現全面的UI層的自動化測試,那更是一個勞民傷財的舉動,投入了大量人力時間,最終獲得的收益可能會遠遠低於所支付的成本。因為越往上層,其維護成本越高。尤其是UI層的元素會時常的發生改變。所以,我們應該把更多的自動化測試放在單元測試與介面測試階段進行。

  既然UI層的自動化測試這麼勞民傷財,那我們只做單元測試與介面測試好了。NO! 因為不管什麼樣的產品,最終呈現給使用者的是UI層。所以,測試人員應該更多的精力放在UI層。那麼也正是因為測試人員在UI層投入大量的精力,所以,我們有必要通過自動化的方式幫助我們“部分解放”重複的勞動。

  在自動化測試中最怕的是變化,因為變化的直接結果就是導致測試用例的執行失敗,那麼就需要對自動化指令碼進行維護;如何控制失敗,降低維護成本對自化的成敗至關重要。反過來講,一份永遠都執行成功的自動化測試用例是沒有價值。 

  至於在金字塔中三種測試的比例要根據實際的專案需求來劃分。在《google 測試之道》一書,對於google產品,70%的投入為單元測試,20%為整合、介面測試,10% 為UI層的自動化測試。

我為什麼要做自動化測試?

  根據51testing的《中國軟體測試從業人員調查報告》,手工測試佔到的89% ,相對開發來說,測試的門檻底,薪資普遍較底,所要求的知識面雖然有一定廣度,但缺乏深度。這是測試的普遍現狀。

  正因為手功測試人門檻不高,使大量的畢業生,甚至是非專業人員湧入這個行業。從而增加了這個行業的激烈競爭。對於工作幾年扔處於手工測試的人員來說都會有強列的危機感。由於工作的技術含量不高,薪資的漲幅遇到瓶頸,另一方面受到新進入者的威脅,同樣的工作公司花5K招來的人就可以做,那麼就不會花8K 的招。

  好吧,這個問題不應該出現討論技術的話題中,但他的確是大多測試人員不得不面對的一個問題。所以,從測試人員自身的發展來說,我其實非常需要通過自動化技術來增加自己有競爭力。當然,做到一定年限測試人員會選擇轉管理或其它崗位,這又是另一個話題了。

  從測試行業的發展來說,國內產品由於產品特點,世界級的產品不多,技術含量相對不高,質量要求相對要求不高,外包國外專案,測試人力成本低廉,所以需要大量的手工測試人員。

  所以,在不遠的未來,我認為純的工手測試人員的需求是遞減,公司更需要更高技術能力的測試。質量需要測試,測試行為永遠不會消失,但純的手工測試人員是否消失是有可能的。

  好吧,你可以說測試多朝陽的行業,我純屬在危言聳聽。不管未來如何,我們都需要提升自身的技能對吧!

什麼專案適合做自動化測試?

  假如你已經決定要學習自動化測試了,如何學習是要面臨的下一個問題?這個問題以被測試產品為出發點進行分析,假如你所學的技術不能得到應用(驗證),將會使你的學習過程寸步難行。

  首先考考慮產品是否適合做自動化測試。這方法比較普遍的共識是從三個方面進行權衡。

  軟體需求變動不頻繁

  測試指令碼的穩定性決定了自動化測試的維護成本。如果軟體需求變動過於頻繁,測試人員需要根據變動的需求來更新測試用例以及相關的測試指令碼,而指令碼的維護本身就是一個程式碼開發的過程,需要修改、除錯,必要的時候還要修改自動化測試的框架,如果所花費的成本不低於利用其節省的測試成本,那麼自動化測試便是失敗的。

  專案中的某些模組相對穩定,而某些模組需求變動性很大。我們便可對相對穩定的模組進行自動化測試,而變動較大的仍是用手工測試。

  專案週期較長

由於自動化測試需求的確定、自動化測試框架的設計、測試指令碼的編寫與除錯均需要相當長的時間來完成。這樣的過程本身就是一個測試軟體的開發過程,需要較長的時間來完成。如果專案的週期比較短,沒有足夠的時間去支援這樣一個過程,那麼自動化測試便成為笑談。

  自動化測試指令碼可重複使用

  自動化測試指令碼的重複使用要從三個方面來考量,一方面所測試的專案之間是否很大的差異性(如C/S系統和B/S系統的差異);所選擇的測試工具是否適應這種差異;最後,測試人員是否有能力開發出適應這種差異的自動化測試框架。

選擇什麼工具進行自動化測試

  假如你已經確認了XX 專案適合做自動化測試,那麼接下來你要做的就是選測試工具了。

  首先要先確認你所測試的產品是桌面程式(C/S)還是web應用(B/S)。

  桌面程式的工具有:QTP、 AutoRunner

  web應用的工具有:QTP、AutoRunner、Robot Framework、watir、selenium

  由於B/S架構的諸多優勢,早幾年前大量C/S架構的應用轉為B/S結構。從而也推動了web開發與測試技術的發展。假如,被測試有產品是C/S架構的,那麼推薦QTP ,QTP在UI自動化測試領域佔到了一半的試用率。所以,足以說明QTP在自動化領域強大,易用性等。學習主流的工具也可以使你獲得更多的機會。市面上關於QTP的書籍也非常豐富。當然,要想學好QTP ,你必須要掌握VBS指令碼語言。

  如果,被測產品是B/S 結構,那麼推薦selenium ,為什麼不是QTP 或其它工具?因為selenium 對B/S應用支援很好,更重要的一點,它支援多語言的開發,真正的試用selenium ,你所要掌握的不僅僅是一個工具而已,你還需要學習一門語言。我為什麼要選擇selenium?還要學一門語言,這無疑增加了我的學習成本。增加成本的同時,也增加的你的競爭力,而且,在這個過程中你不單單只是學會了一個自動化工具而已,你完全可以使用所學的語言去做更多的事情。

  好吧!假如你決定試用selenium 了之後,你又面臨了一個新的問題,選擇一門語言。selenium 是支援java、python、ruby、php、C#、JavaScript 。

  從語言易學性來講,首選ruby ,python

  從語言應用廣度來講,首選java、C#、php、

  從語言相關測試技術成度(及 資料)來講:ruby ,python ,java

  或者你可以考慮整個技術團隊主流用什麼語言,然後選擇相應的語言。

selenium 用前須知

  OK!經過上的過程,我相信你一定做出的相應的選擇,如果你選擇的是selenium 工具,那麼接著往下閱讀。

首選你在開始selenium之前,需要花一到兩個月時間去學一門語言,這裡是根據沒有語言基礎的同學而定的。我推薦ruby ,python ,java 任意一門語言來進行學習。

  當然,已經如果有很好的語言基礎略過這個環節,或者你的豐富的java程式設計能力,那麼學習python 可能只需要幾天時間或更短。

  假如,你已經搞定了一門語言的基礎,接下來你需要先了解selenium ,selenium 並不是單純的一個工具,他是一組工具的集合,而且,他還有1.0與2.0之分,當然3.0也已經到來。

  selenium 也不是簡單一個工具,而是由幾個工具組成,每個工具都有其特點和應用場景。

selenium IDE

  selenium IDE 是嵌入到Firefox瀏覽器中的一個外掛,實現簡單的瀏覽器操作的錄製與回放功能。那麼什麼情況下用到它呢?

  快速的建立bug重現指令碼,在測試人員的測試過程中,發現了bug之後可以通過IDE將重現的步驟錄製下來,以幫助開發人員更容易的重現bug。

  IDE錄製的指令碼可以可以轉換成多種語言,從而幫助我們快速的開發指令碼,關於這個功能後而用到時再詳細介紹。

selenium Grid

  Selenium Grid是一種自動化的測試輔助工具,Grid通過利用現有的計算機基礎設施,能加快Web-app的功能測試。利用Grid,可以很方便地同時在多臺機器上和異構環境中並行執行多個測試事例。其特點為:

· 並行執行

· 通過一個主機統一控制用例在不同環境、不同瀏覽器下執行。

· 靈活新增變動測試機

selenium RC

  selenium RC 是selenium 家族的核心工具,selenium RC 支援多種不同的語言編寫自動化測試指令碼,通過selenium RC 的伺服器作為代理伺服器去訪問應用從而達到測試的目的。

  selenium RC 使用分Client Libraries和selenium Server,Client Libraries庫主要主要用於編寫測試指令碼,用來控制selenium Server的庫。

  Selenium Server負責控制瀏覽器行為,總的來說,Selenium Server主要包括3個部分:Launcher、Http Proxy、Core。其中Selenium Core是被Selenium Server嵌入到瀏覽器頁面中的。其實Selenium Core就是一堆JS函式的集合,就是通過這些JS函式,我們才可以實現用程式對瀏覽器進行操作。Launcher用於啟動瀏覽器,把selnium Core載入到瀏覽器頁面當中,並把瀏覽器的代理設定為Selenium Server 的Http Proxy。

selenium 2.0

  搞清了selenium 1.0 的家族關係,selenium 2.0 是把WebDriver 加入到了這個家族中;簡單用公式表示為:

  selenium 2.0 = selenium 1.0 + WebDriver 

  需要強調的是,在selenium 2.0 中主推的是WebDriver ,WebDriver 是selenium RC 的替代品,因為 selenium 為了向下相容性,所以selenium RC 並沒有徹底拋棄,如果你使用selenium開發一個新自動化測試專案,強列推薦使用WebDriver 。那麼selenium RC 與webdriver 主要有什麼區別呢?

  selenium RC 在瀏覽器中執行JavaScript應用,使用瀏覽器內建的JavaScript 翻譯器來翻譯和執行selenese命令(selenese 是selenium命令集合)。

  WebDriver通過原生瀏覽器支援或者瀏覽器擴充套件直接控制瀏覽器。WebDriver針對各個瀏覽器而開發,取代了嵌入到被測Web應用中的JavaScript。與瀏覽器的緊密整合支援建立更高階的測試,避免了JavaScript安全模型導致的限制。除了來自瀏覽器廠商的支援,WebDriver還利用作業系統級的呼叫模擬使用者輸入。

  如果是新專案直接學習webdriver 就OK了,RC是過時技術。

selenium學習路線

  配置你的測試環境,真對你所學習語言,來配置你相應的selenium 測試環境。selenium 好比定義的語義---“問好”,假如你使用的是中文,為了表術問好,你的寫法是“你好”,假如你使用的是英語,你的寫法是“hello”。 所以,同樣有語義在不同的語言下會有不同的寫法(語法)。

   接著你需要熟悉webdriver API ,API就是selenium 所定義一方法,用於定位,操作頁面上的各種元素。

  先學習元素的定位,selenium 提供了id、name、class name、 tag name、link text、partial link text、 xpath、css、等定位方法。xpath和css 功能強大語法稍微複雜,在這其間你可能還需要了解更多的前端知識。xml ,javascript 等。

  定位元素的目的是為了操作元素,接就要學習各種元素有操作,輸入框,下拉框,按鈕點選,檔案上傳、下載,分頁,對話方塊,警告框...等等。

  經過一段時間的學習,你可以遊刃有餘的模擬手工測試來操作頁面上的各種元素了。接著你需要做的就是把這些“用例”組織起來,統一來跑。

  那麼你需要做的就是學習並使用單元測試框架,單元測試框架本身就解決了用例的組織與執行。

  當你寫了一些“測試用例” 之後,你會發現用例中有大量重複的操作,能不能寫到一個單獨的檔案中,需要的時候呼叫這些操作?當然可以,運用你的程式設計能力來實現這一點將非常簡單。然後,你又發現每個用例中都有一些資料,這些資料也是一樣的,但如果變化了修改起來非常麻煩,你也可以把他寫到一個單獨的檔案中進行讀取。

  接著你又遇到了新的疑問,我寫的指令碼(用例)都是流水式的,我怎麼知道用例執行失敗還是成功。那麼就需要在指令碼中加一些驗證與斷言。

  接著你又有了更多的想法,單元測試框架的log太簡陋了,能不能生成一張漂亮的測試報告出來。我能不能定時的來跑這個指令碼。能不能把每一次跑指令碼的測試結果直接發到我的郵箱。能不能......

  為解決這些問題,你不得不學習更多的程式設計技術,然後你的“測試結構”會功能越來越強大,越來越靈活。產生了一定的通用性和移植性。一個有模有樣的自動化測試框架誕生了。

   假如,有一天你不再做UI的自動化測試了,你會發現你去做單元測試 或介面測試基本沒什麼難度。開發個測試工具之類的也不在話下,感謝selenium 吧!順便也感謝一下我吧!