哪一個更適合你？——熱門開源自動化測試框架對比分析
時間一晃已來到 2018 年的最新一個季度，TestProject 對比了在去年比較熱門的 7 款開源自動化測試框架的優缺點，以幫助你選擇適合自己的測試框架。
1. Robot Framework
Robot Framework（RF）是用於驗收測試和驗收測試驅動開發（ATDD）的自動化測試框架。 基於 Python 編寫，但也可以在 Jython（Java）和 IronPython（.NET） 上執行，提供跨平臺支援（Windows、Linux 或 MacOS ）。
優點：
- 通過使用關鍵字驅動測試（KDT）方法簡化了自動化測試過程，方便測試人員建立易讀的測試。
- 測試資料語法簡單易用。
- 生態系統豐富。由各種通用測試庫和工具組成，這些工具都是作為獨立專案開發的。
- 具有高度可擴充套件性。
- 可通過 pabot 或 Selenium Grid 執行並行測試。
缺點：
- 自定義 HTML 報告較為麻煩。
如果是針對大範圍的庫和擴充套件的 KDT 自動化測試，建議使用此跨平臺框架。如果想要新增新的關鍵字（通過 RF 測試庫 API ），需要具備 Java / Python / C 語言的基礎知識。
2. JUnit
JUnit 是一款針對 Java 應用的單元測試框架，用於編寫和執行可重複的測試。
優點：
- 純 Java 編寫。
- 支援測試驅動開發（TDD）。
- 允許建立自己的單元測試用例套件。
- 能很好地與其他工具（如 Maven ）和 IDE（如 IntelliJ ）整合。
- 長時間發展，有自己龐大的使用者群體，可以很容易找到文件。
缺點：
- 如果需要 mocking 能力，則需要額外新增 Mockito（或其他模擬庫）。
- 因 JUnit 中的方法名稱受 Java 約定限制等原因，非技術人員很難讀懂測試結果。
如果你正在為你的 Java 應用編寫單元測試，那這可能是最好的選擇。 但是，對於功能測試或非 Java 應用，應考慮其他解決方案。
3. Spock
Spock 是用於 Java 和 Groovy 應用的測試和規範框架，基於 JUnit 。
優點：
- 測試可讀性強，支援簡單的英文句子，便於閱讀。
- 提供周邊上下文，從而能輕鬆瞭解如何解決故障。
- 內建 mocking 和 stubbing 功能。
- 支援資料驅動測試（DDT）。
缺點：
- 需要具備基本的 Groovy 語言知識。
如果你的應用是基於 JVM 的，並且目標是使用 DSL 進行 BDD 自動化測試，則此框架正適合！
4. NUnit
NUnit 是支援所有 .Net 語言的單元測試框架。最初也是基於 Junit 的啟發，完全採用 C＃ 編寫，目前已被完全重新設計以使用更多 .NET 語言功能。
優點：
- 啟動和測試執行速度快。
- 自帶斷言和註釋。
- 支援並行測試。
- 支援測試驅動開發（TDD）。
缺點：
- 非跨平臺，僅適用於 .Net 語言。
- 未整合到 Visual Studio echo 系統中，意味著使用它需要更多的維護。
一個很好的 C＃開源單元測試框架，歷史悠久，口碑較高。 不過，如果你正準備使用 .NET 語言，也可以考慮 MSTest 。
5. TestNG
TestNG 是一個 Java 自動化測試框架，受 JUnit 和 NUnit 的啟發，但又改進和新增了一些功能。旨在涵蓋所有自動化測試類別：單元測試、功能測試、端到端、整合測試等。
優點：
- 容易整合到 maven 迴圈中。
- 使開發人員能夠編寫靈活而強大的測試。
- 支援資料驅動測試（DDT）。
- 註釋很容易理解。
- 測試用例可以輕鬆分組。
- 允許建立並行測試。
缺點：
- 只支援 Java ，至少需要具備 Java 程式語言的基礎知識。
- 必須投入時間進行框架設定和設計。
如果你使用 Java ，並正尋找端到端的自動化測試框架，同時願意投入一點時間去設定框架，你應該考慮使用 TestNG 。
6. Jasmin
Jasmine 是一個 JavaScript 單元測試框架， 也被稱為 JavaScript 的行為驅動開發（BDD）測試框架。適用於網頁、Node.js 專案或任何可以執行 JavaScript 的地方。它主要與 AngularJS 配對使用。
優點：
- 除了 JavaScript ，還可以執行在 Python 和 Ruby 中。如果想在你的伺服器端執行客戶端測試，它可以幫助你。
- 被許多 CIs 使用和支援。
- 內建用於斷言的語法。
缺點：
- 多數情況下，它需要一個測試執行器（如 Karma ）。
- 難以非同步測試。
如果你正在尋找一個統一的（客戶端 - 伺服器）單元測試解決方案，Jasmin 可能會非常適合。
7. Mocha
Mocha 是一個 JavaScript 單元測試框架，它在 NodeJs 上執行測試，主要與 ReactJS 配對使用。
優點：
- 內建測試執行器。
- 支援非同步測試。
- 使用靈活，可使用任何符合需求的斷言庫（Chai、expect.js、Must.js 等）作為 Node 標準“斷言” 功能的替代品。
缺點：
- 相對較新 (起始於 2012 年)，意味著有許多的未知性和可變性，在某些方面或缺乏使用者基礎和支援。
- 僅提供基本的測試結構，因此需要額外的設定和配置（對於一些可能是有利的）。
如果你正在尋找 JavaScript 的獨立單元測試框架，Mocha 是首選！