9 款 AI 測試工具介紹

測試工具 · 發表 2018-11-21 10:32:40

摘要：昨天，杭州傳來大訊息：這座創新之都要拿出真槍實彈的道路，進行無人自動駕駛測試。太棒！這是繼深圳、上海之後，又一個城市進行無人駕駛汽車測試。居然，有媒體人說“快得讓人膽顫心驚！” 今天，我打電信10000號時，體驗和以往完全不同，不再按“1、2、3、…”這樣的數字鍵，而是...

昨天，杭州傳來大訊息：這座創新之都要拿出真槍實彈的道路，進行無人自動駕駛測試。太棒！這是繼深圳、上海之後，又一個城市進行無人駕駛汽車測試。居然，有媒體人說“快得讓人膽顫心驚！”

今天，我打電信10000號時，體驗和以往完全不同，不再按“1、2、3、…”這樣的數字鍵，而是和機器人對話，直接說“寬頻報修”，那邊機器人說；“您剛才保修過一次，還要繼續嗎？”，我說“確認”…。

之前，我們也被許多事件感到震驚，甚至恐懼：

AlphaGo、AlphaZero完勝世界頂尖圍棋手
微軟的語音識別技術首次達到了人類同等水平
翻譯機器人已經超過具有專業翻譯水準
醫院、工廠開始引進更多的機器人
智慧家電更是如雨後春筍、層出不窮
刷臉解鎖、刷臉支付
……

人類開始走入人工智慧（AI）的時代。

AI的本質是通過軟體來實現特定的演算法，各行各業的AI如火如荼，但感覺軟體工程自身的AI反而落後，是這樣嗎？也不是，而是暗流湧動，在未來某一天會爆發開來。這裡，通過給大家介紹多款引入AI的測試工具，讓大家體會到AI已近在眼前，不管你見還是不見。當我們使用這些新一代的測試工具，會體會到一場新的測試革命正在發生，測試機器人也會不斷湧現出來。

1.Applitools

Applitool採用一種自適應的演算法來進行視覺化測試（或者說視覺驗證），而且不需要事先進行各種設定，不需要明確地呼叫所有元素，但能夠發現應用程式中的潛在錯誤。

利用基於機器學習（ML） / AI進行自動維護（能夠將來自不同頁面/瀏覽器/裝置的類似變化組合在一起）；
修改比較演算法，以便能夠辨別哪些更改是有意義的、顯著的；
能夠自動理解哪些更改更可能是一種缺陷還是一種期望，就這種差異進行排序；
很多這些事情在行動中看起來還為時過早，但看著路線圖會讓你瞭解現在有多少AI被納入測試工具公司的路線圖。

記得兩年前，我還給某企業做自動化時，介紹過這個工具，那時AI還沒有那麼突出，只是作為視覺驗證技術來介紹的，有圖為證。

2.Appvance IQ

根據應用程式的對映和實際使用者活動分析，使用機器學習和認知自動生成自動化測試指令碼。指令碼生成分為兩步走：

生成應用程式藍圖：由機器學習引擎建立的應用程式藍圖封裝了對被測應用程式的來龍去脈的深入理解。藍圖隨後能夠整合真實使用者如何瀏覽應用程式的大資料分析。
指令碼生成是認知處理的結果，可以準確地表示使用者做了什麼或試圖做什麼。它使用應用程式藍圖作為被測應用程式中可能的指導，以及伺服器日誌作為實際使用者活動的大資料來源。

AI驅動的指令碼生產是軟體測試的一項重大突破。它將極大降低指令碼開發的巨大工作量——接近為零的工作量。AI建立的指令碼組合既是使用者驅動的，又比手動建立的指令碼更全面。

3.Eggplant AI自動化

Eggplant Digital Automation Intelligence 整套工具使用AI和深度學習來從介面上尋找缺陷，能夠自動生成測試用例，大幅度提高測試效率和覆蓋率。

通過使用者的眼睛測試。分析實際螢幕 - 而不是程式碼，使用智慧影象和文字識別來測試應用程式邏輯、動態的使用者介面，並進行真正的端到端測試。，這樣可以測試任何裝置上的、各種不同技術開發的軟體，並可以像使用者一樣與應用進行互動。
能夠測試功能、效能和可用性- 所有與使用者體驗相關的關鍵產品屬性。通過使用者的眼睛驗證這種體驗，可以更簡單、更直觀地進行測試。這意味著，非技術人員 - 從手動測試人員到業務分析人員、產品和使用者專家 - 都可以成為有效的測試人員。
使用人工智慧和機器學習自動生成測試用例，並優化測試執行以發現Bug並覆蓋各種使用者體驗，可以增強自動化測試的執行力度。基於測試結果、根本原因和使用者影響的自動化分析，可以幫助團隊提高生產力並縮短上市時間，並與DevOps保持同步。
完全量化的質量管理，實現了跨職能協作，彌合了產品所有者與質量保證部門之間的差距。可以完全根據指標合格率和缺陷密度來報告質量狀態，而不是以使用者術語來揭示應用質量的細節，如應用評分、頁面載入時間、消費者轉換率等。

Mabl 由一群前Google僱員研發的AI測試平臺，側重對應用或網站進行功能測試。在Mabl平臺上，我們通過與應用程式進行互動來 “訓練”測試。錄製完成後，經訓練而生成測試將在預定時間進自動執行。

沒有指令碼的自動化測試（Scriptless tests），並能和CI整合
消除不穩定的測試（flaky tests） - 就像其他基於AI的測試自動化工具一樣，Mabl可以自動檢測應用程式的元素是否已更改，並動態更新測試以補償這些更改。
可以不斷比較測試結果和測試歷史，以快速檢測變化和迴歸，從而產生更穩定的版本。
可以幫助快速識別和修正缺陷，在使用者受到影響之前就能提醒我們可能產生的影響。

5.ReTest

ReTest 是一家德國公司的產品，源於人工智慧研究專案，使用人工智慧猴子來自動測試應用程式（Intelligent monkey testing）。與其他測試自動化工具不同，在建立指令碼時不需要選擇被測物件的ID、會自動處理等待時間，指令碼執行非常穩定。如果屬性或元素是不穩定的，那麼可以在執行測試後簡單地標記它們。本工具號稱是專門為測試人員設計的，能有效地消除了使用者擁有任何程式設計技能的需求，測試人員只需要領域知識、待測試軟體的工作原理以及認定缺陷的能力。

6.Sauce Labs

Sauce Labs，測試人員比較熟悉，移動app自動化測試框架Appium出自他們手裡。Sauce Labs是最早開始基於雲的自動化測試的公司，每天執行超過一百五十次的測試，通過多年測試資料的積累而擁有一個虛擬寶庫，能夠利用機器學習來針對這些資料進行分析，更好地理解測試行為，主動幫助客戶改進測試自動化。他們相信，在測試中使用已知的模式匹配和不同的AI技術是非常有用的。

7.Sealights

Sealights類似Sauce Labs，也是一個基於雲的測試平臺，能夠利用機器學習技術分析SUT的程式碼以及與之對應的測試，不侷限於單元測試，還包括系統級的業務測試和效能測試。它還有一個顯著特點，基於機器學習以呈現完整的質量Dashboard，幫助我們進行“質量風險”的評估，能夠關注使用者所關心的東西，包括哪些程式碼未經某種型別或特定的測試，這樣很容易地確保未經測試的程式碼不會上線，至少要得到儘可能的必要的驗證。

Sealights可以輕鬆建立每個人都能看到的高質量儀表盤。因此，對於每個構建，您都可以瞭解測試的內容、狀態和覆蓋範圍，以及是否正在改進，減少或存在質量問題。

8.Test.AI

Test.AI (前身為Appdiff ) 被視為一種將AI大腦新增到Selenium和Appium的工具，以一種類似於Cucumber的BDD語法的簡單格式定義測試。Test.AI在任何應用程式中動態識別螢幕和元素，並自動驅動應用程式執行測試用例。它由Justin Liu和Jason Arbon建立。