【騰訊TMQ】遠端移動測試平臺對比分析
作者：趙麗娜
隨著移動裝置和系統的碎片化程度越來越高以及複雜的行動網路情況, 相容性測試以及遠端真機測試的重要性越來越突出。根據遠端測試機/人員與開發者間的合作方式，可以分為以下幾種服務：雲測試服務、內測服務以及眾測服務，相應的平臺支援如下圖。
雲測試平臺
雲測試平臺提供了遠端租用真機的服務，通常是利用自動化框架來實現真機上的指令碼自動化執行，或遠端租用真機人工測試，或真人真機測試。由於Android端裝置的種類眾多，雲測試服務在Android端應用廣泛。國內外都提供了多種雲測試平臺。
Pefecto將真實移動裝置放到 cloud 端 , 並提供通過 web/Eclipse 外掛的形式進行訪問與測試。同時，Pefecto 開放了基於 selenium 的第三方 API：MobileDriver，支援自動化測試人員通過 Eclipse 訪問 Perfecto 上的真機裝置，通過 MobileDriver 遠端識別與呼叫被測應用，快速實現自動化，並與 RQM 結合實現對 devops 的支援。測試指令碼可以跨平臺（Android/iOS/Blackberry…）執行。
LessPainful提供了一個多裝置平臺自動化測試的服務。使用者上傳應用(*.apk)和用Cucumber編寫的測試檔案，選擇測試執行需要的裝置配置，最後測試將自動執行並生成測試報告。它支援的裝置包括Garmin Asus，幾款HTC，LG，Samsung Galaxy，Sony Xperia和Motorola Motodefy。
Testdroid 是由 Bitbar 公司推出的手機應用測試的雲端服務。TestDroid雲端提供了 200 多種機型，你可以選擇你需要的測試機型進行適配測試。 通過 Testdriod 的測試，還能收集 CPU 運轉以及記憶體使用情況，從而幫助工程師們提高應用的表現效能，和以防記憶體被過多佔用。此外，使用者還可以選擇測試機型的語言測試環境，避免由於跨語言導致的潛在漏洞。Testdriod 還有一項 app 爬蟲功能，類似於網頁爬蟲，對你的應用高頻次地檢視並同時進行影象輸出，來模擬真實的瀏覽過程。TestDroid應用了Robotium /MonkeyRunner生成系列工具，但需要有被測應用的原始碼。
Testin雲測試平臺是一個基於真實終端裝置環境，基於自動化測試技術的7x24雲端服務.Testin在雲端部署了300多款1000多部測試終端， 並開放這些智慧終端給全球移動開發者進行測試，開發者只需在Testin平臺提交自己的App應用，選擇需要測試的網路、機型，便可進行線上的自動化測試，無須人工干預，自動輸出含錯誤、報警等測試日誌、UI截圖、記憶體/CPU/啟動時間等在內的標準測試報告。支援Android與iOS，業務較為全面。
MTC是百度雲面向移動和web開發者提供的服務，能夠滿足一般的測試需求，包括當前的熱門機型，還支援雲端客戶端回放。它還提供一個雲眾測服務，就是開放者上傳App，百度提供給使用者下載測試，然後將反饋收集返回給開發者。
騰訊優測試專業化的移動雲測試平臺，為廣大開發者提供移動應用一站式測試服務與解決方案。提供缺陷分析、應用測試、雲手機等主要功能，使用者通過平臺上傳安裝包，就可進行全面的相容性和效能測試，還並可以線上使用多臺雲端真機，滿足更多開發和測試需要。 騰訊優測真機實驗室目前已配備上千款手機，覆蓋市面98%主流機型，7*24小時線上執行，覆蓋億級使用者。構建的數萬個適配問題特徵庫，可以快速準確定位問題。
MQC是阿里移動質量中心推出的真機測試服務的雲平臺，擁有大量熱門機型，提供7x24全天候服務。MQC可以涵蓋Android、iOS、YunOS、H5等不同的平臺體系，主要服務阿里系和阿里內部如手淘、天貓、聚划算、支付寶等App。
易測雲由國內知名軟體公司東軟出品，是一個專業為移動APP產品提供適配測試、效能測試、遍歷測試、功能測試等多種服務的真機自動化雲測試平臺，主要為所有移動APP產品的開發者和測試者、以及需要定製化服務的企業級使用者，提供安全、專業、高效、易用的自動化雲測試服務；強大的錄製指令碼外掛；詳細實用的測試報告；以及簡單人性化的操作體驗。
關於雲測試平臺對比分析的文章已經很多，這裡不作贅述。
眾測平臺
眾測的目的是利用大眾的測試能力和測試資源，在短時間內完成大工作量的產品體驗，第一時間將體驗結果反饋至平臺，再由平臺管理人員將資訊蒐集，交給開發人員； 同時是從最前端使用者拿到的第一手資訊，就能從使用者角度出發，改善產品質量。
uTest是一家來自以色列的創業公司，該公司主要的業務是通過自己構建的一個全球測試員網路為開發人員和技術公司提供軟體測試以幫助這些開發人員更好的找到並解決軟體中的問題。擁有來自200多個地域國家超過15萬專業測試人員。根據測試人員數量的不同，收費也各異，最低 499 美元，最高可達 1999 美元。uTest提供了uTest課堂提供了專業軟體測試者授權課程的學習使用方法， 還提供了工具平臺供測試人員提交測試工具或對已有工具評分。總之，uTest給專業測試人員提供了一個社群的氛圍。很多大公司都在使用 uTest 的服務，包括谷歌、微軟、Groupon、AOL 和 BBC 等。要想參與uTest測試任務，需要註冊並提供詳細的測試環境，比如測試機型 、測試工作經驗、軟硬體環境等資訊，便於uTest高效分配任務。
騰訊眾測是騰訊公司開發的一款基於眾包概念的平臺。支援應用、遊戲、H5混合應用等
多種產品形態，具有Bug探索、產品調研、資料收集和產品評測四種業務模式。
百度眾測也是眾包模式的典型應用，它將企業產品的相關測試工作交由網路社群大眾來完成。百度眾測是百度公司開發的眾包在軟體和產品測試上面的延伸。百度眾測“隸屬”百度質量部，是一個使廣大的網際網路使用者能夠第一時間體驗到百度的新產品，從使用者體驗的角度出發，對百度的新產品提出改進建議，以及各種bug反饋，以便於百度公司及時地改善產品質量。目前，百度眾測包括“外部使用者測試平臺”，“內部員工測試平臺”和“開發者平臺雲眾測”。 註冊使用者達到1500萬。
為開發者提供一種完全開箱即用、按需付費的SaaS服務，不僅提供了測試規劃、功能測試、相容性測試、可用性測試、Beta測試等測試服務，開發者還可以直接使用Testin眾測平臺的Bug管理、用例管理、專案管理、崩潰監控等線上工具，幫助中小開發者無需招聘專業的測試團隊也可以輕鬆將應用質量管理好。
烏雲眾測是另一種眾測型別，是在專業性很強的領域——安全領域深入的一種眾測模式，它對眾測人員的專業性要求很高，俗稱“白帽子”。在烏雲眾測，企業可在短時間內組建虛擬的安全團隊，通過邀請頂尖白帽子模擬黑客對網站、系統或產品進行測試，企業可迅速排查各種安全隱患。同類型的眾測公司還有漏洞盒子、Sobug白帽眾測，他們是目前國內最大的三家安全眾測平臺。
眾測平臺總結：
眾測平臺可以分為三種類型, 一種是大眾任務型, 主要利用數量來收集資料或模擬特殊情境,如不同網路環境等, 百度眾測和騰訊bugly都屬於這一類; 第二類是以具有專業知識的測試人員來定向完成任務的模式, 這類的代表是國外的uTest和國內的Testin; 第三類是應用於對測試人員專業度要求更高的某類業務—目前主要是安全業務— 的模式, 著名的烏雲眾測、漏洞盒子、Sobug白帽眾測就是利用白帽子的“攻”的水平來實現“防”的目的的。
內測平臺
內測平臺允許開發者選擇合適的測試人員，並允許其與測試人員進行溝通。IOS應用分發多采用這種方式，以蘋果收購的TestFlight為代表。這種模式操作起來稍微繁瑣，如果是iOS應用的話需要製作特殊的內測版本，獲取內測裝置的UDID並製作證書，並且有100人的人數限制。
TestFlight提供了iOS App測試分發服務，它主要解決的是iOS應用測試分發困難問題，可向指定的人分發應用，雙方需要註冊TestFlight賬號，以及下載TestFlight App，即可在App裡測試應用。TestFlight已被蘋果收購，因此其UDID證書限制人數可達到1000人。
HockeyApp是以TestFlight的替代者的身份出現的，其集成了TestFlight的所有優點，同時增加了自己的一些亮點功能，比如支援更多的平臺，服務穩定性也比TestFlight高，並且能夠通過SDK方式幫助開發者獲取必要的測試資訊。HockeyApp被微軟收購，是收費應用。
Fir.im 全名 Fly It Remotely ，是一個為移動開發者服務，針對應用開發內測階段，提供應用託管分發，崩潰分析以及反饋收集等一系列幫助開發者提高開發測試效率服務的平臺。它提供了開放API，開發者可以將fir.im 整合到開發流程中。此外，fir.im 還提供了指令工具CLI， 日誌檢視工具LogGuru、崩潰分析工具BugHD和網速測試等工具。 Android端還提供了Android Studio外掛，方便Android開發者上傳應用。
蒲公英也提供了面向IOS 和Android平臺的內測託管和任務分發服務，同樣提供開放API。 它提供了移動端SDK用於應用內測資料收集分析、版本更形提示、資料分析統計等多種功能。除此之外，它還提供了專家測試的選項，提供人工遍歷測試，IOS稽核加速等服務。並且，蒲公英提供了測試管理的平臺，使得開發者在單平臺上做到收集內測使用者問題並得到問題分析。
Bugly 是騰訊對外開放使用的移動應用崩潰檢測服務，同時支援 iOS 和 Android 平臺。移動開發者在自己的 App 中接入 Bugly 的 SDK 後，就能在應用崩潰後獲得資訊上報。目前還推出了內測分發服務， 但還沒有提供收集使用者測試結果的方法。
內測平臺總結：
國內的內測平臺都還屬於起步階段，更多應用場景在於幫助IOS應用快速釋出。
遠端移動測試平臺正在向綜合雲測、眾測、內測甚至遠端資料收集工具的方向發展，比如國內領先的Testin平臺，在雲測、眾測攻佔城池之後，也推出了內測平臺（https://pre.im/）；蒲公英平臺則在內測的基礎之上，將bug管理融入平臺。騰訊MIG雲測有優測，眾測有tesly，應用分發有bugly，並且bugly自帶crash 上報分析的功能，如將三者融合，能夠形成與Testin一樣的遠端綜合測試平臺。
本章完~
我們專注於移動測試技術精華，飽含騰訊多款億級APP的品質祕密，文章皆獨家原創，我們不談虛的，只談乾貨！
掃碼關注我們
