2018福大軟工實踐第十次作業
目錄
一、測試目的
本測試報告的物件是福大助手app，測試的目的：
- 描述系統是否符合使用者需求
- 是否已達到使用者預期的功能目標
- 對產品質量進行分析
- 本測試報告也可幫助使用者選擇app或為開發人員提供專案管理的參考
二、測試環境
手機裝置1：紅米note4
對應系統1： MIUI 10.1.2.0&Android6.0
手機裝置2：iPhone6s
對應系統2： IOS 12.1
輔助測試：Windows 10
三、產品測試功能點：
頁面連結檢查：每一個連結是否都有對應的頁面，頁面之間切換正確；
- 功能之間影響：刪除/增加一項是否會對其他項產生影響，如果產生影響，這些影響是否都正確；
- 檢查按鈕的功能是否正確：如新增、修改、取消、儲存等功能是否正確；
- 查詢功能：分別輸入存在和不存在的內容，以測試系統的查詢功能是否能顯示正確的結果；如果可以輸入多個查詢條件，同時新增合理和不合理的條件，觀察系統處理是否正確；
- 輸入資訊位置：注意在游標停留之處輸入資訊時，游標和所輸入的資訊是否能保持正確的位置，還是會存在錯誤的跳轉；
- 重複提交表單：在退出系統後重復提交表單，觀察系統的處理結果；
字元型別檢查：在應該輸入指定型別內容的地方輸入其他型別的內容(如在應該輸入整型的地方輸入其他字元型別)，觀察系統是否檢查字元型別，是否會有提示視窗；
四、Bug情況記錄
IOS端
- 如果沒有對“福大助手”進行日曆的授權設定，那麼“考場”中的“加入日曆”功能無法實現，點選“加入日曆”提示“授權失敗”的視窗，但是沒有引導使用者進行授權的視窗；
- “設定”中的“推送”功能沒有實現，點選“推送”顯示頁面後無法操作，所有Switch按鈕無效，也無法回退到“設定”介面；
- “一鍵評議”功能如果輸入錯誤的字串會多次提示“傳送未知錯誤，評議失敗，嘗試繼續評議”，然後app崩潰；
- “易班工具”中的“輔導員考核”功能，輸入“得分”欄的資料為字母或特殊字元（如@、&等）點選“儲存”後沒有提示“只能輸入數字”的視窗，而是直接顯示“輔導員考核詳情”頁面
Android端
- 進入設定頁面，編輯側邊欄的時候，要是選擇不顯示現在所在的功能頁面，退出設定之後，還會存在取消的頁面，這個是邏輯上不符的。
- “一鍵xx”功能，如果反覆切換評議用途，切換過後的頁面重新整理初始化十分緩慢，有時出現初始化的情況，“驗證碼”無論輸入的是什麼，都能夠開始評議。
五、類似產品對比分析
- 福大教務處
- 福州大學教務處官方推出的一款集課表，成績查詢，學業分析，學期選課，空教室查詢等多個功能於一體的教務app。但是關於教務通知詳情功能，長期處於無法載入情況。
- 福大易班
- 集福州大學學生工作、學習、生活方面為一體的校園服務辦理app。（基本上集齊了學校大部分個人日常需要申請辦理的事務，但部分功能能否使用/使用感受大家都懂）經常出現登入超時的情況，導致使用者無法正常使用。
- 期末考啦
- 面向福州大學的學生學習資料分享軟體。內建廣告，功能單一。
- 超級課程表
- 以課程表為基礎展開的校園實用工具。部分福大學生會使用這個app檢視課表。是一個不錯的課程表檢視軟體，但是不能提供適用於福大學生的更多功能。
- 相較之下，本軟體博採眾長，基本上整合了以上app的核心功能，並且功能使用起來更方便，介面也更美觀，也不會像福大易班一樣老是會閃退，在功能性和穩定性上有一定的優越性。也提供了校招日曆，大物實驗和嘉熙講壇報名等新功能。
六、測試結果與建議
標準相容性測試
任務列表
| 測試方式 | 自動化指令碼執行 |
|---|---|
| 測試內容 | 安裝->啟動->註冊/登陸->UI遍歷->解除安裝 |
| 檢查項 | 相容性問題（安裝失敗、啟動失敗、閃退、黑屏&白屏、卡死&卡頓、連線異常、UI異常、其他異常）；效能（安裝時延、啟動時延、CPU、記憶體、流量、溫度、幀速率） |
| 測試人員 | 毫無經驗的小白人員 |
相容性測試
測試的48款機型以及執行情況，測試通過率為64%
16款機型安裝失敗
執行失敗終端分佈
效能概覽
安裝耗時分析
啟動耗時分析
CPU佔用率分析
記憶體佔用分析
電池溫度分析
部分終端資料
結果概覽
安全分析1
安全分析2
分析
【高危】 未防禦螢幕錄製：在一些涉及隱私的操作介面，遮蔽錄屏/截圖事件是一個有益於使用者的實踐。可以在一定程度上避免使用者的資訊洩露；
【高危】 隱式Intent劫持：APP使用隱式的Intent，存在被惡意三方APP釣魚的風險
【高危】 不安全Zip檔案解壓： zip壓縮包中的檔名中可以包含“/”所以如果檔名字是包含多個“../”就會造成檔案被惡意放置，覆蓋掉APP原有的檔案
【高危】 未移除測試程式碼：測試程式碼的保留會為攻擊者瞭解工程邏輯提供很大的幫助，進而幫助其攻擊APP對使用者/開發商造成不必要的損失。
【高危】 未關閉備份模式：APP 開啟了資料備份和恢復的功能時，可通過 ADB 備份資料，存在資訊洩露的風險。
結語
根據以上的測試結果，福大助手app在介面UI上存在著不少問題，功能邏輯上也存在很多不足：
IOS：
- 日曆的授權設定沒有引導使用者進行授權的視窗；
- “設定”中的“推送”功能沒有實現；
- “一鍵評議”功能如果輸入錯誤的字串會導致app崩潰；
- “輔導員考核”功能對字母或特殊字元（如@、&等）異常處理不完善。
Andriod：
- 進入設定頁面，編輯側邊欄存在邏輯不符的情況；
- “一鍵xx”功能，對反覆切換評議用途操作缺乏穩定性；
- 對輸入型別的判斷、許可權設定等d使用者引導不完善；
而針對安全方面，希望開發者能有足夠的防範措施，保護使用者資料隱私，有效防範DDos等常見安全攻擊，提高系統的安全性和魯棒性。建議開發人員可以針對以上問題作出相應的修改，完善功能邏輯，提高系統安全性，使每個頁面之間的連結合理且完善。
貢獻度
| 姓名 | 比例 |
|---|---|
| 家偉 | 11% |
| 卉卉 | 10% |
| 宇恆 | 10% |
| 政演 | 9.5% |
| 丹丹 | 9% |
| 鴻傑 | 8% |
| 一好 | 7% |
| 愷琳 | 6.5% |
| 青元 | 9% |
| 家燦 | 9.5% |
| 緒佩 | 10.5% |
第一組
Q1：演講缺乏對專業測評工具的介紹，可以介紹一下你們所使用的應用線上測評工具嗎？
答：感謝提問！我們使用的測評工具是Testin雲測試。Testin雲測試是一個真機自動化雲測試服務平臺,可實現自定義終端進行批量自動化相容適配測試以及功能、效能、穩定性測試。我們在平臺上傳了福大助手的apk檔案獲得了測試報告資料。
Q2：專案測評是否有釋出問卷調查，對應用進行一個大基數的調查？
答：感謝提問！我們沒有采取釋出問卷調查的形式。我們認為問卷調查的形式對我們的評測幫助並不大，一是沒想到什麼有針對性的問題，二是對一個軟體的評測和分析是需要對軟體細緻地測試得出的，大多數同學不會通過日常的操作找到什麼我們測試人員沒有發現的bug，三是我們通過線下了解，同學們的需求比較單一，對福大助手現有的功能都比較滿意，提出的如校園卡充值等需求對非技術性的要求較高，不在我們考慮的增量開發範圍內。當然，以上僅代表我們組的觀點。貴組的問卷調查分析結果是一個亮點，說明貴組的問卷問題和結果分析做的很好，我們會多多學習。
Q3：專案的增量開發難度如何，以小組實力需要多久的開發時間？
答：感謝提問！增量開發的主要功能同學幫涉及到實時互動的功能，難度較高，以小組實力初步估計要兩個月左右的時間。
第二組
Q1：是否也有使用問卷調查的形式呢？
答:感謝提問!我們組這次的測試報告中沒有考慮到使用問卷調查的形式，因為感覺大家都是輕使用這款App只會使用一些基礎的功能，所以不必採用問卷調查的形式。當然，如果測試報告的形式更有利於我們進行測試的話，我們之後會考慮採用這種方式來進行測試工作。
Q2：假如由貴小組來開發該軟體，覺得需要多久呢？
答:感謝提問!由我們組來進行開發的話，由於大家都是在校大學生，且經驗不甚豐富，所以我認為助教學姐給出的四個月是個不錯的建議。
Q3：具體的評測方法是什麼？
答:感謝提問!我們組的測試同學使用的是名為“testin”的網站，該網站只用上傳APK檔案，就會給出關於該軟體的測試報告，若有興趣，歡迎討論！
第三組
Q1：在測試的過程中並未提及對應的軟體產品的版本號，這就使得bug沒有針對性，有些或許並不是所有使用者目前所使用的版本都潛在的問題，存在指向不明的情況
答：感謝提問！我們確實沒有填，下次注意。但bug是隻要一個裝置存在，就需要去修改。
Q2：雖然有著詳細的測試資料，但並沒有給出一定的解釋性說明，這造成雖然堆有大量資料但大眾很難去理解其所代表的含義，可以掛出你們對於資料的解讀嗎？
答：感謝提問！其實資料解讀我們在測試文件裡面有給出來，如果你們還是覺得不是很能理解，可以看我們的詳細excel文件。
3：指出的分析大都和資料的安全性相關，能否就你們所目前所指出的安全性給福大助手app提出具體的一攬子解決方案呢？
答：感謝提問！我們也很想提供一攬子解決方案，但確實做不到。
第四組
Q1：測試報告及ppt中均有錯別字，為什麼沒有認真稽核呢？
答：感謝提問！對於PPT數字“5”和“五”不統一的問題深感抱歉，由於疏忽影響觀看美感。我們下次會注意的。對於測試報告中存在錯別字我們團隊沒有發現，希望可以更明確的指出錯誤之處方便我們做出修改。
Q2：測試報告沒有上傳pdf檔案，下次能否考慮上傳pdf檔案呢？畢竟pdf檔案不會因為開啟軟體的不同呈現不同。
答：感謝提問！對於我們沒有上傳pdf檔案給你們帶來的不便表示抱歉，我們下次會盡量考慮到大家閱讀的友好型做出改進。但是這次作業中也沒有明確要求為pdf檔案，所以還請諒解。
3：使用者採訪僅放了三張圖，是否不夠有說服力呢？畢竟圖中部分同學神似團隊成員呢？
答：感謝提問！我們的採訪是線下面對面採訪，雖只放置三張圖片但並非代表只採訪了三個物件。這在PPT演示過程中已有陳述是抽取三個代表性物件進行展示。而相較於您方放置的一個線下采訪短視訊是否我們就可以等價的認為您方說服力也不夠強呢？對於“圖中神似團隊成員”的問題，我們團隊中就有一半的成員在之前為使用過福大助手。首先，物件已經是屬於我們的採訪物件範圍；其次，我們圖中確實存在一位團隊成員，但她便是我們挑選出來的代表性物件，我們認為這並沒有什麼不妥。最後，如果您方認為說服力不夠，我們很樂意看到您方所謂比較有說服力的採訪資料和證據。
第五組
Q1：測評可以加入問卷調查的，瞭解下大家對這個軟體的認識，因為我發現其實還是很多人不知道的。
答：感謝提問！這是一個很棒的建議！之後我們會多考慮問卷的。
Q2：其實我覺得福大助手在響應時間方面並不是很好，很多東西都半天出不來，也不知道是不是手機問題。
答：感謝提問！其實我們團隊也有類似的感覺，不過似乎易班及福大教務通等一眾教務類軟體都具有這些毛病，或許和伺服器也有一定關係。
Q3：PPT一共有四頁給福大助手來了一腳，雖然這APP確實很多地方有問題，但還是別踢了，都腫了。（滑稽）
答：感謝提問！柯大魔王要求如此，一人一腳也是無奈之舉。（莫非柯老闆是西二線上幕後股東？）
第七組
1：你們的測試看起來非常有料，可以具體分享一下是怎麼測試的嘛？
答：感謝提問！測試的過程雖然是我們組的核心機密，但是看在我們小組之間的關係非常不錯。我們做的測試主要是黑盒測試，除此之外我們還使用了testin，上傳apk檔案，他們提供了很多款機型做測試，同時也給出測試的方式，效能測試、安全測試和相容性測試等。不過一個賬戶只能免費使用一次軟體測試。
Q2：你們的增量開發中有“同學幫”，可以具體的介紹一下同學幫是幹什麼的嘛？可以實現什麼？
答:感謝提問！同學幫的功能：實名制的同學互動平臺。分成學習、生活兩部分。學習部分主要用來發布一些面向使用者的個人學習資訊。使用者可以在這個板塊釋出找研友、有償考研資訊分享交流、有償期末答疑解惑等訊息。生活部分主要用來發布一些生活上的便利互助資訊，如打車拼單、閒置物品轉讓出售等。我們覺得這個功能能夠提供一個很好的校內交流氛圍。
Q3：你們認為增量開發難度如何？
答：感謝提問！增量開發的難度視內容而定吧，要是您們指的是“同學幫”功能的話，開發上我覺得是有一定的難度，畢竟功能比較繁雜，不過物品轉讓在ios上已經有做嘗試；對於學習部分，開發難度上類似於一個線上聊天系統，難度應該也不大。
第八組
Q1：對於增量設計中的線上點名功能認為是否有必要加這個？是不是加劇代簽之類的情況？
答：感謝提問！本組覺得線上點名功能是可以擴充套件的功能，至於是否會加劇代簽之類的情況，本組覺得教務處賬號涉及個人隱私太多，大部分同學可能都不願意為了簽到借給他人。
Q2：可以抽取一部分的思維導圖或者邏輯框圖展示在ppt中，ppt中好像沒有體現。
答：感謝提問！本組認為把思維導圖或者邏輯框圖放在ppt中沒有很大的意義，因為這些圖如果放在ppt中很難讓同學們看清。
Q3：產品分析感覺這部分內容有點少了。
答：感謝提問！下次會在這方面有所改進。
評分結果
| 組號 | 其他組對本組的評分 | 本組對其他組的評分 |
|---|---|---|
| 1 | 78 | 80 |
| 2 | 81 | 76 |
| 3 | 77 | 71 |
| 4 | 76 | 69 |
| 5 | 86 | 78 |
| 6 | 85 | 85 |
| 7 | 82 | 71 |
| 8 | 84 | 80 |
| 平均 | 81 | — |