2. 程式人生 > >JMeter性能測試3.0時代之-多維度的圖形化HTML報告

JMeter性能測試3.0時代之-多維度的圖形化HTML報告

阿新 • • 發佈：2017-12-04
emp 監聽器 平臺 spa destroy nature 更多 b- pla

在上一篇博客JMeter性能測試3.0時代之-全新JMeter插件管理中我說會寫真正的JMeter 3.0新特性，時隔兩周，總算在這個周末，暫停其他安排，來繼續這個未完成的系列。
本文主要介紹JMeter3.0引入的新特性：Dashboard Report，圖形化的HTML格式多維度測試報告。借助這個特性，可以很大程度上降低我們搭建基於JMeter的性能測試平臺時，在結果展示上的難度，將更多的經歷放在後端的平臺功能而不是去臨時學習前端圖表庫。

一.為什麽談這個新特性

在JMeter3.0之前，官方只提供在工具的UI上對測試結果部分維度的圖形化展示，這對我帶來了兩方面的困擾：

  1. 在實際使用中，在平臺中集成JMeter後需要頁面展示TPS曲線，平均響應時間曲線等圖表時，需要我們手動操刀擺弄如Hightcharts/Echarts等前端圖表庫。
  2. 要查看歷史的測試結果，需要啟動JMeter的圖形化界面，導入保存的CSV結果，過程繁瑣，並且當結果集較大時，JMeter需要耗費相當多的時間在界面上展示圖形化報告。

本文討論的新特性為這兩個問題帶來了較好的解決辦法：

  • 新特性良好的實現了結果數據可視化，生成的報告是HTML頁面形式，並且包含大多數實際測試中關心的度量維度的，可以便捷地嵌入到平臺，從瀏覽器來查看每次測試運行的。
  • 只要保留生成的HTML頁面，後期要查看該次測試的結果，只需要在瀏覽器打開即可，方便快捷。

二.新特性簡介

JMeter3.0提供一個用於生成HTML頁面格式圖形化報告的擴展模塊。該模塊支持通過兩種方式生成多維度圖形化測試報告：

  1. 在JMeter性能測試結束時，自動生成本次測試的HTML圖形化報告
  2. 使用一個已有的結果文件(如CSV文件)來生成該次結果的HTML圖形化報告

其默認提供的度量維度包括：

  1. APDEX(Application Performance Index)指數
  2. 聚合報告
    • 類似於UI上的Aggregate Report
  3. Errors報告
    • 展示不同錯誤類型的數量以及百分比
  4. 響應時間變化曲線
    • 展示平均響應時間隨時間變化情況
    • 類似於JMeter Plugins在UI上的jp@gc - Response Times Over Time
  5. 數據吞吐量時間曲線
    • 展示每秒數據吞吐量隨時間變化的情況
    • 類似於JMeter Plugins在UI上的jp@gc - Bytes Throughput Over Time
  6. Latency time變化曲線
    • 展示Latency time隨時間變化的情況
    • 類似於JMeter Plugins在UI上的jp@gc - Response Latencies Over Time
  7. 每秒點擊數曲線
    • 類似於JMeter Plugins在UI上的jp@gc - Hits per Second
  8. HTTP狀態碼時間分布曲線
    • 展示響應狀態碼隨時間的分布情況
    • 類似於JMeter Plugins在UI上的jp@gc - Response Codes per Second
  9. 事務吞吐量時間曲線(TPS)
    • 展示每秒處理的事務數隨時間變化情況
    • 類似於JMeter Plugins在UI上的jp@gc - Transactions per Second
  10. 平均響應時間與每秒請求數的關系圖
    • 展示平均響應時間與每秒請求數(可以理解為QPS)的關系
  11. Latency time與每秒請求數的關系圖
    • 展示Latency time與每秒請求數的關系
  12. 響應時間百分位圖
    • 響應時間的百分位分布圖
  13. 活動線程數變化曲線
    • 展示測試過程中活動線程數隨時間變化情況
  14. 平均響應時間與線程數的關系圖
    • 展示平均響應時間與線程數的關系
    • 類似於JMeter Plugins在UI上的jp@gc - Response Times vs Threads
  15. 柱狀響應時間分布圖
    • 展示落在各個平均響應時間區間的請求數情況

註1：Latency time沒有翻譯成中文，這裏對其計算方式做註解：

- Latency time = 接收到響應的第一個字節的時間點 - 請求開始發送的時間點

from just before sending the request to just after the first response has been received
-- Apache JMeter Glossary

- 響應時間(JMeter術語中的Elapsed time) = 接收完所有響應內容的時間點 - 請求開始發送的時間點

from just before sending the request to just after the last response has been received
-- Apache JMeter Glossary

註2：Apdex 標準從用戶的角度出發，將對應用響應時間的表現，轉為用戶對於應用性能的可量化為範圍為 0-1 的滿意度評價。。

Apdex (Application Performance Index) is an open standard developed by an alliance of companies. It defines a standard method for reporting and comparing the performance of software applications in computing.
-- wikipedia

三.快速入門

1.確認基本配置

  • 在jmeter.properties或者user.properties確認如下配置項： 
    jmeter.save.saveservice.bytes = true
jmeter.save.saveservice.label = true
jmeter.save.saveservice.latency = true
jmeter.save.saveservice.response_code = true
jmeter.save.saveservice.response_message = true
jmeter.save.saveservice.successful = true
jmeter.save.saveservice.thread_counts = true
jmeter.save.saveservice.thread_name = true
jmeter.save.saveservice.time = true
# the timestamp format must include the time and should include the date.
# For example the default, which is milliseconds since the epoch: 
jmeter.save.saveservice.timestamp_format = ms
# Or the following would also be suitable
jmeter.save.saveservice.timestamp_format = yyyy/MM/dd HH:mm:ss
  • 如果希望在Errors報告中展示更詳細數據，需要確保如下配置
    • jmeter.save.saveservice.assertion_results_failure_message = true
    • 如果使用了事務控制器(Transaction Controller)，確認Generate parent sample為未勾選狀態

2.生成報告

a. 在壓力測試結束時報告

  • 基本命令格式：
    jmeter -n -t <test JMX file> -l <test log file> -e -o <Path to output folder>
  • 樣例：
    jmeter -n -t F:\PerformanceTest\TestCase\script\getToken.jmx -l testLogFile -e -o ./output

b. 使用已有的壓力測試CSV日誌文件生成報告

  • 基本命令格式：
    jmeter -g <log file> -o <Path to output folder>
  • 樣例：
    jmeter -g D:\apache-jmeter-3.0\bin\testLogFile -o ./output

兩個樣例都會在\apache-jmeter-3.0\bin\output目錄下產生如下文件(夾):

技術分享圖片

用瀏覽器打開index.html文件，即可查看各種圖形化報告:

技術分享圖片 技術分享圖片

註：在3.0版本，由於源碼中字符編碼的問題，可能會遇到生成的報告中，中文標簽展示為亂碼的問題，因篇幅限制，解決辦法請戳這裏看我另一篇文章。

四.自定義配置

JMeter3.0在bin目錄新增了reportgenerator.properties文件保存了所有關於圖形化HTML報告生成模塊的默認配置，要變更配置，建議不要直接編輯該文件，而是推薦在user.properties中去配置和覆蓋。

1.總體配置

總體配置都是以jmeter.reportgenerator.為前綴，如：jmeter.reportgenerator.overall_granularity=60000

  • overall_granularity：定義采樣點粒度，默認為60000ms，通常在穩定性以外的測試中，我們可能需要定義更細的粒度，比如1000ms，我們可以在user.properties文件末尾添加如下配置： 
    # Change this parameter if you want to change the granularity of over time graphs.
jmeter.reportgenerator.overall_granularity=6000
  • report_title:定義報告的標題，我們可能需要將標題定義為實際測試項名稱
  • apdex_satisfied_threshold：定義Apdex評估中滿意的閾值(單位ms)
  • apdex_tolerated_threshold: 定義Apdex評估中可容忍的閾值
    Apdext = (Satisfied Count + Tolerating Count / 2) / Total Samples

另外，在jmeter.properties中，有關於集合報告中的三個百分位的默認值：

aggregate_rpt_pct1 : Defaults to 90
aggregate_rpt_pct2 : Defaults to 95
aggregate_rpt_pct3 : Defaults to 99

可以在user.properties中對其進行覆蓋，如：aggregate_rpt_pct1 = 70，效果如下：

技術分享圖片

2.圖表配置

每個圖表配置都是以jmeter.reportgenerator.graph.<圖表名稱>.為前綴。

  • classname 圖表的實現類，如果有自己定制的實現，將該配置的值寫為自定義實現類的類名
  • title 圖標標題，比如要漢化的時候，在這裏配置中文標題
  • property.set_granularity 設置圖標的采樣點粒度，不配置時默認使用總體配置中的粒度設置

3.輸出配置

輸出配置都以jmeter.reportgenerator.exporter為前綴。

  • property.output_dir 配置默認的報告輸出路徑。在命令行可以用-o選項來設置特定的路徑覆蓋該配置。
  • html.series_filter 用於過濾展示內容。如在user.properties添加如下配置：
    jmeter.reportgenerator.exporter.html.series_filter=(^Login)(-success|-failure)?
    則最後的報告只展示名為Login這個取樣器的數據。該配置包含兩部分，(-success|-failure)?是Transactions per second圖表所依賴的配置。前面部分接受一個正則表達式用來過濾。

五.總結

本次介紹的Dashboard Report特性本質上是Apache JMeter對於測試結果數據可視化方式的順應時代的更新，雖然算是姍姍來遲，雖然並不酷炫，但至少，對於要需要基於它來執行性能測試的人來說，仍然是一個福音。最後，感謝Apache JMeter項目的各位貢獻者對它的持續更新。

References

  1. Apache JMeter Dashboard Report
  2. Apache JMeter Glossary
阿羅

寫了 15410 字，被 76 人關註，獲得了 78 個喜歡

Java，後端服務，數據處理，測試，擁抱全棧http://www.aloo.me

如果覺得我的文章對您有用，請隨意打賞。您的支持將鼓勵我繼續創作！

後發表評論
2樓 · 2016.09.20 17:00

An error occurred: Error while processing samples:Consumer failed with message :Consumer failed with message :Consumer failed with message :No column <threadName> found in sample metadata <timeStamp,elapsed,label,responseCode,responseMessage,dataType,success,failureMessage,bytes,grpThreads,allThreads,Latency,IdleTime>, check #jmeter.save.saveservice.* properties to add the missing column

樓主你好，按照你的配置最後報了這個錯。。求解決~

3樓 · 2016.09.21 00:10

看報錯關鍵信息：No column <threadName> found in sample metadata
解決方案：確認./bin/jmeter.properties文件中有如下配置：jmeter.save.saveservice.thread_name = true。也可以在界面上你的listener的configure選項裏面勾選“save thread name”

贊 回復

11a80f8fc74f： @阿羅 確認都設置了還是這個問題，用什麽監聽器有關系嗎？？

2016.09.21 14:57 回復

11a80f8fc74f： @阿羅 An error occurred: Data exporter "html" is unable to export data. 重新運行了下出現了這個錯 是不是哪裏設置有問題呢？

2016.09.21 15:21 回復

11a80f8fc74f： @阿羅 最新進展運行可以了但是目錄下為空。。。實在沒招了，求幫助~~

2016.09.21 16:19 回復 妞妞兒們 4樓 · 2016.10.18 16:02

jmeter -n -t <test JMX file> -l <test log file> -e -o <Path to output folder>
這個命令，放在哪裏執行阿？

贊 回復

阿羅： @妞妞兒們 windows下在命令行執行


5樓 · 2016.11.06 12:56

請教下，為什麽我生成報告就報這個錯誤，報告文件夾生成了但是沒有 index.html
Tidying up ... @ Sun Nov 06 12:09:41 CST 2016 (1478405381170)
The JVM should have exitted but did not.
The following non-daemon threads are still running (DestroyJavaVM is OK):
Thread[StandardJMeterEngine,5,main], stackTrace:sun.nio.fs.WindowsNativeDispatch
er#CopyFileEx0
sun.nio.fs.WindowsNativeDispatcher#CopyFileEx
sun.nio.fs.WindowsFileCopy#copy
sun.nio.fs.WindowsFileSystemProvider#copy
java.nio.file.Files#copy
org.apache.jmeter.report.dashboard.TemplateVisitor#visitFile at line:126
org.apache.jmeter.report.dashboard.TemplateVisitor#visitFile at line:48
java.nio.file.Files#walkFileTree
java.nio.file.Files#walkFileTree
org.apache.jmeter.report.dashboard.HtmlTemplateExporter#export at line:487
org.apache.jmeter.report.dashboard.ReportGenerator#exportData at line:348
org.apache.jmeter.report.dashboard.ReportGenerator#generate at line:256
org.apache.jmeter.JMeter$ListenToTest#generateReport at line:1144
org.apache.jmeter.JMeter$ListenToTest#testEnded at line:1089
org.apache.jmeter.engine.StandardJMeterEngine#notifyTestListenersOfEnd at line:2
15
org.apache.jmeter.engine.StandardJMeterEngine#run at line:436
java.lang.Thread#run

Thread[DestroyJavaVM,5,main], stackTrace:
... end of run

JMeter性能測試3.0時代之-多維度的圖形化HTML報告

相關推薦

JMeter性能測試3.0時代之-多維度的圖形化HTML報告

emp 監聽器 平臺 spa destroy nature 更多 b- pla 在上一篇博客JMeter性能測試3.0時代之-全新JMeter插件管理中我說會寫真正的JMeter 3.0新特性，時隔兩周，總算在這個周末，暫停其他安排，來繼續這個未完成的系列。本

JMeter效能測試3.0時代之-多維度的圖形化HTML報告

轉http://www.jianshu.com/p/be8930c4eef2 一.為什麼談這個新特性 在JMeter3.0之前，官方只提供在工具的UI上對測試結果部分維度的圖形化展示，這對我帶來了兩方面的困擾： 在實際使用中，在平臺中整合JMeter後需要頁面展示TPS曲線，平均響應時間曲線等圖表時

JMeter性能測試 - 常用功能介紹之Thread Group

img oop 啟動 延遲 for 測試的 情況 性能測試 創建線程 JMter 安裝完成後, 先熟悉一下Jmter 常用元件 Thread Group. 打開終端輸入jmeter,啟動JMeter TestPlan 測試計劃 測試計劃包含與本次測試相關的所有元素,

Jmeter性能測試之參數化(二)

font process function 分享圖片 選項 conf image con processor Jmeter參數化主要有3種方式: 1. Add--> Pre Processors--> User Parameters 2. Add-->

Jmeter性能測試之進階BeanShell的使用

ren image odi jmeter info 進階 java 測試 shel BeanShell 最常用的用法 寫好Java代碼打成jar, 放到目錄\lib\ext下面 1 package com.test; 2 3 import java.io.File

性能測試從0到1的過程（二）

sleep efi python腳本 size sel 應用服務器 完全 展示 服務 　　本人，從畢業開始接觸測試，但是性能方面一無所知。之前在第一份工作，測過安卓客戶端，當時寫過一個非常簡單的shell腳本，push到手機系統內，用於手機硬件信息。但是在服務端的性能方面，

性能測試工具Loadrunner使用之三（Analysis ）

2種 刪除 agreement 使用率 坐標 web資源 1-1 升序 配置步驟 analysis簡介 分析器就是對測試結果數據進行分析的組件，它是LR三大組件之一，保存著大量用來分析性能測試結果的數據圖，但並不一定要對每個視圖進行分析

Jmeter性能測試工具的使用（Web性能測試）

動態參數 數量 後綴名 右鍵 創建 read mage tween 圖形界面 Jmeter性能測試工具的使用（Web性能測試） 1、下載 http://pan.baidu.com/s/1o7p18Ye 該軟件不用安裝，直接解壓打開即可使用。 2、

jmeter性能測試並監控服務器硬件_華山

jmeter 性能測試 前提條件：安裝配置好jmeter，將相關插件安裝好準備監控服務器所需的“代理服務器”，並將其解壓啟動代理，雙擊“startAgent.bat”(windows系統)啟動成功（測試過程中此窗口不可關閉）啟動jmeter，打開項目，添加監聽器點擊“add row”來添加各個監控指標

從零開始做一個Jmeter性能測試

conf ber img group 測試報告 響應 介紹 oop 系統環境 安裝Jmeter 1、下載地址http://jmeter.apache.org/download_jmeter.cgi 2、解壓下載文件，然後將bin目錄添加到系統環境變量PATH裏。 3、確保已

JMeter性能測試中控制業務比例

表達 整除 控制 strong 條件 style 兩個 logs 使用 性能測試混合場景中，我們需要組合多個業務操作到場景中來。比如有一個論壇的業務分布如下：發布新帖與回復帖子的比例為2:3，那麽我們在JMeter測試計劃中如何控制其比例呢？ 可以通過以下兩種方式解

Jmeter--性能測試工具的搭建

出現 you 中文字符 測試工具 please version table sys 變量 第一步：Jmeter軟件下載第二步：解壓下載的Jmeter包到某一盤符下，最好解壓到無中文字符目錄下，防止亂碼問題，以我電腦為例，比如：D:tools第三步：找到解壓的文件jmeter

Jmeter性能測試中Tps圖與響應時間圖

ado jmeter 圖片 times col image per 技術分享 com jp@gc - Response Times Over Time顯示圖： jp@gc - Transactions per Second Jmeter性能測試中Tps圖與響應時間圖

Jmeter性能測試從入門到精通

jmeter課程觀看地址：http://www.xuetuwuyou.com/course/251課程出自學途無憂網：http://www.xuetuwuyou.com 課程介紹全程實戰，每個知識點通過實際項目演練講解理論實踐結合，既會做，又知道為什麽這樣做講解時同其他工具做對比，加深理解，了解區別分享技巧，

性能測試-3.Fiddler進行弱網測試

pad sim ica AD 代理設置 IV mode eight 響應 fiddler模擬限速的原理（原文地址） 我們可以通過fiddler來模擬限速，因為fiddler本來就是個代理，它提供了客戶端請求前和服務器響應前的回調接口，我們可以在這些接口裏 面自定義一些邏輯。

JMeter 性能測試進階實戰

jenkins 檢查 flash spa 可移植性 簡單的 深入淺出 線程並發 端口號 課程簡介 本課程制作的主要目的是為了讓大家快速上手 JMeter，期間穿插了大量主流項目中用到的技術，以及結合當今主流微服務技術提供了測試 Dubbo 接口、Java 工程技術具體實施方

Locust性能測試3-no-web模式和csv報告保存

設置 定義 -- 就是 使用 指令 img 一點 star 前言 前面是在web頁面操作，需要手動的點start啟動，結束的時候也需要手工去點stop,沒法自定義運行時間，這就不太方便。 locust提供了命令行運行的方法，不啟動web頁面也能運行，這就是no-web模式啟

Locust性能測試3 no-web運行

-c 目錄 cts test pycharm mic pts pre microsoft Locust也支持no-web的方式運行，直接通過控制臺設置並發用戶數、每秒啟動用戶數、持續壓測時間。 locust -f 腳本路徑 -c 用戶數 -r 每秒啟動

Jmeter性能測試從入門到精通|jmeter視頻教程下載

同時 share 實踐 知識 抓包工具 .com href 視頻教程 jdk Jmeter性能測試從入門到精通(2018)網盤地址：https://pan.baidu.com/s/17PQVAPPl-7umJSzQ6wirDw 提取碼: kied備用地址（騰訊微雲）：htt

JMeter 性能測試 - Mac系統下如何安裝JMeter

cgi 最新 圖片 分享 輸入密碼 download insert 環境變量 exp JMeter 介紹 JMeter 是一個很好的性能測試工具, 由於JMeter 是基於JAVA 開發的,所以它的運行同樣依賴於JAVA 環境. 首先查看你的Mac 系統是否已經安裝了J