multi-mechanize負載壓力

NumPy 測試技術 · 發表 2019-01-23 00:33:02

摘要： pip install multi-mechanize mechanize numpy matplotlib mechanize是一個模擬browser行為的一個庫，當然你也可以用其它的如urllib2、request、tornado.httpclient等等庫，不是必須。後面兩個n...

pip install multi-mechanize mechanize numpy matplotlib

mechanize是一個模擬browser行為的一個庫，當然你也可以用其它的如urllib2、request、tornado.httpclient等等庫，不是必須。

後面兩個numpy和matplotlib也是可選的，當你需要它自動生成圖形化報表時才會用到，安裝matplotlib你的系統有可能需要安裝libpng和freetype庫。

 multimech-newproject my_project

#
#Copyright (c) 2010 Corey Goldberg ([email protected])
#License: GNU LGPLv3
#
#This file is part of Multi-Mechanize
#

import mechanize
import time

class Transaction(object):
def __init__(self):
self.custom_timers = {}

def run(self):
br = mechanize.Browser()
br.set_handle_robots(False)

start_timer = time.time()
resp = br.open('http://www.example.com/')
resp.read()
latency = time.time() - start_timer

self.custom_timers['Example_Homepage'] = latency

assert (resp.code == 200), 'Bad HTTP Response'
assert ('Example Web Page' in resp.get_data()), 'Failed Content Verification'

if __name__ == '__main__':
trans = Transaction()
trans.run()
print trans.custom_timers

注意：按multi-mechanize的預設規則，每個指令碼必須有一個Transaction的類，類要有一個run方法，在run裡面寫測試業務邏輯。這個例子是開啟http://www.example.com，記錄訪問所耗時長，非常簡單明瞭，而實際的場景你可能需要有使用者登入、然後測試某個或多個頁面(API)，只是測試業務複雜一些，寫法是類似的。一個指令碼檔案只能有一個Transaction的類、類也只能有一個run方法，寫起case來是不是覺得非常不方便？不用急，針對這點，後面的小技巧部分會另闢蹊徑給你指條明路。

執行專案的測試指令碼

multimech-run my_project

使用小技巧

Cookie：

br._ua_handlers[“_cookies”].cookieja

單個指令碼多個測試用例的支援：這個思路來源於testsuite的概念，同一個testsuite裡的case作為一組相關的case可以共享一些程式碼邏輯和資源(如browser物件)，而multi-mechanize預設的方式是不支援的，要實現這一點，只需要一點小小的技巧即可，上程式碼：

base.py，Transaction基類：

# -*- coding: utf-8 -*-

import mechanize
import time
import traceback
import logging

class BaseTransaction(object):
_TEST_CASE_PREFIX = "test_"

def __init__(self):
self._init()

self.custom_timers = {}

self.browser = mechanize.Browser()
self.browser.set_handle_robots(False)
self.browser.set_handle_redirect(True)
self.browser.set_handle_referer(True)

def _init(self):
self.funcs = []
funcs_ = dir(self)
for func_ in funcs_:
if func_.startswith(self._TEST_CASE_PREFIX):
self.funcs.append(func_)

def run(self):
""""所有繼承BaseTransaction的類，只需要在以test_開頭的方法裡實現測試case即可，執行時多個case都可以得到測試"""
try:
for func in self.funcs:
start_timer = time.time()
getattr(self, func)()# run test
latency = time.time() - start_timer

self.custom_timers['%s' % func[len(self._TEST_CASE_PREFIX):]] = latency
except Exception, e:
logging.error(traceback.format_exc())
raise e

# -*- coding: utf-8 -*-

from base import BaseTransaction

class Transaction(BaseTransaction):

def test_google_com_hk(self):
#測試邏輯程式碼，如類似於上面的測試example.com
pass

def test_google_com_sg(self):
pass

def test_google_com(self):
pass

真實的併發量計算：multi-mechanize使用了multiprocessing庫，會同時起多個程序，且每個程序按config裡的配置起多個執行緒來實現併發測試，但真正的單位時間內的併發量並不是config裡設定threads=10這樣的表示每秒10個併發，真實的併發量需要根據最終完成的transaction數和這些transaction裡面包含多少次http請求和總的完成時間來計算得知，這點不是很直觀。

自定義統計資料：你可以往self.custom_timers這個內建的字典裡塞任意的自定義統計資料，他們在報表中都能夠得到體現。

更多的文件和一手資料請參考文件http://testutils.org/multi-mechanize/和git程式碼庫https://github.com/cgoldberg/multi-mechanize 。最後multi-mechanize還不是很好用，一是使用過程中發現有一些情況會拋異常，導致不能正確生成報表，另一個別扭的是case的編寫不是unittest那一套，是作者自創Transaction流:)

multi-mechanize負載壓力

使用小技巧

Cookie：

您可能也會喜歡…