[轉]mitmproxy套件使用攻略及定製化開發
mitmproxy是一款支援HTTP(S)的中間人代理工具。不同於Fiddler2，burpsuite等類似功能工具，mitmproxy可在終端下執行。mitmproxy使用Python開發，是輔助web開發&測試，移動端除錯，滲透測試的工具。
工作原理介紹（以HTTPS為例）
1.客戶端發起一個到mitmproxy的連線，並且發出HTTP CONNECT請求，
2.mitmproxy作出響應(200)，模擬已經建立了CONNECT通訊管道，
3.客戶端確信它正在和遠端伺服器會話，然後啟動SSL連線。在SSL連線中指明瞭它正在連線的主機名(SNI)，
4.mitmproxy連線伺服器，然後使用客戶端發出的SNI指示的主機名建立SSL連線，
5.伺服器以匹配的SSL證書作出響應，這個SSL證書裡包含生成的攔截證書所必須的通用名(CN)和伺服器備用名(SAN)，
6.mitmproxy生成攔截證書，然後繼續進行與第３步暫停的客戶端SSL握手，
7.客戶端通過已經建立的SSL連線傳送請求，
8.mitmproxy通過第４步建立的SSL連線傳遞這個請求給伺服器。
配置
1. 設定系統\瀏覽器\終端等的代理地址和埠
2. 瀏覽器或移動端安裝mitmproxy提供的證書
官方提供的安裝方式：http://mitmproxy.org/doc/certinstall.html
mitmproxy
mitmproxy會提供一個在終端下的圖形介面，具有修改請求和響應，流量重放等功能，具體操作方式有點vim的風格，參考請點這：
mitmdump
mitmdump可設定規則儲存或重放請求和響應，點我檢視用法
mitmdump的特點是支援inline指令碼，由於擁有可以修改request和response中每一個細節的能力，批量測試，劫持等都可以輕鬆實現，下面是個篡改圖片的例子：
from libmproxy.protocol.http import decoded
def response(context, flow):
if flow.response.headers.get_first("content-type", "").startswith("image"):
with decoded(flow.response):
try:
img = cStringIO.StringIO(open('freebuf.jpg', 'rb').read())
flow.response.content = img.getvalue()
flow.response.headers["content-type"] = ["image/jpg"]
except:
pass
判別header中是否存在image，如果有的話替換成指定圖片。
mitmdump --script pic.py
效果如下：
libmproxy
libmproxy是mitmproxy的擴充套件api，新版本的libmproxy(筆者使用的：0.13 on Kali 2.0)與老版本有所差別，官方給出了幾個樣例，這裡蒐集和總結一些用法。
簡單的例子：
#coding=utf-8
import os
from libmproxy import flow, proxy
from libmproxy.proxy.server import ProxyServer
class MyMaster(flow.FlowMaster):
def run(self):
try:
flow.FlowMaster.run(self)
except KeyboardInterrupt:
self.shutdown()
def handle_request(self, f):
f = flow.FlowMaster.handle_request(self, f)
if f:
print f.request.url
f.reply()
return f
def handle_response(self, f):
f = flow.FlowMaster.handle_response(self, f)
if f:
print f.request.url, f.response
f.reply()
return f
def test_start():
config = proxy.ProxyConfig(
port=8080,
# use ~/.mitmproxy/mitmproxy-ca.pem as default CA file.
cadir="~/.mitmproxy/",
)
state = flow.State()
server = ProxyServer(config)
m = MyMaster(server, state)
m.run()
test_start()
當這個指令碼執行後，將會監聽127.0.0.1:8080，並輸出經過此代理的request的url和response的摘要，執行下面的指令碼做個測試:
#coidng=utf-8
import requests
import gevent
from gevent import monkey; monkey.patch_socket()
class test():
def task(self, url):
print gevent.getcurrent(), url
resp = requests.get(url)
print url, resp
def start(self):
url_list = ['http://www.baidu.com',
'http://www.amazon.com',
'http://www.freebuf.com',
'http://www.google.com',
'http://jd.com']
threads = [gevent.spawn(self.task, url) for url in url_list]
gevent.joinall(threads)
get_test = test()
get_test.start()
效果：
由於libmproxy/flow.py 提供了處理request和response的能力，這樣使用libmproxy提供的擴充套件可以方便的判別，修改資料。下面的程式碼可用來修改headers，偽造隨機User-Aent(可用於掃描器，爬蟲等)：
if f.request.headers['User-Agent']:
UAlist = ["Mozilla/5.0 (X11; U; Linux i686; en-GB; rv:1.8.1.6) Gecko/20070914 Firefox/2.0.0.7",
"Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.8.1.7) Gecko/20070914 Firefox/2.0.0.7",
"Mozilla/5.0 (Windows; U; Windows NT 6.0; en) AppleWebKit/522.15.5 (KHTML, like Gecko) Version/3.0.3 Safari/522.15.5",
"Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en) AppleWebKit/103u (KHTML, like Gecko) safari/100",
"Opera/9.23 (X11; Linux x86_64; U; en)",
"Opera/9.23 (Windows NT 5.1; U; en)",
"Mozilla/4.0 (compatible; MSIE 6.1; Windows XP)",
"Mozilla/5.0 (Windows; U; MSIE 7.0; Windows NT 6.0)",
"Mozilla/5.0(iPad; U; CPU iPhone OS 3_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B314 Safari/531.21.10"]
f.request.headers['User-Agent'] = [random.choice(UAlist)]
使用libmproxy的擴充套件指令碼會獨立執行，這時libmproxy/controller.py會在迴圈監測是否有請求：
當收到請求後，通過除錯Queue中的資料看出proxy對請求和響應的處理流程：
腦洞：利用libmproxy實現代理式掃描器
可以分為3個模組:
1，利用libmproxy代理抓到的resquest和response，判別後進存入資料庫;
2，定時從資料庫讀取資料，對資料進行預處理，呼叫掃描模組(可參考FreeBuf《基於代理的Web掃描器的實現
》文章；
3，掃描模組（代理式掃描器的核心）;
下面的程式碼會將請求和響應中的一些資料存入MongoDB（結構供參考，更細節的部分正在開發中）。
#coding=utf-8
import os
import pymongo
import time
from libmproxy import flow, proxy
from libmproxy.proxy.server import ProxyServer
from libmproxy.flow import FlowWriter
class MyMaster(flow.FlowMaster):
def run(self):
self.db_init()
try:
flow.FlowMaster.run(self)
except KeyboardInterrupt:
self.shutdown()
def handle_request(self, f):
f = flow.FlowMaster.handle_request(self, f)
if f:
print f.request.url
f.reply()
return f
def handle_response(self, f):
f = flow.FlowMaster.handle_response(self, f)
if f:
self.db_insert(f)
f.reply()
return f
def db_init(self):
self.client = pymongo.MongoClient('127.0.0.1', 27017)
self.db = self.client['scan']
self.coll = self.db['scan_res']
return
def db_insert(self, flow):
insert_dict = {}
if flow:
insert_dict = {
'time': time.time(),
'request': {
'url': flow.request.url,
'scheme': flow.request.scheme,
'path': flow.request.path,
'method': flow.request.method
},
'response': {
'msg': flow.response.msg,
'code': flow.response.code,
'header': dict(flow.response.headers),
'content': flow.response.content
}
}
self.coll.insert(insert_dict)
else:
return
def test_start():
config = proxy.ProxyConfig(
port=8080,
# use ~/.mitmproxy/mitmproxy-ca.pem as default CA file.
cadir="~/.mitmproxy/",
)
state = flow.State()
server = ProxyServer(config)
m = MyMaster(server, state)
m.run()
test_start()
後記
老版本kali升級mitmproxy可能會產生某些庫不可用的問題，並且libmproxy仍存在著些許不足（擴充套件性不夠強），但mitmproxy仍為一個功能強大的工具，更多功能尚待研究，代理式掃描器已作為私人專案正在逐步開發。
參考來源
http://sigint.ru/writeups/2014/04/13/plaidctf-2014-writeups/
http://acsweb.ucsd.edu/~abuss/backdoor2014.html
http://lilydjwg.is-programmer.com/tag/mitmproxy
https://gist.github.com/yeukhon/8573005
* 作者：漏洞盒子安全團隊gaba，轉載請註明來自FreeBuf黑客與極客（FreeBuf.COM）