Python自建logging模塊
本章將介紹Python內建模塊:日誌模塊,更多內容請從參考:Python學習指南
簡單使用
最開始,我們用最短的代碼體驗一下logging的基本功能。
import logging
logger = logging.getLogger()
logging.basicConfig()
logger.setLevel('DEBUG')
logger.debug('logsomething')
#輸出
out>>DEBG:root:logsomething
- 第一步,通過logging.getLogger函數,獲取一個loger對象,但這個對象暫時是無法使用的。
- 第二步,logging.basicConfig函數,進行一系列默認的配置,包括format、handler等。
- 第三步,logger調用setLevel函數定義日誌級別為DEBUG
- 最後,調用debug函數,輸出一條debug級別的message,顯示在了標準輸出上。
logging中的日誌級別
logging在生成日誌的時候,有一個日誌級別的機制,默認有以下幾個日誌級別:
CRITICAL = 50
ERROR = 40
WARNING = 30
INFO 20
DEBUG = 10
NOTEST = 0
每一個logger對象,都有一個日誌級別,它只會輸出高於它level的日誌。如果一個logger的level是INFO,那麽調用logger.debug()是無法輸出日誌的,而logger.warning()能夠輸出。
logging中的基礎類
logging是python的一個基礎模塊,它在python中的源碼位置如下:
#主幹代碼
/usr/lib/python2.7/logging/__init__.py
#擴展的handler和config
/usr/lib/pyhon2.7/logging/config.py
/usr/lib/python2.7/loging/handlers.py
組成logging的主幹的幾個基礎類都在__init__.py中:
第一個基礎類LogRecord
一個LogRecord對象,對應了日誌中的一行數據。通常包含:時間、日誌級別、message信息、當前執行的模塊、行號、函數名...這些信息都包含在一個LogRecord對象裏。
class LogRecord(object):
#代表一條日誌的類
def getMessage(self):
#獲取self.msg
def markLogRecord(dict):
#這個方法很重要,生成一個空的LogRecord,然後通過一個字典,直接更新LogReocrd中的成員變量
rv = LogRecord(None, None, "", 0, "", (), None, None)
rv.__dict__.update(dict)
return rv
第二個基礎類Formatter
Formatter對象是用來定義日誌格式的,LogRecord保存了很多信息,但是打印日誌的時候我們只需要其中幾個,Formatter就提供了這樣的功能,它依賴於python的一個功能:
#通過字典的方式,輸出格式化字符串
print('%(name)s:%(num)d'%{'name':'my_name', 'num' : 100})
out >>>my_name:100
如果說LogRecord是後面的那個字典,那麽Formatter就是前面的那個格式字符串...的抽象
重要的代碼如下:
class Formatter(object):
def __init__(self, fmt=None, datefmt = None):
if fmt:
self._fmt = fmt
else:
#默認的format
self._fmt = "%(message)s"
def format(self, record)
#使用self._fmt進行格式化
s = self._fmt %record.__dict__
return s
第三個基礎類Filter和Filterer
Filter類,功能很簡單。Filter.filter()函數傳入一個LogRecord對象,通過篩選返回1,否則返回0.從代碼中可以看到,其實是對LogRecord.name的篩選。
Filterer類中有一個Filter對象的列表,它是一組Filter的抽象。
重要的代碼如下:
class Filter(object):
def __init__(self, name=''):
self.name = name
self.nlen = len(name)
def filter(self, record):
#返回1表示record通過,0表示record不通過
if self.nlen == 0:
return 1
elif self.name == record.name:
return 1
#record.name不是以filter開頭
elif record.name.find(self.name, 0, self.nlen) != 0:
return 0
#最後一位是否為
return (record.name[self.nlen] == '.')
class Filterer(object):
#這個類其實是定義了一個self.filters = []的列表管理多個filter
def addFilter(self, filter):
def removefilter(self, filter):
def filter(self, record):
#使用列表中所有的filter進行篩選,任何一個失敗都會返回0
#例如:
#filter.name = 'A', filter2.name='A.B', filter2.name = 'A, B, C'
#此時record.name = 'A,B,C,D'這樣的record才能通過所有filter的篩選
logging中的高級類
有了以上三個基礎的類,就可以拼湊一些更重要的高級類了,高級類可以實現logging的重要功能。
Handler——抽象了log的輸出過程
- Handler類繼承自Filterer。Handler類時log輸出這個過程的抽象。
- 同時Handler類具有一個成員變量self.level,在第二節討論的日誌級別的機制,就是在Handler中實現的。
- Handler有一個emit(record)函數,這個函數負責輸出log,必須在Handler的子類中實現。
重要代碼如下:
class Handler(Filterer):
def __init__(self, level = NOTEST)
#handler必須有level屬性
self.level = _checkLevel(level)
def format(self, record):
#使用self.formatter, formattercord
def handler(self, record):
#如果通過filter的篩選,則emit這條log
rv = self.filter(record)
self.emit(record)
def emit(self, record):
#等待子類去實現
接下來看兩個簡單的handler的子類,其中在logging源碼中,有一個handler.py專門定義了很多復雜的handler,有的可以將log緩存在內存中,有的可以將log做rotation等。
StreamHandler
最簡單的handler實現,將log寫入一個流,默認的stream是sys.stderr
重要的代碼如下:
class StreamHandler(Handler):
def __init__(self, stream = None):
if stream is None:
stream = sys.stderr
self.stream = stream
def emit(self, record):
#將record的信息寫入流
#處理一些編碼的異常
fs = '%s\n' #每條日誌都有換行
stream = self.stream
stream.write(fs%msg)
FileHandler
將log輸出到文件的handler,繼承StreamHandler
重要代碼如下:
class FileHandler(StreamHandler):
def __init__(self, filename, mode='a')
#append方式打開一個文件
StreamHandler.__init__(self, self._open())
def emit(self, record):
#和streamhandler保持一致
StreamHandler.emit(self, record)
Logger——一個獨立的log管道
什麽是logger?
+ logger類繼承自Filterer,
+ logger對象有logger.level日誌級別
+ logger對象控制多個handler:logger.handlers = []
+ logger對象之間存在福字關系
簡單的來說,logger這個類,集中了我們以上所有的LogRecord、Filter類、Formatter類、handler類。首先,logger根據輸入生成一個LogRecord讀寫,經過Filter和Formatter之後,再通過self.handlers列表中的所有handler,把log發送出去。一個logger中可能有多個handler,可以實現把一份log放到任意的位置。
class Logger(Filterer):
def __init__(self, name, level=NOTEST)
#handler列表
self.handlers = []
self.level = _checklevel(level)
def addHandler(self, hdlr):
def removeHandler(self, hdlr):
def _log(self, level, msg, args, exc_info=None, extra=None):
#在_log函數中創建了一個LogRecord對象
record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra)
#交給handle函數
self.handle(record)
def handle(self, reord):
#進行filter,然後調用callHandlers
if(not self.disabled) and self.filter(record):
self.callHandlers(record)
def callHandlers(self, record):
#從當前logger到所有的父logger,遞歸的handl傳入的record
c = self
while c:
for hdlr in c.handlers:
hdlr.handle(record) #進入handler的emit函數發送log
....
c = c.parent
LoggerAdapter——對標準logger的一個擴展
LogRecord這個大字典中提供的成員變量已經很多,但是,如果在輸出log時候仍然希望能夠夾帶一些自己想要看到的更多信息,例如產生這個log的時候,調用某些函數去獲得其他信息,那麽就可以把這些添加到Logger中,LoggerAdapter這個類就起到這個作用。
LoggerAdapter這個類很有意思,如果不做什麽改動,那麽LoggerAdapter類和Logger並沒有什麽區別。LoggerAdapter只是對Logger類進行了一下包裝。
LoggerAdapter的用法其實是在它的成員函數process()的註釋中已經說明了:
def process(self, msg, kwargs):
'''
Normally,you'll only need to overwrite this one method in a LoggerAdapter subclass for your specific needs.
'''
也就是說重寫process函數,以下是一個例子:
import logging
import random
L=logging.getLogger('name')
#定義一個函數,生成0~1000的隨機數
def func():
return random.randint(1,1000)
class myLogger(logging.LoggerAdapter):
#繼承LoggerAdapter,重寫process,生成隨機數添加到msg前面
def process(self,msg,kwargs):
return '(%d),%s' % (self.extra['name'](),msg) ,kwargs
#函數對象放入字典中傳入
LA=myLogger(L,{'name':func})
#now,do some logging
LA.debug('some_loging_messsage')
out>>DEBUG:name:(167),some_loging_messsage
參考
python筆記_logging模塊(一)
logging代碼
python 日誌封裝
Python中的logging模塊
Python自建logging模塊