1. 程式人生 > >Python自建logging模組

Python自建logging模組

本章將介紹Python內建模組:日誌模組,更多內容請從參考:Python學習指南

簡單使用

最開始,我們用最短的程式碼體驗一下logging的基本功能。

import logging

logger = logging.getLogger()
logging.basicConfig()
logger.setLevel('DEBUG')
logger.debug('logsomething')
#輸出
out>>DEBG:root:logsomething
  • 第一步,通過logging.getLogger函式,獲取一個loger物件,但這個物件暫時是無法使用的。
  • 第二步,logging.basicConfig函式,進行一系列預設的配置,包括format、handler等。
  • 第三步,logger呼叫setLevel函式定義日誌級別為DEBUG
  • 最後,呼叫debug函式,輸出一條debug級別的message,顯示在了標準輸出上。

logging中的日誌級別

logging在生成日誌的時候,有一個日誌級別的機制,預設有以下幾個日誌級別:

CRITICAL = 50
ERROR = 40
WARNING = 30
INFO  20
DEBUG = 10
NOTEST = 0

每一個logger物件,都有一個日誌級別,它只會輸出高於它level的日誌。如果一個logger的level是INFO,那麼呼叫logger.debug()是無法輸出日誌的,而logger.warning()能夠輸出。
一般來說,以上的6個日誌級別完全滿足我們日常使用了。

logging中的基礎類

logging是python的一個基礎模組,它在python中的原始碼位置如下:

#主幹程式碼
/usr/lib/python2.7/logging/__init__.py
#擴充套件的handler和config
/usr/lib/pyhon2.7/logging/config.py /usr/lib/python2.7/loging/handlers.py

組成logging的主幹的幾個基礎類都在__init__.py中:

第一個基礎類LogRecord

一個LogRecord物件,對應了日誌中的一行資料。通常包含:時間、日誌級別、message資訊、當前執行的模組、行號、函式名...這些資訊都包含在一個LogRecord物件裡。
LogRecord物件可以想象成一個大字典:

class LogRecord(object):
    #代表一條日誌的類 def getMessage(self): #獲取self.msg def markLogRecord(dict): #這個方法很重要,生成一個空的LogRecord,然後通過一個字典,直接更新LogReocrd中的成員變數 rv = LogRecord(None, None, "", 0, "", (), None, None) rv.__dict__.update(dict) return rv

第二個基礎類Formatter

Formatter物件是用來定義日誌格式的,LogRecord儲存了很多資訊,但是列印日誌的時候我們只需要其中幾個,Formatter就提供了這樣的功能,它依賴於python的一個功能:

#通過字典的方式,輸出格式化字串
print('%(name)s:%(num)d'%{'name':'my_name', 'num' : 100}) out >>>my_name:100

如果說LogRecord是後面的那個字典,那麼Formatter就是前面的那個格式字串...的抽象

重要的程式碼如下:

class Formatter(object):
    def __init__(self, fmt=None, datefmt = None): if fmt: self._fmt = fmt else: #預設的format self._fmt = "%(message)s" def format(self, record) #使用self._fmt進行格式化 s = self._fmt %record.__dict__ return s

第三個基礎類Filter和Filterer

Filter類,功能很簡單。Filter.filter()函式傳入一個LogRecord物件,通過篩選返回1,否則返回0.從程式碼中可以看到,其實是對LogRecord.name的篩選。

Filterer類中有一個Filter物件的列表,它是一組Filter的抽象。

重要的程式碼如下:

class Filter(object):
    def __init__(self, name=''): self.name = name self.nlen = len(name) def filter(self, record): #返回1表示record通過,0表示record不通過 if self.nlen == 0: return 1 elif self.name == record.name: return 1 #record.name不是以filter開頭 elif record.name.find(self.name, 0, self.nlen) != 0: return 0 #最後一位是否為 return (record.name[self.nlen] == '.') class Filterer(object): #這個類其實是定義了一個self.filters = []的列表管理多個filter def addFilter(self, filter): def removefilter(self, filter): def filter(self, record): #使用列表中所有的filter進行篩選,任何一個失敗都會返回0 #例如: #filter.name = 'A', filter2.name='A.B', filter2.name = 'A, B, C' #此時record.name = 'A,B,C,D'這樣的record才能通過所有filter的篩選

logging中的高階類

有了以上三個基礎的類,就可以拼湊一些更重要的高階類了,高階類可以實現logging的重要功能。

Handler——抽象了log的輸出過程

  • Handler類繼承自Filterer。Handler類時log輸出這個過程的抽象。
  • 同時Handler類具有一個成員變數self.level,在第二節討論的日誌級別的機制,就是在Handler中實現的。
  • Handler有一個emit(record)函式,這個函式負責輸出log,必須在Handler的子類中實現。

重要程式碼如下:

class Handler(Filterer):
    def __init__(self, level = NOTEST) #handler必須有level屬性 self.level = _checkLevel(level) def format(self, record): #使用self.formatter, formattercord def handler(self, record): #如果通過filter的篩選,則emit這條log rv = self.filter(record) self.emit(record) def emit(self, record): #等待子類去實現

接下來看兩個簡單的handler的子類,其中在logging原始碼中,有一個handler.py專門定義了很多複雜的handler,有的可以將log快取在記憶體中,有的可以將log做rotation等。

StreamHandler
最簡單的handler實現,將log寫入一個流,預設的stream是sys.stderr

重要的程式碼如下:

class StreamHandler(Handler):
    def __init__(self, stream = None): if stream is None: stream = sys.stderr self.stream = stream def emit(self, record): #將record的資訊寫入流 #處理一些編碼的異常 fs = '%s\n' #每條日誌都有換行 stream = self.stream stream.write(fs%msg)

FileHandler
將log輸出到檔案的handler,繼承StreamHandler

重要程式碼如下:

class FileHandler(StreamHandler):
    def __init__(self, filename, mode='a') #append方式開啟一個檔案 StreamHandler.__init__(self, self._open()) def emit(self, record): #和streamhandler保持一致 StreamHandler.emit(self, record)

Logger——一個獨立的log管道

什麼是logger?
+ logger類繼承自Filterer,
+ logger物件有logger.level日誌級別
+ logger物件控制多個handler:logger.handlers = []
+ logger物件之間存在福字關係

簡單的來說,logger這個類,集中了我們以上所有的LogRecord、Filter類、Formatter類、handler類。首先,logger根據輸入生成一個LogRecord讀寫,經過Filter和Formatter之後,再通過self.handlers列表中的所有handler,把log傳送出去。一個logger中可能有多個handler,可以實現把一份log放到任意的位置。

class Logger(Filterer):
    def __init__(self, name, level=NOTEST) #handler列表 self.handlers = [] self.level = _checklevel(level) def addHandler(self, hdlr): def removeHandler(self, hdlr): def _log(self, level, msg, args, exc_info=None, extra=None): #在_log函式中建立了一個LogRecord物件 record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra) #交給handle函式 self.handle(record) def handle(self, reord): #進行filter,然後呼叫callHandlers if(not self.disabled) and self.filter(record): self.callHandlers(record) def callHandlers(self, record): #從當前logger到所有的父logger,遞迴的handl傳入的record c = self while c: for hdlr in c.handlers: hdlr.handle(record) #進入handler的emit函式傳送log .... c = c.parent

LoggerAdapter——對標準logger的一個擴充套件

LogRecord這個大字典中提供的成員變數已經很多,但是,如果在輸出log時候仍然希望能夠夾帶一些自己想要看到的更多資訊,例如產生這個log的時候,呼叫某些函式去獲得其他資訊,那麼就可以把這些新增到Logger中,LoggerAdapter這個類就起到這個作用。

LoggerAdapter這個類很有意思,如果不做什麼改動,那麼LoggerAdapter類和Logger並沒有什麼區別。LoggerAdapter只是對Logger類進行了一下包裝。

LoggerAdapter的用法其實是在它的成員函式process()的註釋中已經說明了:

def process(self, msg, kwargs):
    ''' Normally,you'll only need to overwrite this one method in a LoggerAdapter subclass for your specific needs. '''

也就是說重寫process函式,以下是一個例子:

import logging
import random
L=logging.getLogger('name')

#定義一個函式,生成0~1000的隨機數
def func(): return random.randint(1,1000) class myLogger(logging.LoggerAdapter): #繼承LoggerAdapter,重寫process,生成隨機數新增到msg前面 def process(self,msg,kwargs): return '(%d),%s' % (self.extra['name'](),msg) ,kwargs #函式物件放入字典中傳入 LA=myLogger(L,{'name':func}) #now,do some logging LA.debug('some_loging_messsage') out>>DEBUG:name:(167),some_loging_messsage