1. 程式人生 > >Python自建logging模塊

Python自建logging模塊

www handler 2.7 com normal 必須 異常 管理 parent

本章將介紹Python內建模塊:日誌模塊,更多內容請從參考:Python學習指南

簡單使用

最開始,我們用最短的代碼體驗一下logging的基本功能。

import logging

logger = logging.getLogger()
logging.basicConfig()
logger.setLevel('DEBUG')
logger.debug('logsomething')
#輸出
out>>DEBG:root:logsomething
  • 第一步,通過logging.getLogger函數,獲取一個loger對象,但這個對象暫時是無法使用的。
  • 第二步,logging.basicConfig函數,進行一系列默認的配置,包括format、handler等。
  • 第三步,logger調用setLevel函數定義日誌級別為DEBUG
  • 最後,調用debug函數,輸出一條debug級別的message,顯示在了標準輸出上。

logging中的日誌級別

logging在生成日誌的時候,有一個日誌級別的機制,默認有以下幾個日誌級別:

CRITICAL = 50
ERROR = 40
WARNING = 30
INFO  20
DEBUG = 10
NOTEST = 0

每一個logger對象,都有一個日誌級別,它只會輸出高於它level的日誌。如果一個logger的level是INFO,那麽調用logger.debug()是無法輸出日誌的,而logger.warning()能夠輸出。

一般來說,以上的6個日誌級別完全滿足我們日常使用了。

logging中的基礎類

logging是python的一個基礎模塊,它在python中的源碼位置如下:

#主幹代碼
/usr/lib/python2.7/logging/__init__.py
#擴展的handler和config
/usr/lib/pyhon2.7/logging/config.py
/usr/lib/python2.7/loging/handlers.py

組成logging的主幹的幾個基礎類都在__init__.py中:

第一個基礎類LogRecord

一個LogRecord對象,對應了日誌中的一行數據。通常包含:時間、日誌級別、message信息、當前執行的模塊、行號、函數名...這些信息都包含在一個LogRecord對象裏。

LogRecord對象可以想象成一個大字典:

class LogRecord(object):
    #代表一條日誌的類
    def getMessage(self):
        #獲取self.msg

    def markLogRecord(dict):
    #這個方法很重要,生成一個空的LogRecord,然後通過一個字典,直接更新LogReocrd中的成員變量
    rv = LogRecord(None, None, "", 0, "", (), None, None)
    rv.__dict__.update(dict)
    return rv

第二個基礎類Formatter

Formatter對象是用來定義日誌格式的,LogRecord保存了很多信息,但是打印日誌的時候我們只需要其中幾個,Formatter就提供了這樣的功能,它依賴於python的一個功能:

#通過字典的方式,輸出格式化字符串
print('%(name)s:%(num)d'%{'name':'my_name', 'num' : 100})
out >>>my_name:100

如果說LogRecord是後面的那個字典,那麽Formatter就是前面的那個格式字符串...的抽象

重要的代碼如下:

class Formatter(object):
    def __init__(self, fmt=None, datefmt = None):
        if fmt:
            self._fmt = fmt
        else:
            #默認的format
            self._fmt = "%(message)s"
    def format(self, record)
        #使用self._fmt進行格式化
        s = self._fmt %record.__dict__
        return s

第三個基礎類Filter和Filterer

Filter類,功能很簡單。Filter.filter()函數傳入一個LogRecord對象,通過篩選返回1,否則返回0.從代碼中可以看到,其實是對LogRecord.name的篩選。

Filterer類中有一個Filter對象的列表,它是一組Filter的抽象。

重要的代碼如下:

class Filter(object):
    def __init__(self, name=''):
        self.name = name
        self.nlen = len(name)
    def filter(self, record):
        #返回1表示record通過,0表示record不通過
        if self.nlen == 0:
            return 1
        elif self.name == record.name:
            return 1
        #record.name不是以filter開頭
        elif record.name.find(self.name, 0, self.nlen) != 0:
            return 0
        #最後一位是否為
        return (record.name[self.nlen] == '.')

class Filterer(object):
    #這個類其實是定義了一個self.filters = []的列表管理多個filter
    def addFilter(self, filter):
    def removefilter(self, filter):
    def filter(self, record):
    #使用列表中所有的filter進行篩選,任何一個失敗都會返回0
    #例如:
        #filter.name = 'A', filter2.name='A.B', filter2.name = 'A, B, C'
        #此時record.name = 'A,B,C,D'這樣的record才能通過所有filter的篩選

logging中的高級類

有了以上三個基礎的類,就可以拼湊一些更重要的高級類了,高級類可以實現logging的重要功能。

Handler——抽象了log的輸出過程

  • Handler類繼承自Filterer。Handler類時log輸出這個過程的抽象。
  • 同時Handler類具有一個成員變量self.level,在第二節討論的日誌級別的機制,就是在Handler中實現的。
  • Handler有一個emit(record)函數,這個函數負責輸出log,必須在Handler的子類中實現。

重要代碼如下:

class Handler(Filterer):
    def __init__(self, level = NOTEST)
        #handler必須有level屬性
        self.level = _checkLevel(level)
    def format(self, record):
        #使用self.formatter, formattercord
    def handler(self, record):
        #如果通過filter的篩選,則emit這條log
        rv = self.filter(record)
        self.emit(record)
    def emit(self, record):
        #等待子類去實現

接下來看兩個簡單的handler的子類,其中在logging源碼中,有一個handler.py專門定義了很多復雜的handler,有的可以將log緩存在內存中,有的可以將log做rotation等。

StreamHandler
最簡單的handler實現,將log寫入一個流,默認的stream是sys.stderr

重要的代碼如下:

class StreamHandler(Handler):
    def __init__(self, stream = None):
        if stream is None:
            stream = sys.stderr
        self.stream = stream
    def emit(self, record):
        #將record的信息寫入流
        #處理一些編碼的異常
        fs = '%s\n' #每條日誌都有換行
        stream = self.stream
        stream.write(fs%msg)

FileHandler
將log輸出到文件的handler,繼承StreamHandler

重要代碼如下:

class FileHandler(StreamHandler):
    def __init__(self, filename, mode='a')
        #append方式打開一個文件
        StreamHandler.__init__(self, self._open())

    def emit(self, record):
        #和streamhandler保持一致
        StreamHandler.emit(self, record)

Logger——一個獨立的log管道

什麽是logger?
+ logger類繼承自Filterer,
+ logger對象有logger.level日誌級別
+ logger對象控制多個handler:logger.handlers = []
+ logger對象之間存在福字關系

簡單的來說,logger這個類,集中了我們以上所有的LogRecord、Filter類、Formatter類、handler類。首先,logger根據輸入生成一個LogRecord讀寫,經過Filter和Formatter之後,再通過self.handlers列表中的所有handler,把log發送出去。一個logger中可能有多個handler,可以實現把一份log放到任意的位置。

class Logger(Filterer):
    def __init__(self, name, level=NOTEST)
        #handler列表
        self.handlers = []
        self.level = _checklevel(level)
    def addHandler(self, hdlr):
    def removeHandler(self, hdlr):
    def _log(self, level, msg, args, exc_info=None, extra=None):
        #在_log函數中創建了一個LogRecord對象
        record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra)
        #交給handle函數
        self.handle(record)
    def handle(self, reord):
        #進行filter,然後調用callHandlers
        if(not self.disabled) and self.filter(record):
            self.callHandlers(record)

    def callHandlers(self, record):
        #從當前logger到所有的父logger,遞歸的handl傳入的record
        c = self
        while c:
            for hdlr in c.handlers:
                hdlr.handle(record)  #進入handler的emit函數發送log
            ....
            c = c.parent

LoggerAdapter——對標準logger的一個擴展

LogRecord這個大字典中提供的成員變量已經很多,但是,如果在輸出log時候仍然希望能夠夾帶一些自己想要看到的更多信息,例如產生這個log的時候,調用某些函數去獲得其他信息,那麽就可以把這些添加到Logger中,LoggerAdapter這個類就起到這個作用。

LoggerAdapter這個類很有意思,如果不做什麽改動,那麽LoggerAdapter類和Logger並沒有什麽區別。LoggerAdapter只是對Logger類進行了一下包裝。

LoggerAdapter的用法其實是在它的成員函數process()的註釋中已經說明了:

def process(self, msg, kwargs):
    '''
    Normally,you'll only need to overwrite this one method in a LoggerAdapter subclass for your specific needs.
    '''

也就是說重寫process函數,以下是一個例子:

import logging
import random
L=logging.getLogger('name')

#定義一個函數,生成0~1000的隨機數
def func():
    return random.randint(1,1000)

class myLogger(logging.LoggerAdapter):
    #繼承LoggerAdapter,重寫process,生成隨機數添加到msg前面
    def process(self,msg,kwargs):
        return '(%d),%s' % (self.extra['name'](),msg)  ,kwargs

#函數對象放入字典中傳入  
LA=myLogger(L,{'name':func})

#now,do some logging
LA.debug('some_loging_messsage')

out>>DEBUG:name:(167),some_loging_messsage

參考

python筆記_logging模塊(一)
logging代碼
python 日誌封裝
Python中的logging模塊

Python自建logging模塊