logger模塊和re模塊總結
很多程序都有記錄日誌的需求,並且日誌中包含的信息即有正常的程序訪問日誌,還可能有錯誤、警告等信息輸出,python的logging模塊提供了標準的日誌接口,你可以通過它存儲各種格式的日誌,logging的日誌可以分為 debug()
, info()
, warning()
, error()
and critical() 5個級別,
下面我們看一下怎麽用。
最簡單用法
1 2 3 4 5 6 7 8 |
import logging
logging.warning( "user [alex] attempted wrong password more than 3 times" )
logging.critical( "server is down" )
#輸出
WARNING:root:user [alex] attempted wrong password more than 3 times
CRITICAL:root:server is down
|
看一下這幾個日誌級別分別代表什麽意思
Level | When it’s used |
---|---|
DEBUG |
Detailed information, typically of interest only when diagnosing problems. |
INFO |
Confirmation that things are working as expected. |
WARNING |
An indication that something unexpected happened, or indicative of some problem in the near future (e.g. ‘disk space low’). The software is still working as expected. |
ERROR |
Due to a more serious problem, the software has not been able to perform some function. |
CRITICAL |
A serious error, indicating that the program itself may be unable to continue running. |
如果想把日誌寫到文件裏,也很簡單
1 2 3 4 5 6 |
import logging
logging.basicConfig(filename = ‘example.log‘ ,level = logging.INFO)
logging.debug( ‘This message should go to the log file‘ )
logging.info( ‘So should this‘ )
logging.warning( ‘And this, too‘ )
|
其中下面這句中的level=loggin.INFO意思是,把日誌紀錄級別設置為INFO,也就是說,只有比日誌是INFO或比INFO級別更高的日誌才會被紀錄到文件裏,在這個例子, 第一條日誌是不會被紀錄的,如果希望紀錄debug的日誌,那把日誌級別改成DEBUG就行了。
1 |
logging.basicConfig(filename = ‘example.log‘ ,level = logging.INFO)
|
感覺上面的日誌格式忘記加上時間啦,日誌不知道時間怎麽行呢,下面就來加上!
1 2 3 4 5 6 |
import logging
logging.basicConfig( format = ‘%(asctime)s %(message)s‘ , datefmt = ‘%m/%d/%Y %I:%M:%S %p‘ )
logging.warning( ‘is when this event was logged.‘ )
#輸出
12 / 12 / 2010 11 : 46 : 36 AM is when this event was logged.
|
日誌格式
%(name)s |
Logger的名字 |
%(levelno)s |
數字形式的日誌級別 |
%(levelname)s |
文本形式的日誌級別 |
%(pathname)s |
調用日誌輸出函數的模塊的完整路徑名,可能沒有 |
%(filename)s |
調用日誌輸出函數的模塊的文件名 |
%(module)s |
調用日誌輸出函數的模塊名 |
%(funcName)s |
調用日誌輸出函數的函數名 |
%(lineno)d |
調用日誌輸出函數的語句所在的代碼行 |
%(created)f |
當前時間,用UNIX標準的表示時間的浮 點數表示 |
%(relativeCreated)d |
輸出日誌信息時的,自Logger創建以 來的毫秒數 |
%(asctime)s |
字符串形式的當前時間。默認格式是 “2003-07-08 16:49:45,896”。逗號後面的是毫秒 |
%(thread)d |
線程ID。可能沒有 |
%(threadName)s |
線程名。可能沒有 |
%(process)d |
進程ID。可能沒有 |
%(message)s |
用戶輸出的消息 |
如果想同時把log打印在屏幕和文件日誌裏,就需要了解一點復雜的知識 了
Python 使用logging模塊記錄日誌涉及四個主要類,使用官方文檔中的概括最為合適:
logger提供了應用程序可以直接使用的接口;
handler將(logger創建的)日誌記錄發送到合適的目的輸出;
filter提供了細度設備來決定輸出哪條日誌記錄;
formatter決定日誌記錄的最終輸出格式。
logger
每個程序在輸出信息之前都要獲得一個Logger。Logger通常對應了程序的模塊名,比如聊天工具的圖形界面模塊可以這樣獲得它的Logger:
LOG=logging.getLogger(”chat.gui”)
而核心模塊可以這樣:
LOG=logging.getLogger(”chat.kernel”)
Logger.setLevel(lel):指定最低的日誌級別,低於lel的級別將被忽略。debug是最低的內置級別,critical為最高
Logger.addFilter(filt)、Logger.removeFilter(filt):添加或刪除指定的filter
Logger.addHandler(hdlr)、Logger.removeHandler(hdlr):增加或刪除指定的handler
Logger.debug()、Logger.info()、Logger.warning()、Logger.error()、Logger.critical():可以設置的日誌級別
handler
handler對象負責發送相關的信息到指定目的地。Python的日誌系統有多種Handler可以使用。有些Handler可以把信息輸出到控制臺,有些Logger可以把信息輸出到文件,還有些 Handler可以把信息發送到網絡上。如果覺得不夠用,還可以編寫自己的Handler。可以通過addHandler()方法添加多個多handler
Handler.setLevel(lel):指定被處理的信息級別,低於lel級別的信息將被忽略
Handler.setFormatter():給這個handler選擇一個格式
Handler.addFilter(filt)、Handler.removeFilter(filt):新增或刪除一個filter對象
每個Logger可以附加多個Handler。接下來我們就來介紹一些常用的Handler:
1) logging.StreamHandler
使用這個Handler可以向類似與sys.stdout或者sys.stderr的任何文件對象(file object)輸出信息。它的構造函數是:
StreamHandler([strm])
其中strm參數是一個文件對象。默認是sys.stderr
2) logging.FileHandler
和StreamHandler類似,用於向一個文件輸出日誌信息。不過FileHandler會幫你打開這個文件。它的構造函數是:
FileHandler(filename[,mode])
filename是文件名,必須指定一個文件名。
mode是文件的打開方式。參見Python內置函數open()的用法。默認是’a‘,即添加到文件末尾。
3) logging.handlers.RotatingFileHandler
這個Handler類似於上面的FileHandler,但是它可以管理文件大小。當文件達到一定大小之後,它會自動將當前日誌文件改名,然後創建 一個新的同名日誌文件繼續輸出。比如日誌文件是chat.log。當chat.log達到指定的大小之後,RotatingFileHandler自動把 文件改名為chat.log.1。不過,如果chat.log.1已經存在,會先把chat.log.1重命名為chat.log.2。。。最後重新創建 chat.log,繼續輸出日誌信息。它的構造函數是:
RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode兩個參數和FileHandler一樣。
maxBytes用於指定日誌文件的最大文件大小。如果maxBytes為0,意味著日誌文件可以無限大,這時上面描述的重命名過程就不會發生。
backupCount用於指定保留的備份文件的個數。比如,如果指定為2,當上面描述的重命名過程發生時,原有的chat.log.2並不會被更名,而是被刪除。
4) logging.handlers.TimedRotatingFileHandler
這個Handler和RotatingFileHandler類似,不過,它沒有通過判斷文件大小來決定何時重新創建日誌文件,而是間隔一定時間就 自動創建新的日誌文件。重命名的過程與RotatingFileHandler類似,不過新的文件不是附加數字,而是當前時間。它的構造函數是:
TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中filename參數和backupCount參數和RotatingFileHandler具有相同的意義。
interval是時間間隔。
when參數是一個字符串。表示時間間隔的單位,不區分大小寫。它有以下取值:
S 秒
M 分
H 小時
D 天
W 每星期(interval==0時代表星期一)
midnight 每天淩晨
文件自動截斷例子
1 import logging 2 3 from logging import handlers 4 5 logger = logging.getLogger(__name__) 6 7 log_file = "timelog.log" 8 #fh = handlers.RotatingFileHandler(filename=log_file,maxBytes=10,backupCount=3) 9 fh = handlers.TimedRotatingFileHandler(filename=log_file,when="S",interval=5,backupCount=3) 10 11 12 formatter = logging.Formatter(‘%(asctime)s %(module)s:%(lineno)d %(message)s‘) 13 14 fh.setFormatter(formatter) 15 16 logger.addHandler(fh) 17 18 19 logger.warning("test1") 20 logger.warning("test12") 21 logger.warning("test13") 22 logger.warning("test14")
re模塊
常用正則表達式符號
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
‘.‘ 默認匹配除\n之外的任意一個字符,若指定flag DOTALL,則匹配任意字符,包括換行
‘^‘ 匹配字符開頭,若指定flags MULTILINE,這種也可以匹配上(r "^a" , "\nabc\neee" ,flags = re.MULTILINE)
‘$‘ 匹配字符結尾,或e.search( "foo$" , "bfoo\nsdfsf" ,flags = re.MULTILINE).group()也可以
‘*‘ 匹配 * 號前的字符 0 次或多次,re.findall( "ab*" , "cabb3abcbbac" ) 結果為[ ‘abb‘ , ‘ab‘ , ‘a‘ ]
‘+‘ 匹配前一個字符 1 次或多次,re.findall( "ab+" , "ab+cd+abb+bba" ) 結果[ ‘ab‘ , ‘abb‘ ]
‘?‘ 匹配前一個字符 1 次或 0 次
‘{m}‘ 匹配前一個字符m次
‘{n,m}‘ 匹配前一個字符n到m次,re.findall( "ab{1,3}" , "abb abc abbcbbb" ) 結果 ‘abb‘ , ‘ab‘ , ‘abb‘ ]
‘|‘ 匹配|左或|右的字符,re.search( "abc|ABC" , "ABCBabcCD" ).group() 結果 ‘ABC‘
‘(...)‘ 分組匹配,re.search( "(abc){2}a(123|456)c" , "abcabca456c" ).group() 結果 abcabca456c
‘\A‘ 只從字符開頭匹配,re.search( "\Aabc" , "alexabc" ) 是匹配不到的
‘\Z‘ 匹配字符結尾,同$
‘\d‘ 匹配數字 0 - 9
‘\D‘ 匹配非數字
‘\w‘ 匹配[A - Za - z0 - 9 ]
‘\W‘ 匹配非[A - Za - z0 - 9 ]
‘s‘ 匹配空白字符、\t、\n、\r , re.search( "\s+" , "ab\tc1\n3" ).group() 結果 ‘\t‘
‘(?P<name>...)‘ 分組匹配 re.search( "(?P<province>[0-9]{4})(?P<city>[0-9]{2})(?P<birthday>[0-9]{4})" , "371481199306143242" ).groupdict( "city" ) 結果{ ‘province‘ : ‘3714‘ , ‘city‘ : ‘81‘ , ‘birthday‘ : ‘1993‘ }
|
最常用的匹配語法
1 2 3 4 5 |
re.match 從頭開始匹配
re.search 匹配包含
re.findall 把所有匹配到的字符放到以列表中的元素返回
re.splitall 以匹配到的字符當做列表分隔符
re.sub 匹配字符並替換
|
反斜杠的困擾
與大多數編程語言相同,正則表達式裏使用"\"作為轉義字符,這就可能造成反斜杠困擾。假如你需要匹配文本中的字符"\",那麽使用編程語言表示的正則表達式裏將需要4個反斜杠"\\\\":前兩個和後兩個分別用於在編程語言裏轉義成反斜杠,轉換成兩個反斜杠後再在正則表達式裏轉義成一個反斜杠。Python裏的原生字符串很好地解決了這個問題,這個例子中的正則表達式可以使用r"\\"表示。同樣,匹配一個數字的"\\d"可以寫成r"\d"。有了原生字符串,你再也不用擔心是不是漏寫了反斜杠,寫出來的表達式也更直觀。
僅需輕輕知道的幾個匹配模式
1 2 3 |
re.I(re.IGNORECASE): 忽略大小寫(括號內是完整寫法,下同)
M(MULTILINE): 多行模式,改變 ‘^‘ 和 ‘$‘ 的行為(參見上圖)
S(DOTALL): 點任意匹配模式,改變 ‘.‘ 的行為
|
logger模塊和re模塊總結