1. 程式人生 > >Linux系統日誌及日誌分析

Linux系統日誌及日誌分析

決定 director 註意 負責 ins 傳輸 模塊 進程id 例如

Linux系統擁有非常靈活和強大的日誌功能,可以保存幾乎所有的操作記錄,並可以從中檢索出我們需要的信息。

大部分Linux發行版默認的日誌守護進程為 syslog,位於 /etc/syslog 或 /etc/syslogd,默認配置文件為 /etc/syslog.conf,任何希望生成日誌的程序都可以向 syslog 發送信息。

Linux系統內核和許多程序會產生各種錯誤信息、警告信息和其他的提示信息,這些信息對管理員了解系統的運行狀態是非常有用的,所以應該把它們寫到日誌文件中去。完成這個過程的程序就是syslog。syslog可以根據日誌的類別和優先級將日誌保存到不同的文件中。例如,為了方便查閱,可以把內核信息與其他信息分開,單獨保存到一個獨立的日誌文件中。默認配置下,日誌文件通常都保存在“/var/log”目錄下。

日誌類型

下面是常見的日誌類型,但並不是所有的Linux發行版都包含這些類型:

類型說明
auth 用戶認證時產生的日誌,如login命令、su命令。
authpriv 與 auth 類似,但是只能被特定用戶查看。
console 針對系統控制臺的消息。
cron 系統定期執行計劃任務時產生的日誌。
daemon 某些守護進程產生的日誌。
ftp FTP服務。
kern 系統內核消息。
local0.local7 由自定義程序使用。
lpr 與打印機活動有關。
mail 郵件日誌。
mark 產生時間戳。系統每隔一段時間向日誌文件中輸出當前時間,每行的格式類似於 May 26 11:17:09 rs2 -- MARK --,可以由此推斷系統發生故障的大概時間。
news 網絡新聞傳輸協議(nntp)產生的消息。
ntp 網絡時間協議(ntp)產生的消息。
user 用戶進程。
uucp UUCP子系統。

日誌優先級

常見的日誌優先級請見下標:

優先級說明
emerg 緊急情況,系統不可用(例如系統崩潰),一般會通知所有用戶。
alert 需要立即修復,例如系統數據庫損壞。
crit 危險情況,例如硬盤錯誤,可能會阻礙程序的部分功能。
err 一般錯誤消息。
warning 警告。
notice 不是錯誤,但是可能需要處理。
info 通用性消息,一般用來提供有用信息。
debug 調試程序產生的信息。
none 沒有優先級,不記錄任何日誌消息。

常見日誌文件

所有的系統應用都會在 /var/log 目錄下創建日誌文件,或創建子目錄再創建日誌文件。例如:

文件/目錄說明
/var/log/boot.log 開啟或重啟日誌。
/var/log/cron 計劃任務日誌
/var/log/maillog 郵件日誌。
/var/log/messages 該日誌文件是許多進程日誌文件的匯總,從該文件可以看出任何入侵企圖或成功的入侵。
/var/log/httpd 目錄 Apache HTTP 服務日誌。
/var/log/samba 目錄 samba 軟件日誌

/etc/syslog.conf 文件

/etc/syslog.conf 是 syslog 的配置文件,會根據日誌類型和優先級來決定將日誌保存到何處。典型的 syslog.conf 文件格式如下所示:

*.err;kern.debug;auth.notice /dev/console
daemon,auth.notice           /var/log/messages
lpr.info                     /var/log/lpr.log
mail.*                       /var/log/mail.log
ftp.*                        /var/log/ftp.log
auth.*                       @see.xidian.edu.cn
auth.*                       root,amrood
netinfo.err                  /var/log/netinfo.log
install.*                    /var/log/install.log
*.emerg                      *
*.alert                      |program_name
mark.*                       /dev/console

第一列為日誌類型和日誌優先級的組合,每個類型和優先級的組合稱為一個選擇器;後面一列為保存日誌的文件、服務器,或輸出日誌的終端。syslog 進程根據選擇器決定如何操作日誌。

對配置文件的幾點說明:

  • 日誌類型和優先級由點號(.)分開,例如 kern.debug 表示由內核產生的調試信息。
  • kern.debug 的優先級大於 debug。
  • 星號(*)表示所有,例如 *.debug 表示所有類型的調試信息,kern.* 表示由內核產生的所有消息。
  • 可以使用逗號(,)分隔多個日誌類型,使用分號(;)分隔多個選擇器。


對日誌的操作包括:

  • 將日誌輸出到文件,例如 /var/log/maillog 或 /dev/console。
  • 將消息發送給用戶,多個用戶用逗號(,)分隔,例如 root, amrood。
  • 通過管道將消息發送給用戶程序,註意程序要放在管道符(|)後面。
  • 將消息發送給其他主機上的 syslog 進程,這時 /etc/syslog.conf 文件後面一列為以@開頭的主機名,例如@see.xidian.edu.cn。

logger 命令

logger 是Shell命令,可以通過該命令使用 syslog 的系統日誌模塊,還可以從命令行直接向系統日誌文件寫入一行信息。

logger命令的語法為:

logger [-i] [-f filename] [-p priority] [-t tag] [message...]

每個選項的含義如下:

選項說明
-f filename 將 filename 文件的內容作為日誌。
-i 每行都記錄 logger 進程的ID。
-p priority 指定優先級;優先級必須是形如 facility.priority 的完整的選擇器,默認優先級為 user.notice。
-t tag 使用指定的標簽標記每一個記錄行。
message 要寫入的日誌內容,多條日誌以空格為分隔;如果沒有指定日誌內容,並且 -f filename 選項為空,那麽會把標準輸入作為日誌內容。


例如,將ping命令的結果寫入日誌:

$ ping 192.168.0.1 | logger -it logger_test -p local3.notice&
$ tail -f /var/log/userlog
Oct 6 12:48:43 kevein logger_test[22484]: PING 192.168.0.1 (192.168.0.1) 56(84) bytes of data.
Oct 6 12:48:43 kevein logger_test[22484]: 64 bytes from 192.168.0.1: icmp_seq=1 ttl=253 time=49.7 ms
Oct 6 12:48:44 kevein logger_test[22484]: 64 bytes from 192.168.0.1: icmp_seq=2 ttl=253 time=68.4 ms
Oct 6 12:48:45 kevein logger_test[22484]: 64 bytes from 192.168.0.1: icmp_seq=3 ttl=253 time=315 ms
Oct 6 12:48:46 kevein logger_test[22484]: 64 bytes from 192.168.0.1: icmp_seq=4 ttl=253 time=279 ms
Oct 6 12:48:47 kevein logger_test[22484]: 64 bytes from 192.168.0.1: icmp_seq=5 ttl=253 time=347 ms
Oct 6 12:48:49 kevein logger_test[22484]: 64 bytes from 192.168.0.1: icmp_seq=6 ttl=253 time=701 ms
Oct 6 12:48:50 kevein logger_test[22484]: 64 bytes from 192.168.0.1: icmp_seq=7 ttl=253 time=591 ms
Oct 6 12:48:51 kevein logger_test[22484]: 64 bytes from 192.168.0.1: icmp_seq=8 ttl=253 time=592 ms
Oct 6 12:48:52 kevein logger_test[22484]: 64 bytes from 192.168.0.1: icmp_seq=9 ttl=253 time=611 ms
Oct 6 12:48:53 kevein logger_test[22484]: 64 bytes from 192.168.0.1: icmp_seq=10 ttl=253 time=931 ms

ping命令的結果成功輸出到 /var/log/userlog 文件。

命令 logger -it logger_test -p local3.notice 各選項的含義:

  • -i:在每行都記錄進程ID;
  • -t logger_test:每行記錄都加上“logger_test”這個標簽;
  • -p local3.notice:設置日誌類型和優先級。

日誌轉儲

日誌轉儲也叫日誌回卷或日誌輪轉。Linux中的日誌通常增長很快,會占用大量硬盤空間,需要在日誌文件達到指定大小時分開存儲。

syslog 只負責接收日誌並保存到相應的文件,但不會對日誌文件進行管理,因此經常會造成日誌文件過大,尤其是WEB服務器,輕易就能超過1G,給檢索帶來困難。

大多數Linux發行版使用 logrotate 或 newsyslog 對日誌進行管理。logrotate 程序不但可以壓縮日誌文件,減少存儲空間,還可以將日誌發送到指定 E-mail,方便管理員及時查看日誌。

例如,規定郵件日誌 /var/log/maillog 超過1G時轉儲,每周一次,那麽每隔一周 logrotate 進程就會檢查 /var/log/maillog 文件的大小:

  • 如果沒有超過1G,不進行任何操作。
  • 如果在1G~2G之間,就會創建新文件 /var/log/maillog.1,並將多出的1G日誌轉移到該文件,以給 /var/log/maillog 文件瘦身。
  • 如果在2G~3G之間,會繼續創建新文件 /var/log/maillog.2,並將 /var/log/maillog.1 的內容轉移到該文件,將 /var/log/maillog 的內容轉移到 /var/log/maillog.1,以保持 /var/log/maillog 文件不超過1G。


可以看到,每次轉存都會創建一個新文件(如果不存在),命名格式為日誌文件名加一個數字(從1開始自動增長),以保持當前日誌文件和轉存後的日誌文件不超過指定大小。

logrotate 的主要配置文件是 /etc/logrotate.conf,/etc/logrotate.d 目錄是對 /etc/logrotate.conf 的補充,或者說為了不使 /etc/logrotate.conf 過大而設置。

可以通過 cat 命令查看它的內容:

$cat /etc/logrotate.conf
# see "man logrotate" for details  //可以查看幫助文檔
# rotate log files weekly
weekly                             //設置每周轉儲一次
# keep 4 weeks worth of backlogs
rotate 4                           //最多轉儲4次
# create new (empty) log files after rotating old ones
create                             //當轉儲後文件不存儲時創建它
# uncomment this if you want your log files compressed
#compress                          //以壓縮方式轉儲
# RPM packages drop log rotation information into this directory
include /etc/logrotate.d           //其他日誌文件的轉儲方式,包含在該目錄下
# no packages own wtmp -- we‘ll rotate them here
/var/log/wtmp {                    //設置/var/log/wtmp日誌文件的轉儲參數
    monthly                        //每月轉儲
    create 0664 root utmp          //轉儲後文件不存在時創建它,文件所有者為root,所屬組為utmp,對應的權限為0664
    rotate 1                       //最多轉儲一次
}


註意:include 允許管理員把多個分散的文件集中到一個,類似於C語言的 #include,將其他文件的內容包含進當前文件。

include 非常有用,一些程序會把轉儲日誌的配置文件放在 /etc/logrotate.d 目錄,這些配置文件會覆蓋或增加 /etc/logrotate.conf 的配置項,如果沒有指定相關配置,那麽采用 /etc/logrotate.conf 的默認配置。

所以,建議將 /etc/logrotate.conf 作為默認配置文件,第三方程序在 /etc/logrotate.d 目錄下自定義配置文件。

logrotate 也可以作為命令直接運行來修改配置文件。

Linux系統日誌及日誌分析