RHCE——分析和儲存日誌
系統日誌架構
在Linux 7 中系統訊息由systemd-journald和rsyslog負責。
系統日誌訊息由systemd-jourmald轉發到rsyslog,而rsyslog經過處理，將日誌檔案寫在/var/log下面。
linux日誌檔案概述
| 日誌檔案 | 用途 |
|---|---|
| var/log/messages | 大多數系統日誌記錄 |
| var/log/secure | 安全和身份認證相關的訊息和錯誤的日誌檔案 |
| /var/log/maillog | 傳送到系統或從系統發出的電子郵件的活動 |
| /var/log/cron | 與定期執行的相關檔案 |
| /var/log/boot.log | 自檢過程 |
檢視日誌檔案
rsyslog的配置檔案在/etc/rsyslog.conf中
日誌檔案由rsyslog負責維護，包括許多的應用的日誌檔案，有類似Apache Web日誌也存在/var/log的對應的檔案中。
rsyslog.conf中示例規則部分
#### RULES ####
# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.* /dev/console 在另一臺機器儲存伺服器的日誌
目的是可以防止非法入侵抹除日誌檔案
1. 在要備份日誌的機器上
[student@localhost 桌面]$ vim /etc/rsyslog.conf
2. 在配置檔案中新增配置傳送方向
#*.* @xx.xx.xx.xx
3. 重啟服務
[student@localhost 桌面]$ systemctl restart rsyslog.service
4. 在備份檔案儲存的機器上
[root@desktop ~]# vim /etc/rsyslog.conf
5. 修改檔案，開啟514埠的TCP，和UDP服務
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
6. 重啟服務
[root@desktop ~]# systemctl restart rsyslog.service
7. 關閉防護牆
[root@desktop ~]# systemctl stop firewalld.service日誌檔案輪轉
logrotate程式是一個日誌檔案管理工具。用於分割日誌檔案，刪除舊的日誌檔案，並建立新的日誌檔案，起到“轉儲”作用。可以節省磁碟空間。下面就對logrotate日誌輪轉操作做一梳理記錄：
1）配置檔案介紹
Linux系統預設安裝logrotate工具，它預設的配置檔案在：
/etc/logrotate.conf
/etc/logrotate.d/
利用tail監控日誌檔案
實時監控檔案後10行的內容
[root@desktop ~]# tail -f /var/log/messages
使用logger傳送日誌訊息
[root@desktop ~]# logger "456"
檢視systemd日誌條目
通過journalctl查詢事件
要以root身分現實完整系統日誌
[root@desktop ~]# journalctl
[root@desktop ~]# journalctl -n 5
#顯示最後五行的日誌
[root@desktop ~]# journalctl -p err
#僅列出優先順序在err及以上的日誌
[root@desktop ~]# journalctl -f
#動態檢視日誌後10行
[root@desktop ~]# journalctl --since today
#顯示當天記錄
[root@desktop ~]# journalctl --since "2017-7-29 00:00:00" --until "2017-7-30 00:00:00"
#查詢該時段的日誌
[root@desktop ~]# journalctl _SYSTEMD_UNIT=avahi-daemon.service
#僅指定一個匹配條件， 顯示所有符合該匹配條件的日誌
[root@desktop ~]# journalctl _SYSTEMD_UNIT=avahi-daemon.service _PID=28097
#指定了兩個不同欄位的匹配條件， 顯示同時滿足兩個匹配條件的日誌
[[email protected] ~]# journalctl
-- Logs begin at 日 2017-03-19 00:06:49 CST, end at 一 2017-07-31 22:06:45 CST.
3月 19 07:58:21 debug010000002015.local.alipay.net systemd-journal[91]: Runtime
3月 19 07:58:21 debug010000002015.local.alipay.net systemd-journal[91]: Runtime
儲存systemd日誌
配置永久systemd檔案
[root@desktop ~]# mkdir /var/log/journal1
[root@desktop log]# chown root:systemd-journal /var/log/journal1
[root@desktop log]# chmod 2755 /var/log/journal1
[root@desktop journal1]# killall -USR1 systemd-journald
保持準確時間
關於當前關於時間的系統設定
[[email protected] 桌面]$ datetiamctl
bash: datetiamctl: 未找到命令...
[[email protected] 桌面]$ timedatectl
Local time: 一 2017-07-31 22:41:55 CST
Universal time: 一 2017-07-31 14:41:55 UTC
Timezone: Asia/Shanghai (CST, +0800)
NTP enabled: yes
NTP synchronized: yes
RTC in local TZ: no
DST active: n/a
[student@localhost 桌面]$ timedatectl list-timezones
# 顯示系統支援的時區
[student@localhost 桌面]$ timedatectl set-timezones Africa/Abidjan
# 設定時區
[student@localhost 桌面]$ timedatectl set-time 9：00：00
# 設定時間
[student@localhost 桌面]$ timedatectl set-ntp true
# 通過ntp自動獲取時間配置和監控chrondy
chrondy服務通常與配置的NTP伺服器同步，使通常不精確的本地時鐘（RTC）保持準確
其配置檔案在/etc/chrony.conf
NTP服務,
更改本地的時間源
國內常用NTP及其地址
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server 0.rhel.pool.ntp.org iburst
server 1.rhel.pool.ntp.org iburst
server 2.rhel.pool.ntp.org iburst
server 3.rhel.pool.ntp.org iburst
# server 210.72.145.44 iburst更改時間源後，重啟服務
[[email protected] 桌面]$ systemctl restart chronyd.service
# 詳細輸出
[[email protected] ~]# chronyc sources -v
210 Number of sources = 4
.-- Source mode '^' = server, '=' = peer, '#' = local clock.
/ .- Source state '*' = current synced, '+' = combined , '-' = not combined,
| / '?' = unreachable, 'x' = time may be in error, '~' = time too variable.
|| .- xxxx [ yyyy ] +/- zzzz
|| / xxxx = adjusted offset,
|| Log2(Polling interval) -. | yyyy = measured offset,
|| \ | zzzz = estimated error.
|| | |
MS Name/IP address Stratum Poll Reach LastRx Last sample
===============================================================================
^* news.neu.edu.cn 2 6 77 10 -13ms[ -21ms] +/- 60ms
^- biisoni.miuku.net 2 6 77 9 -6064us[-6064us] +/- 179ms
^- 61-216-153-105.HINET-IP.h 3 6 137 2 +5213us[+5213us] +/- 116ms
^+ 59.46.44.253 2 6 77 10 +52ms[ +52ms] +/- 117ms
相關推薦
RHCE——分析和儲存日誌
系統日誌架構 在Linux 7 中系統訊息由systemd-journald和rsyslog負責。 系統日誌訊息由systemd-jourmald轉發到rsyslog,而rsyslog經過處理，將日誌檔案寫在/var/log下面。 linux日誌檔案概
Flume+HBase採集和儲存日誌資料
轉自：http://blog.csdn.net/yaoyasong/article/details/39400829 前言 大資料時代，誰掌握了足夠的資料，誰就有可能掌握未來，而其中的資料採集就是將來的流動資產積累。 幾乎任何規模企業，每時每刻也都在產生大量的資料，但這些
單機鬥地主——牌的資料分析和儲存
1.牌的花色 public enum Color{ Square, //方片 Club, //梅花 Heart, //紅桃 Spade， //黑桃 None //大王，小王 } 2.牌的大小 public enum Weight{ Three,
大資料技術應用(一) 應用Flume+HBase採集和儲存日誌資料
前言 大資料時代，誰掌握了足夠的資料，誰就有可能掌握未來，而其中的資料採集就是將來的流動資產積累。 幾乎任何規模企業，每時每刻也都在產生大量的資料，但這些資料如何歸集、提煉始終是一個困擾。而大資料技
Oracle Logminer 分析重做日誌RedoLog和歸檔日誌ArchiveLog
cti data 格式 保存 命令 重啟 msl dba object 在實際開發過程中，有時我們很有可能需要某個表的操作痕跡，或通過記錄的SQL語句進行有目的性的數據恢復（此時POINT-IN-TIME恢復已經滿足不了更細的粒度）、或僅僅是查看；
elk分析nginx日誌和tomcat日誌
elk一、介紹Elasticsearch + Logstash + Kibana（ELK）是一套開源的日誌管理方案。Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。Logstash是一個完全開
apache中部署rotatelogs日誌分割和awstats日誌分析
rotatelogs awsta概述：rotatelogs日誌分割：apache使用自帶的日誌分割模塊rotatelogs分割日誌,rotatelogs 是 Apache中自帶的管道日誌程序。awstats日誌分析：是一款開源日誌分析系統，可用來分析Apache網站服務器的訪問日誌，也可用來分析Samba、V
Squid-4.1 ACL訪問控制、日誌分析和反向代理
找到 51cto list conf 博客 使用 配置文件 ESS 找不到 Squid-4.1ACL訪問控制、日誌分析和反向代理 ACL訪問控制 Squid提供了強大的代理控制機制，通過結合設置ACL（Access Control List，訪問控制列表）並進行限制，可以針
JVM 之 ParNew 和 CMS 日誌分析
在兩年前的文章 JVM 學習——垃圾收集器與記憶體分配策略中，已經對 GC 演算法的原理以及常用的垃圾收集器做了相應的總結。今天這篇文章主要是對生產環境中（Java7）常用的兩種垃圾收集器（ParNew：年輕代，CMS：老年代）從日誌資訊上進行分析，做一下總結，這樣當我們在排查相應的問題時，看到 G
基於ElasticSearch+Logstash+Kibana的日誌分析、儲存、展示
ELK簡介 ELK是一套完整的日誌解決方案，由ElasticSearch、Logstash、 Kibana這三款開源軟體組成。 EastiSearch是基於Lucene開發的分散式儲存檢引擎，用來儲存各類日誌; Logstash對日誌進行收集、分析，並將其儲存供以後使用: Ki
mybaits（查詢與別名、日誌框架顯示sql語句、物件屬性和資料庫表字段不匹配resultMap使用、mysql資料查詢分頁、執行sql和儲存過程、動態SQL語句）
主要是各種配置檔案，建議把整個專案搬到自己電腦上慢慢看。 建立maven專案 首先是各種配置檔案： pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://m
scrapydweb：實現 Scrapyd 伺服器叢集監控和互動，Scrapy 日誌分析和視覺化
Scrapyd 伺服器叢集監控和互動 支援通過分組和過濾選中特定伺服器節點 一次點選，批量執行 Scrapy 日誌分析 統計資訊展示 爬蟲進度視覺化 關鍵日誌分類 支援所有 Scrapyd API Deploy project, Run Spider, Stop job List pr
JVM之ParNew和CMS日誌分析
在兩年前的文章 JVM 學習——垃圾收集器與記憶體分配策略中，已經對 GC 演算法的原理以及常用的垃圾收集器做了相應的總結。今天這篇文章主要是對生產環境中（Java7）常用的兩種垃圾收集器（ParNew：年輕代，CMS：老年代）從日誌資訊上進行分析，做一下總結，這樣當我們在
微軟System Center架構和儲存整合分析
版權宣告：更多內容，請關注【架構師技術聯盟】公眾號 https://blog.csdn.net/BtB5e6Nsu1g511Eg5XEg/article/details/80970661 System Center 2012 R2為企業提供了針對私有云、
linux系統日誌的介紹、檢視和儲存
幾個關於日誌檔案的介紹 Linux使用者登入記錄日誌和相關檢視命令彙總：https://blog.csdn.net/jsd2honey/article/details/78404337 linux系統日誌的介紹、檢視和儲存：https://blog.csdn.net/hh5820/article/deta
[轉]通過jstack日誌分析和問題排查
簡介 jstack用於生成java虛擬機器當前時刻的執行緒快照。執行緒快照是當前java虛擬機器內每一條執行緒正在執行的方法堆疊的集合，生成執行緒快照的主要目的是定位執行緒出現長時間停頓的原因，如執行緒間死鎖、死迴圈、請求外部資源導致的長時間等待等。 執行
使用流載入和儲存HTML內容&遍歷html的資訊存入一個ini檔案&使用MSHTML分析HTML程式碼
使用流載入和儲存HTML內容&遍歷html的資訊存入一個ini檔案&使用MSHTML分析HTML程式碼 使用流載入和儲存HTML內容 本文的部分內容翻譯自MSDN文章Loading HTML content from a StreamIPersist* 介面，
linux下使用awk,wc,sort,uniq,grep對nginx日誌進行分析和統計
通過對awk, wc, uniq, grep, sort等命令的組合，分析nginx的access和error日誌。 統計各種總量、單位時間量。 access.log日誌格式(見下圖） 說明： a). 按照Tab鍵拆分每項資料 b). 欄位含義（如下說明）
資料庫持久化中的讀寫效能原理分析---基於儲存引擎和索引原理
1.儲存引擎的型別 型別 功能 應用 hash 增刪改、隨機讀、順序掃描 Key-Value儲存系統 redis、memcached B-Tree 增刪改、隨機讀、順序掃描 關係型資料庫，MongoDB採用了B-Tree+lock-free, LSM
Flume-ng+Hbase實現日誌的收集和儲存
flume ng 日誌處理並存入資料庫： flume-ng裡面的SimpleHbaseEventSerializer只提供了最簡單的資料插入hbase功能，如果還有其他需要，就得自己寫HbaseEve