1. 程式人生 > >goaccess-nginx日誌分析工具

goaccess-nginx日誌分析工具

提到web伺服器就不得不說nginx。這款由俄羅斯人開發的小巧的web服務軟體近幾年來風靡大江南北;成為許多草根站長建設網站的首選。但由於歷史原因,nginx日誌分析工具相較於傳統的apache、lighthttp等要匱乏的多。

筆者今天在這裡為各位介紹一個牛X的實時日誌分析工具GoAccess。不僅安裝簡單,功能強大,並且支援nginx日誌格式。實在是草根站長們手中又一犀利武器,不可不備^_^。

目前主流的日誌分析工具多采用html格式呈現給網站管理者或使用者。這樣的做法無可厚非;既然開通了網站,通過瀏覽器檢視訪客詳情也符合邏輯。但,這類工具的缺點也十分明顯,實時性較差。為了提高伺服器效能,管理員多會按時歸檔日誌統計資訊。這樣一來,很多故障資訊都無法實時分析。如果管理員登入了文字介面的

linux,檢視起來就更方便了。

nginx日誌分析工具GoAccess特色簡介

使用GoAccess就不會有這樣的困擾啦。各位可以把它作為傳統日誌分析工具很好的補充。在X windows或text mode下實時檢視訪客詳情,顯示介面很友好;GoAccess表示毫無壓力^_^。

目前,我們可以通過這款軟體檢視的統計資訊有:

  • 統計概況,流量消耗等
  • 訪客排名
  • 動態Web請求
  •  靜態web請求,如圖片、樣式表、指令碼等。
  •  來路域名
  • 404 錯誤
  • 作業系統
  •  瀏覽器和搜尋引擎
  • 主機、DNS和IP地址
  •  HTTP 響應程式碼
  •  引薦網站
  •  鍵盤佈局
  • 自定義顯示
  •  支援超大日誌(分析速度很快)

goaccess特色

支援的日誌格式

目前,這款軟體支援Common Log Format (CLF) 和 Combined Log Format(XLF/ELF) 格式的日誌。分析傳統的apache格式日誌當然毫無問題。同時,只要將nginx的日誌格式定義為apache格式,對它的分析也不在話下(目前,redhat提供的nginx軟體包預設日誌格式和apache基本一致)。

goaccess日誌格式

GoAccess安裝注意事項

使用Debian或Ubuntu的同學可以直接通過apt-get來下載安裝軟體。自動解決軟體的依賴問題。Redhat或CentOS使用者可以有現成rpm包下載安裝;但需要手動解決軟體依賴。

下面筆者著重介紹下在類Redhat系統下如何編譯安裝GoAccess:

需要用到的幾個庫檔案有:

  1. glib2
  2. GeoIP
  3. ncurses

這些都時常用的庫檔案,直接yum安裝就能搞定:

?
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 yum install glib2 glib2-devel GeoIP-devel  ncurses-devel #從官方下載最新的tarball #author freemouse wget http://sourceforge.net/projects/goaccess/files/0.4.2/goaccess-0.4.2.tar.gz/download tar zxvf goaccess-0.4.2.tar.gz cd goaccess-0.4.2 #啟動ip歸屬地查詢、和utf8編碼格式支援 ./configure –enalbe-geoip –enable-utf8 make && make install

如果你使用的伺服器版本不在以上四個之列,可以去官網的Download頁面檢視相應的安裝方式,目前支援的還有git、FreeBSD等。

用法介紹

GoAccess的基本語法如下:

goaccess [ -b ][ -s ][ -e IP_ADDRESS][ - a ] <-f log_file >

引數說明:

  •  -f – 日誌檔名
  •  -b – 開啟流量統計,如果希望加快分析速度不建議使用該引數
  •  -s – 開啟HTTP響應程式碼統計
  •   -a – 開啟使用者代理統計
  •  -e – 開啟指定IP地址統計,預設禁用

用法示例:

最簡單、常用的命令就是直接呼叫goaccess命令啦,不帶任何影響效率的其他引數

goaccess –f access.log

如果需要檢視其他資訊,我們加入如下引數以顯示HTTP響應程式碼、使用者代理、流量消耗

goaccess –f access.log –s –a –b

如果你覺得這樣還不能滿足你的需求。別急,goaccess支援linux管道(Pipe),我們可以將日誌檔案預處理後,再交給goaccess去分析。

zcat access.log.1.gz | goaccess

讓goaccess去分析已經打包壓縮好的日誌檔案。

或者乾脆分析目前下所有日誌

zcat access.log* | goaccess

如果需要分析某天的日誌,例如10月5號那天的日誌,我們讓linux管道命令來大顯身手^_^。

sed -n ‘/05\/Dec\/2010/,$ p’ access.log | goaccess -s –b

分析從11月5號到12月5號一個月內的日誌

sed -n ‘/5\/Nov\/2010/,/5\/Dec\/2010/ p’ access.log | goaccess -s –b

當你不希望在伺服器上安裝goaccess程式,可以通過呼叫本地的goaccess程式來分析伺服器上的日誌(很神奇吧^_^):

ssh [email protected] ‘cat /var/log/apache2/access.log’ | goaccess -s -a -b

goaccess用法簡介

GoAccess日誌分析的速度

大部分伺服器對日誌分析的速度都比較敏感,如果在分析日誌時造成伺服器其他服務的不穩定,那還不如不用呢。據GoAccess官方的說法:使用AMD Sempron 2.31GHz的CPU+2GB記憶體,開啟GoAccess所有功能,該軟體每秒可以處理10萬行日誌。當然,如果使用的CPU更強勁,擁有更多的記憶體,GoAccess的表現會更加出色。

相關推薦

goaccess-nginx日誌分析工具

提到web伺服器就不得不說nginx。這款由俄羅斯人開發的小巧的web服務軟體近幾年來風靡大江南北;成為許多草根站長建設網站的首選。但由於歷史原因,nginx日誌分析工具相較於傳統的apache、lighthttp等要匱乏的多。 筆者今天在這裡為各位介紹一個牛X的實時日

日誌分析工具 GoAccess v1.3 釋出,支援簡體中文和安裝使用

GoAccess 簡介 簡單來說呢 GoAccess 是一個專門用來分析日誌的工具,既可以在終端中展示結果,也可以生成 HTML 報表在瀏覽器中檢視。GoAccess 最吸引人的一點就是它生成的 HTML 足夠炫酷(ÒωÓױ)。 其他方面的特性包括 1、資料近乎是實時的——瀏覽

nginx日誌分析利器GoAccess

面試的時候一定會被面到的問題是:給出web伺服器的訪問日誌,請寫一個指令碼來統計訪問前10的IP有哪些?訪問前10的請求有哪些?當你領略過goaccess之後,你就明白,這些問題,除了考驗你的指令碼背誦記憶能力以外,唯一的作用只有裝A或者裝C了。 對於nginx日誌分析,有很多工具,衡量好壞的標準大概就是三

Logwatch日誌分析工具

logwatch日誌監控介紹:Logwatch是使用 Perl 開發的一個日誌分析工具。Logwatch能夠對Linux 的日誌文件進行分析,並自動發送mail給相關處理人員,可定制需求。Logwatch的mail功能是借助宿主系統自帶的mail server 發郵件的,所以系統需安裝mail server

pt-query-digest查詢日誌分析工具

tcp 技術 一段時間 ext 所在 mda pop json sdn 版權聲明:本文為博主原創文章,未經博主允許不得轉載。 工具簡介 pt-query-digest是用於分析mysql慢查詢的一個工具,它可以分析binlog、General log、slo

慢查詢日誌分析工具之pt-query-digest

lan git bash pre 日誌分析 windows images git 所有 curl 簡介 pt-query-digest 是用於分析mysql慢查詢的一個工具,與mysqldumpshow工具相比,py-query_digest 工具的分析結果更

用shell做nginx日誌分析

linux nginx 數據挖掘#!/bin/bash if [[ $# == 0 ]];thenecho "Error:請輸入要查詢的天數???"elseecho "暫時不支持centos的7的版本!!!"NOW_TIME_CUO=date +%s((END_TIME

Apache日誌分析工具awstats配置

日誌分析工具awstats安裝 日誌分析工具awstats配置 Apache日誌分析工具awstats Apache編譯安裝步驟 Apache日誌分析工具awstats配置 awstats軟件下載地址:http://www.awstats.org/#DOWNLOADhttps://awstat

loganalyzer日誌分析工具(CentOS7.4)

loganalyzer日誌分析工具 日誌服務器部署 loganalyzer日誌分析工具(CentOS7.4)Loganalyzer是一款syslog日誌和其他網絡事件數據的Web前端。它提供了對日誌的簡單瀏覽、搜索、基本分析和一些圖表報告的功能。數據可以從數據庫或一般的syslog文本文件中獲取,所以

資深架構師教你如何使用elk+redis搭建nginx日誌分析平臺!

pat 好的 oat ace efi 開啟 cse embed VM elk+redis 搭建nginx日誌分析平臺 logstash,elasticsearch,kibana 怎麽進行nginx的日誌分析呢?首先,架構方面,nginx是有日誌文件的,它的每個請求的狀

日誌分析工具日誌管理系統、syslog分析

用戶 程序 方案 安全 inux aix 高效 應用 監控 日誌分析工具、日誌管理系統、syslog分析 系統日誌(Syslog)管理是幾乎所有企業的重要需求。系統管理員將syslog看作是解決網絡上系統日誌支持的系統和設備性能問題的關鍵資源。人們往往低估了對完整的sys-

一款全面高效的日誌分析工具,操作更簡單

analyze sys 海量 生成 box 發展 code 工具 it管理 一款全面高效的日誌分析工具,操作更簡單 Eventlog Analyzer是用來分析和審計系統及事件日誌的管理軟件,能夠對全網範圍內的主機、服務器、網絡設備、數據庫以及各種應用服務系統等產生的日誌,

Elastic+logstash+filebeat做Nginx日誌分析

uri down rac ash 存儲 日誌格式 over byte install 一、Elasticserach安裝1、Installation(elastic 6.3.2 版本 依賴 java JDK8) 下載合適的版本:curl -L -O https://art

強大的日誌分析工具 -- NSLogger

div lean 沒有 highlight 文件 fst tps set 日誌分析 源碼:https://github.com/fpillet/NSLogger 特點 擺脫Xcode的小窗查看日誌 不用再將iPhone連接到電腦上才能看日誌 支持通過互聯網傳送日誌 可以輸

ELK6.2.3日誌分析工具elasticsearch x-pack6.2.3許可權管理Security模組和內建角色介紹

啟動elasticsearch 1.自定義設定密碼,三個內建賬號根據提示設定密碼 ./bin/x-pack/setup-passwords interactive 2.自動生成密碼 ./bin/x-pack/setup-passwords auto 3.在kibana通過DSL語句設定密碼

ELK6.2.3日誌分析工具搭x-pack破解安裝(三)

一、elasticsearch安裝x-pack
 1.切換安裝目錄 [email protected]: cd /usr/local/elk/elasticsearch-6.2.3/bin 2.執行安裝命令 [email protected]:/usr/local/e

ELK6.2.3日誌分析工具搭Elasticsearch-head安裝(二)

安裝Elasticsearch-head 1.切換目錄 cd /usr/local/elk/elasticsearch-6.2.3 2.下載 wget https://codeload.github.com/mobz/elasticsearch-head/zip/master 3.更改

ELK6.2.3日誌分析工具搭建JDK、Elasticsearch、Kibana安裝(一)

Logstash: Logstash服務的元件,用於處理傳入的日誌。 Elasticsearch: 儲存所有日誌 Kibana : 用於搜尋和視覺化的日誌的Web介面,通過nginx反代 Logstash Forwarder: 安裝在將要把日誌傳送到logstash的伺服器上,作為日誌轉發的道

nginx日誌分析之 grep、awk、sort、uniq命令使用

nginx日誌分析對於線上業務排錯有很大的幫助,運用合適的命令能夠快速、準確定位出問題。主要涉及awk、sort、uniq這三個命令的使用。 sort 參  數: -b 忽略每行前面開始出的空格字元。 -c 檢查檔案是否已經按照順序排序。 -d 排序時,處理英文

Mysql慢查詢日誌分析工具Mysqlsla安裝

yum install perl-DBI perl-DBD-MySQL perl-devel -y yum -y  install perl-Time-HiRes cd /data/software wget  ftp://ftp.tw.freebsd.org/pub/