2. 程式人生 > >tomcat日誌文件 訪問IP統計

tomcat日誌文件 訪問IP統計

阿新 • • 發佈：2018-09-30
執行 mat python腳本 日誌文件 keys group else con logs

tomcat ?localhost_access_log.2018-09-19.txt日誌文件 訪問IP統計

172.16.8.11 - - [19/Sep/2018:12:35:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7613
172.16.8.1 - - [19/Sep/2018:12:43:08 +0800] "GET /images/loading.gif HTTP/1.1" 200 404
172.16.8.1 - - [19/Sep/2018:12:43:08 +0800] "POST /init HTTP/1.1" 200 207

172.16.8.1 - - [19/Sep/2018:12:43:12 +0800] "POST /init HTTP/1.1" 200 207
172.16.8.1 - - [19/Sep/2018:12:43:16 +0800] "GET / HTTP/1.1" 200 7612
172.16.8.1 - - [19/Sep/2018:12:43:16 +0800] "GET /css/default-init.css?1537325099834 HTTP/1.1" 304 -
172.16.8.1 - - [19/Sep/2018:12:43:16 +0800] "GET /js/lib/jquery/jquery.min.js HTTP/1.1" 304 -
172.16.8.1 - - [19/Sep/2018:12:43:16 +0800] "GET /images/logo.png HTTP/1.1" 304 -
172.16.8.11 - - [19/Sep/2018:12:45:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7612
172.16.8.11 - - [19/Sep/2018:12:55:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7612
172.16.8.11 - - [19/Sep/2018:13:05:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7612
172.16.8.11 - - [19/Sep/2018:13:15:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7613
172.16.8.11 - - [19/Sep/2018:13:25:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7613
172.16.8.11 - - [19/Sep/2018:13:35:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7613
172.16.8.11 - - [19/Sep/2018:13:45:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7613
172.16.8.11 - - [19/Sep/2018:13:55:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7612
172.16.8.11 - - [19/Sep/2018:14:05:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7612
172.16.8.11 - - [19/Sep/2018:14:15:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7612
172.16.8.11 - - [19/Sep/2018:14:25:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7612
172.16.8.11 - - [19/Sep/2018:14:35:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7612
172.16.8.11 - - [19/Sep/2018:14:45:21 +0800] "GET /console/stat/onlineVisitorRefresh HTTP/1.1" 200 7613

SHELL腳本

[root@localhost logs]# awk ‘{aaa[$1]++;} END{for(i in aaa) { printf("%s\t%s\n", aaa[i], i); }}‘ localhost_access_log.2018-09-19.txt | sort -bn
2?? ?127.0.0.1
24?? ?172.16.8.1
26?? ?172.16.8.11
[root@localhost logs]# grep -i -o -E -r -e "([0-9]{1,3}.){3}[0-9]{1,3}" localhost_access_log.2018-09-19.txt | sort -n | uniq -c | sort -n
? ? ? 2 127.0.0.1
? ? ?24 172.16.8.1
? ? ?26 172.16.8.11
[root@localhost logs]# awk ‘{print $1}‘ localhost_access_log.2018-09-19.txt | grep -E "([0-9]{1,3}.){3}[0-9]{1,3}" | sort | uniq -c | sort -g
? ? ? 2 127.0.0.1
? ? ?24 172.16.8.1
? ? ?26 172.16.8.11
PYTHON腳本

cat log.py?
import re
mydict = {}
with open(‘localhost_access_log.2018-09-19.txt‘) as f:
? ? ? ? for line in f:
? ? ? ? ? ? ? ? match = re.match(r‘([0-9]{1,3}.){3}[0-9]{1,3}‘, line)
? ? ? ? ? ? ? ? if match:
? ? ? ? ? ? ? ? ? ? ? ? ip = match.group()
? ? ? ? ? ? ? ? ? ? ? ? if ip in mydict.keys():
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? mydict[ip] += 1
? ? ? ? ? ? ? ? ? ? ? ? else:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? mydict[ip] = 1

print mydict

執行結果
[root@localhost logs]# python log.py?
{‘172.16.8.1‘: 24, ‘172.16.8.11‘: 27, ‘127.0.0.1‘: 2}

tomcat日誌文件 訪問IP統計

相關推薦

tomcat日誌文件 訪問IP統計

執行 mat python腳本 日誌文件 keys group else con logs tomcat ?localhost_access_log.2018-09-19.txt日誌文件 訪問IP統計 172.16.8.11 - - [19/Sep/2018:12:35:2

shell腳本切割tomcat日誌文件

下使用 調試 awk mkdir cat size 內容 monit 日誌文件 轉自：http://www.cnblogs.com/lishun1005/p/6054816.html 鑒於在調試logback和log4j的文件切割一直無法成功，隨性用shell寫個腳本用來切

Tomcat 日誌文件分割

出現 http 日誌 內容 解決 a.out ron 其中 如果 新到公司， 拿到了前輩們留下的 程序 “病歷書” ， 上面記載了項目上的一些 經常會犯的毛病， 還有相應的解決方法。 其中有的是因為後臺 代碼邏輯上的一些原因 ， N手代碼通病了吧 （這個還是以後再治吧

Linux 查看Tomcat日誌文件

usr 跟蹤 cat 字節 結果 輸入 寫入 a.out 才有 命令為：tail -f catalina.out tail 命令 用途從指定點開始將文件寫到標準輸出。使用tail命令的-f選項可以方便的查閱正在改變的日誌文件，tail -f filename會把filena

Tomcat日誌文件的輸出在Linux和Windows下的差異

部署 bug tps console 大量 http .bat linux startup 前言 最近老大發現Tomcat的日誌文件catalina.out裏存在著大量的和公司項目相關的log信息，因為一般都是會使用日誌框架並另外將log信息輸出到另外的文件裏的，catal

清除tomcat日誌文件的shell腳本

命令 col style script data lse amp del scrip #! /bin/bash d=`date +%F` exec >> /mydata/script/logs/$d"_tomcat".log 2>&1 echo

CentOS下安裝cronolog拆分tomcat日誌文件catalina.out

$@ c2c cron https ffffff 1.5 .com catalina pkg 去https://centos.pkgs.org/7/epel-x86_64/cronolog-1.6.2-14.el7.x86_64.rpm.html 下載cronolog，下載

使用awk統nginx日誌文件ip訪問站點次數

nginx web ip次數 awk | 表示分隔符，$4表示第四列awk -F"|" ‘{count[$4]++}END{for (ip in count) {printf "%-20s:%d\n",ip,count[ip]}}‘ access_log本文出自 “Linux 系統運維” 博

6.訪問日誌靜態文件,訪問日誌切割，靜態元素過期時間

訪問日誌靜態文件；訪問日誌切割靜 靜態元素過期時間 [toc] 10.22 訪問日誌不記錄靜態文件 很多網站大多為靜態網頁，網頁內部的圖片、css文件等同樣有其網址鏈接，如果不設置，這些無效的信息也將被存入訪問日誌中，會導致訪問日誌文件大小快速增加，占用大量存儲空間。我們可以通過設置不記錄某些文

Windows 共享文件訪問日誌

共享文件訪問日誌記錄1、環境介紹服務器server2012： AD01.test.cn （域管理員：administrator）客戶端win7：testpc1.test.cn (域賬戶: sz1)客戶端win7：test2-pc.test.cn(域賬戶:sh1)服務器創建共享目錄sharetest，授權Dom

使用flume抓取tomcat的日誌文件下沈到kafka消費

cti div AR onf 啟動tomcat roo capacity gin direct Tomcat生產日誌 Flume抓取日誌下沈到kafka中 將寫好的web項目打包成war包，eclise直接導出export，IDEA 在artifact中添加新的artif

Tomcat設置監聽端口80、配置虛擬主機、安裝zrlog博客、日誌文件

Tomcat tomcat日誌 tomcat監聽端口 tomcat虛擬主機 zrlog博客安裝 設置Tomcat監聽端口為80 默認Tomcat監聽端口為8080端口，如果是在lnmp環境下，我們必須停用作用80端口的nginx； /etc/init.d/nginx stop

訪問日誌不記錄靜態文件 訪問日誌切割 靜態元素過期時間

訪問日誌不記錄靜態文件 訪問日誌切割一、訪問日誌不記錄靜態文件#vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf //打開虛擬主機配置文件在 CustomLog "logs/111.com-access_log" c

tomcat/logs目錄下各日誌文件的解析

CA tomcat acc localhost handle 文件的 per min lin 以下文件都是在tomcat啟動時自動生成的日誌文件，按照日期自動備份 localhost.log　　程序異常沒有被捕獲的時候拋出的地方【常用】 catalina.log　　程序的輸

nginx日誌不記錄靜態文件訪問和緩存

主機名 ranges 請求 任務 add 再次 瀏覽器中 localhost 小時 nginx訪問日誌nginx和apache的訪問日誌一樣可以記錄的指定信息，如記錄服務器時間，訪問的客戶端ip、訪問的url和訪問狀態碼等信息，這些信息會規律的記錄到訪問日誌中主配置文件中定

請大神指導從大日誌文件中統計關鍵字次數的辦法

行數據 文本 一次 next 自己 end 不知道 lock printf awk ‘NR==FNR{a[$0]=1;next}{if($0 in a)b[$0]++}END{for (i in b)print i,b[i]}‘ filea fileb | sort 文件

tomcat的catalina.out日誌文件過大

du命令 ava tar.gz 日誌 服務器 .html stack dev nbsp 今天發現一個服務器的/opt目錄數據過大，最後發現是tomcat中的catalina.out日誌過大引起的 用du命令查看opt下一層的數據文件大小 [root@ccssapportal

如何處理Tomcat日誌catalina.out日誌文件過大的問題

錯誤 null 編譯安裝 生成 a.out 解壓 apache 腳本參數 輸出 tomcat默認日誌文件為catalina.out，隨著系統運行時間的增加，該日誌文件大小會不斷增大，甚至增大到G級。不僅會導致我們無法使用常規工具查找系統問題，而且會影響tomcat性能（比如

python分析apache和nginx日誌文件輸出訪客ip列表的代碼

ip列表 get log 代碼片段 readline pri ips () lines 把做工程過程中比較好的代碼片段做個備份，下面資料是關於python分析apache和nginx日誌文件輸出訪客ip列表的代碼。 ips = {} fh = open("/var/log

JAVA log4j日誌文件使用

prop append ive () -1 信息保存 flush console apache //1.導入jar包，log4j-1.2.17.jar//2.src下創建log4j.properties文件//3.配置properties文件/*log4j.rootLogg