Python分析NGINX日誌裏面相同IP第一次訪問時間和最後一次訪問時間

阿新 • • 發佈：2018-05-27

NGINX 日誌分析 Python

有個小夥伴在群裏問如何分析一下相同IP訪問NGINX的第一次訪問時間和最後一次訪問時間，折騰了好一會最後寫出來測試一下，OK沒問題的，所以就記錄在這裏。

思路：

1、文件讀取

2、先找出只訪問一次的只有一次時間

3、訪問多次的尋找開始時間和最後一次時間

1、將所有IP和時間分別定義一個列表兩者元素相同

2、遍歷搜索IP的index位置，同時去找時間位置

3、最後一次時間需要對IP和時間列表翻轉

列表翻轉方法：

1、使用reversed()函數：reversed()函數返回的是一個叠代器，而不是一個List，需要再使用List函數轉換一下

2、使用sorted() 其中reverse=True是按降序排列，reverse=False是按照升序排列

3、使用分片：其中[::-1]代表從後向前取值，每次步進值為1

#/usr/bin/env python
#-*-coding:UTF-8 -*-
ips=[]
datelist=[]
ips_once=[] #僅出現一次的IP集合
ipindex_list=[] #IP信息列表
commdatetime=[] #時間信息列表 和IP信息是一一對應
infodict={}    #創建了一個序列號  IP+時間的字典
ip_count_first=[] #僅出現一次的IP+時間集合
ip_count_many = [] #出現多次 IP第一次時間  第二次時間的集合
print("歡迎使用NGINX日誌分析小工具！！！！")
print("功能一：統計每個IP訪問的次數")
"""
with open("newlog.txt","r")  as  ngfile:
   for line in ngfile:
      iptime=line.split(' ')[0]
      ip =iptime.split('-')[0]
      time  = iptime.split('[')[1]
      print(ip,time)"""
with open("nginxlog.txt","r")  as  ngfile:
   for line in ngfile:
      ips.append(line.split()[0])
      datelist.append(line.split()[1])
      for i  in range(0,int(len(ips))):
         infodict[i]= "IP:"+ips[i]+" 訪問時間："+datelist[i]
   for ip in set(ips):
      ip_count = str(ips).count(ip)
      print("IP地址： "+ip+" 訪問書次數："+ str(ip_count))
      if ip_count == 1:
         ip_index = ips.index(ip)
         ip_count_first.append(infodict[ip_index])
         ips_once.append(ip)
         
      
      else:
         first_index = ips.index(ip)
         first_time = datelist[first_index]
         ips_reverse= ips[::-1]
         last_index = ips_reverse.index(ip)
         datelist_reverse = datelist[::-1]
         last_time = datelist_reverse[last_index]
         ip_count_many.append('ip:'+ip+" 第一次訪問時間: "+first_time+' 最後一次訪問時間:'+last_time)
         
#print(ip_count_first)
#多次記錄


print('功能二：統計只訪問1次的IP地址和時間:'.format('*',3))
for  ip_time in ip_count_first:
   print(ip_time)
   
print('功能三：訪問多次的IP地址,第一次時間和最後一次時間:')
for  j in  ip_count_many:
   print(j)

日誌IP和時間部分

103.106.120.4 24/May/2018:06:12:10
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:12
103.106.120.4 24/May/2018:06:12:13
103.106.120.4 24/May/2018:06:12:14
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:12
103.106.120.4 24/May/2018:06:12:12
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:19:16
123.168.70.118 24/May/2018:06:16:57
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:17:04
123.168.70.118 24/May/2018:06:17:05
123.168.70.118 24/May/2018:06:17:05
123.168.70.118 24/May/2018:06:17:05
123.168.70.118 24/May/2018:06:17:05
123.168.70.118 24/May/2018:06:17:05
123.168.70.118 24/May/2018:06:17:43
123.168.70.118 24/May/2018:06:17:43
112.36.36.74 24/May/2018:06:18:00
183.230.30.249 24/May/2018:06:21:56
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:11
103.106.120.4 24/May/2018:06:12:12
103.106.120.4 24/May/2018:06:12:12
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:15
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:16
153.119.226.180 24/May/2018:06:13:19
123.168.70.118 24/May/2018:06:16:57
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:58
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.113 24/May/2018:06:16:59
123.168.70.118 24/May/2018:06:16:59
123.168.70.110 24/May/2018:06:17:04
123.168.70.117 24/May/2018:06:17:05
123.168.71.118 24/May/2018:06:17:05
123.168.70.118 24/May/2018:06:17:05
123.168.70.118 24/May/2018:06:17:05
123.168.70.118 24/May/2018:06:17:05
123.168.70.118 24/May/2018:06:17:43
123.168.70.118 24/May/2018:06:17:43
112.36.36.74 24/May/2018:06:18:00
183.230.30.249 24/May/2018:06:21:56
112.36.36.70 24/May/2018:06:18:00
112.36.36.70 24/May/2018:06:18:02
110.36.38.70 24/May/2018:06:18:00

結果：

歡迎使用NGINX日誌分析小工具！！！！
功能一：統計每個IP訪問的次數
IP地址： 123.168.71.118 訪問書次數：1
IP地址： 110.36.38.70 訪問書次數：1
IP地址： 153.119.226.180 訪問書次數：68
IP地址： 112.36.36.70 訪問書次數：2
IP地址： 123.168.70.117 訪問書次數：1
IP地址： 123.168.70.113 訪問書次數：1
IP地址： 123.168.70.118 訪問書次數：82
IP地址： 123.168.70.110 訪問書次數：1
IP地址： 112.36.36.74 訪問書次數：2
IP地址： 103.106.120.4 訪問書次數：42
IP地址： 183.230.30.249 訪問書次數：2
功能二：統計只訪問1次的IP地址和時間:
IP:123.168.71.118 訪問時間：24/May/2018:06:17:05
IP:110.36.38.70 訪問時間：24/May/2018:06:18:00
IP:123.168.70.117 訪問時間：24/May/2018:06:17:05
IP:123.168.70.113 訪問時間：24/May/2018:06:16:59
IP:123.168.70.110 訪問時間：24/May/2018:06:17:04
功能三：訪問多次的IP地址,第一次時間和最後一次時間:
ip:153.119.226.180 第一次訪問時間: 24/May/2018:06:13:15 最後一次訪問時間:24/May/2018:06:13:19
ip:112.36.36.70 第一次訪問時間: 24/May/2018:06:18:00 最後一次訪問時間:24/May/2018:06:18:02
ip:123.168.70.118 第一次訪問時間: 24/May/2018:06:16:57 最後一次訪問時間:24/May/2018:06:17:43
ip:112.36.36.74 第一次訪問時間: 24/May/2018:06:18:00 最後一次訪問時間:24/May/2018:06:18:00
ip:103.106.120.4 第一次訪問時間: 24/May/2018:06:12:10 最後一次訪問時間:24/May/2018:06:12:12
ip:183.230.30.249 第一次訪問時間: 24/May/2018:06:21:56 最後一次訪問時間:24/May/2018:06:21:56

Python分析NGINX日誌裏面相同IP第一次訪問時間和最後一次訪問時間

NGINX 日誌分析 Python 有個小夥伴在群裏問如何分析一下相同IP訪問NGINX的第一次訪問時間和最後一次訪問時間，折騰了好一會最後寫出來測試一下，OK沒問題的，所以就記錄在這裏。思路：1、文件讀取2、先找出只訪問一次的只有一次時間3、訪問多次的尋找開始時間和最後一次時間

python分析nginx日誌，每分鐘nginx請求超過10ms的比例

python分析nginx日誌每分鐘n代碼如下: #!/usr/bin/python # --*-- coding:utf-8 --*-- import time import datetime import sys import os import os.path import re import json

python 分析nginx日誌（2）

閒著也是閒著，練練手，分析nginx日誌http code碼簡訊告知 #!/usr/bin/python # -*- coding: UTF-8 -*- ''' auth yufei 2016-4-3 分析nginx日誌，計算200以及500等個數，並且簡訊

Graylog分析Nginx日誌並通過GeoIP2獲取訪問者IP的地理位置信息

克隆 ecc load 日誌管理 mage 分享生產 http NPU 簡介： Graylog相對於ELK是較為輕量級的日誌管理平臺 Graylog官網：https://www.graylog.org/ Graylog-server：Graylog接收來自後端各種應

使用Python 統計nginx日誌前十ip訪問量並以柱狀圖顯示

指令碼內容： import matplotlib.pyplot as plt # nginx_file = '10.6.11.91_access.log-2018-12-27' ip = {} #篩選nginx日誌檔案中的IP with open(nginx_file) as f: for

使用python分析nginx訪問日誌

一、在nginx配置檔案中新增日誌的格式，並開啟記錄訪問日誌的功能 #nginx配置檔案 #新增的欄位、 access_log on; log_format '$remote_addr - $remote_user [$time_local] "$reque

用Shell腳本動態分析maillog日誌，把惡意IP用防火墻禁止

"shell腳本" "maillog" 用Shell腳本動態分析maillog日誌，把惡意IP用防火墻禁止系統環境：Centos 6.5 x64 Postfix郵件系統裝好後，發現maillog中太多“SASL LOGIN authentication fai

ELK分析nginx日誌

elk elk分析nginx日誌開源實時日誌分析 ELK 平臺能夠完美的解決我們上述的問題， ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三個開源工具組成。官方網站： https://www.elastic.co/productsl Elasticsearc

python統計nginx日誌域名下載量

訪問量統計 python 統計nginx訪問日誌，access.log形式：1xx.xx.xxx.xxx - - [09/Oct/2017:10:48:21 +0800] "GET /images/yyy/2044/974435412336/Cover/9787503434r.jpg HTTP

Python分析iis日誌

col 技術分享 date port 日誌分析 -s spl from font Python實現分析出iis日誌中每個ip一分鐘出現的訪問次數 1 #iis日誌分析，計算每個ip在一分鐘內的訪問次數 2 from collections import Count

elk分析nginx日誌和tomcat日誌

elk一、介紹Elasticsearch + Logstash + Kibana（ELK）是一套開源的日誌管理方案。Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。Logstash是一個完全開

使用awstats分析nginx日誌

awstats ngin 日誌分析1、awstats介紹 AWStats是一款免費的功能強大的工具，它以圖形方式生成高級web、流、FTP或郵件服務器統計信息。可以以CGI或從命令行方式運行，並在幾個圖形網頁中顯示日誌包含的所有可能信息。本文主要介紹centos6.9下安裝、配置awstats，並統計n

Python讀取NGINX日誌將其存入數據庫

python pymysql datetime 日誌數據：#/usr/bin/env python #-*-coding:UTF-8 -*- from datetime import datetime stat_days = [] import pymysql #print(datet

Windows下利用goaccess（docker）分析Nginx日誌

由於公司專案需要分析Nginx，工具不少，比如ngxtop的實時監控，經過對其初步瞭解，發現必須所有配置檔案都在nginx.conf下才可以使用。然而專案卻include了很多配置。而且由於資源限制，在伺服器上安裝也不現實，因此有了日誌分析的念頭。而

docker 部署 ELK (elasticsearch + logstash + kibana) 收集分析 nginx 日誌

git 專案地址 https://github.com/Gekkoou/docker-elk 目錄結構 ├── elasticsearch elasticsearch目錄 │ └── es

elasticsearch+logstash+redis+kibana 實時分析nginx日誌

1. 部署環境 2. 架構拓撲 3. nginx安裝安裝在192.168.176.128伺服器上這裡安裝就簡單粗暴了直接yum安裝nginx [[email protected] ~]# yum -y install epel-release [[email

elk+filebeat的安裝並分析nginx日誌（推薦）

關於elk及其相關元件的介紹，參看此文https://boke.wsfnk.com/archives/67.html系統規劃服務型別 OS版本 IP地址主機名 elk端 centos7.4 192.168.1.26 elk-server log端 centos7.4 192.168.1.40 b

shell分析nginx日誌

日誌格式： 178.255.215.86 - - [04/Jul/2013:00:00:31 +0800] "GET /tag/316/PostgreSQL HTTP/1.1" 200 4779&nbs

GoAccess 分析nginx 日誌

1、安裝GoAccess需要一些系統支援庫 # yum -y install glib2 glib2-devel GeoIP-devel ncurses-devel zlib zlib-devel 由於Geo-IP庫沒有得到軟體作者的更新，分析的IP地

利用 ELK系統分析Nginx日誌並對資料進行視覺化展示

一、寫在前面　　結合之前寫的一篇文章：Centos7 之安裝Logstash ELK stack 日誌管理系統，上篇文章主要講了監控軟體的作用以及部署方法。而這篇文章介紹的是單獨監控nginx 日誌分析再進行視覺化圖形展示，並在使用者前端使用nginx 來代理kibana

Python分析NGINX日誌裏面相同IP第一次訪問時間和最後一次訪問時間

相關推薦