2. 程式人生 > >shell自動下載nginx日誌檔案到本地

shell自動下載nginx日誌檔案到本地

阿新 • • 發佈：2018-12-26

最近遇到一個情況就是伺服器不響應了，nginx也不寫日誌，經查發現是日誌檔案太大多，磁碟滿了，以前都是用指令碼自動上傳到OSS的，現在需要將log下載到本地，於是用shell寫了一段指令碼，然後放到crontab裡面，每天凌晨把log下載下來

shell 指令碼

#!/bin/bash

HOST="115.114.113.112"
LOG_PATH="/usr/local/nginx/logs/"
LOCAL_LOG_PATH="/home/admin/logs/$HOST/"

# 把所有帶日期的日誌檔案，同步本地，然後刪除遠端檔案
# 日誌檔案命名: access_2016-12-28.log
LOGS=$(ssh 
 
[email protected]$HOST ls $LOG_PATH | grep _)
LOGS=${LOGS// / }

function log() {
    echo `date "+%Y-%m-%d %H:%M:%S"` $1
}

for log in $LOGS
do
    REMOTE_LOG_FILE="$LOG_PATH$log"
    LOCAL_LOG_FILE="$LOCAL_LOG_PATH$log"
    log "Ready to download from $HOST >> $REMOTE_LOG_FILE"
    log "Check local $LOCAL_LOG_FILE
 
 exists"
    DOWNLOAD=1
    if [ -f $LOCAL_LOG_FILE ]; then
        log "Local file already exists, and check the md5 value of the file"
        REMOTE_FILE_MD5=$(ssh [email protected]$HOST md5sum $REMOTE_LOG_FILE | awk '{print $1}')
        LOCAL_FILE_MD5=$(md5sum $LOCAL_LOG_FILE | awk '{print $1}'
 
)
        # log "$REMOTE_FILE_MD5 == $LOCAL_FILE_MD5"
        if [ "$REMOTE_FILE_MD5"x = "$LOCAL_FILE_MD5"x ]; then
            DOWNLOAD=0
            log "The file content is the same, skip the current file"
        else
            log "The file content is different, to download the file"
        fi
    fi

    if [ $DOWNLOAD = 1 ]; then
        log "Download $REMOTE_LOG_FILE from $HOST"
        scp [email protected]$HOST:$REMOTE_LOG_FILE $LOCAL_LOG_PATH
    fi

    log "Delete $REMOTE_LOG_FILE from $HOST"
    ssh [email protected]$HOST rm $REMOTE_LOG_FILE
done

給指令碼執行許可權

$ chmod +x sync_115.114.113.112.sh

加到crontab，每天凌晨一分執行，因為伺服器上面0分會生成日誌檔案，所以這裡等一分鐘再下載，基本就沒有問題

1 0 * * * /home/admin/logs/sync_115.114.113.112.sh

這裡需要注意的是，需要提前把ssh公鑰上傳到伺服器，好免密碼登入，執行命令

相關推薦

shell自動下載nginx日誌檔案到本地

最近遇到一個情況就是伺服器不響應了，nginx也不寫日誌，經查發現是日誌檔案太大多，磁碟滿了，以前都是用指令碼自動上傳到OSS的，現在需要將log下載到本地，於是用shell寫了一段指令碼，然後放到crontab裡面，每天凌晨把log下載下來 shell 指令

linux中使用corntab和shell指令碼自動備份nginx日誌,按天備份

編寫shell指令碼,實現nginx日誌每天自動備份到指定資料夾! 需要的命令mv , corntab -e(定時任務),shell指令碼 這裡先說一下corntab:  https://www.cnblogs.com/longjshz/p/5779215.html  這裡有一篇詳細

Goaccess自動分割nginx日誌

增加 介紹 sta 系統 博客 goaccess 時間 下載文件 spider GoAccess 是一款開源的網站日誌實時分析工具。GoAccess 的工作方式很容易理解，就是讀取和解析 Apache/Nginx/Lighttpd 的訪問日誌文件 access log，然後

shell 指令碼通過nginx日誌封訪問頻率過高的IP

#/bin/bash #日誌檔案 logfile=/usr/local/tengine/logs last_minutes=1 #開始時間 start_time=`date -d"$last_minutes minutes ago" +"%H:%M:%S"` echo $start_t

Nginx 日誌檔案切割

楔子 阿里雲的Nginx好久沒檢視過日誌，現在需要配置定時任務實現，日誌檔案切割，並刪除超過30天的日誌檔案。 日誌檔案切割 把舊檔案A拷貝到 指定目錄(這時 Nginx還會繼續在舊檔案A中寫日誌

使用logrotate管理nginx日誌檔案

描述：linux日誌檔案如果不定期清理，會填滿整個磁碟。這樣會很危險，因此日誌管理是系統管理員日常工作之一。我們可以使用”logrotate”來管理linux日誌檔案，它可以實現日誌的自動滾動，日誌歸檔等功能。下面以nginx日誌檔案來講解下logrotate的

android開發之應用Crash自動抓取Log_自動儲存崩潰日誌到本地

應用發生crash之後要檢視log，判斷問題出在什麼地方，可是一旦應用釋出出去，就要想辦法把使用者的崩潰日誌拿到分析。所以要在發生crash之後抓取log，然後上傳到伺服器，方便開發者檢視，現在都有很多第三方做這方面的服務，這裡說下如何自己來實現。其實原理很簡單，應用出現異常

Linux筆記（66）——nginx日誌檔案詳解

                       

shell 指令碼完成對日誌檔案的提取

前言 問題 提取x xx介面的的請求報文 正文 解決方案 使用shell指令碼使用awk 去掉報文中的換行符，以便進行grep，進而使用sed進行替換操作，最後輸出到指定文字

apache與nginx日誌檔案詳解

**apache 預設裝的apache，它的日誌檔案放在 /usr/local/apache/logs。access.log cat /usr/local/apache/logs。access.log 示例： 192.168.4.228 - - [27/Sep/2018:2

shell 指令碼完成對日誌檔案的提取之awk 學習

前言 學習awk/sed/zmore/zgrep、istat 正文 1.awk  awk就是把檔案逐行的讀入，以空格為預設分隔符將每行切片，切開的部分再進行各種分析處理(awk是一個強大的文字

shell指令碼下檢視日誌檔案

最近工作中，發現頁面的顯示資料和預期不一致，在排查了資料表過後，發現錯誤原因不在資料表和程式碼邏輯中。因為資料表中的資料來自log檔案，所以猜測是log中的資訊有誤。 排查log檔案過程中，因為是隻讀，所以試了有vim,cat，tail，grep四個，最後主要用來檢視檔案

shell指令碼統計出日誌檔案操作以及其對應的平均時間

有如下日誌：exmple.log time: 1.236 operation:查詢 time: 2.135 operation:處理 time: 3.741 operation:處理 time: 1.236 operation:查詢 現在要求，統計出查詢和處理以及其對應的平

redis學習之shell自動建立節點配置檔案

這兩天工作有空閒，所以看了一下redis文件，決定按照文件搭建一套測試環境，做一下叢集的測試。在開始配置叢集時，官方推薦採用6個節點，但是測試樣例中需要手動建立每個節點的目錄和配置檔案。正好最近想學習一下指令碼，所以寫了一個指令碼進行自動建立節點，用來學習shell指令碼編寫

Shell自動化壓縮處理日誌檔案指令碼程式

Shell處理日誌,自動保留30天的日誌，如果超過14天的日誌就自動壓縮為gz格式儲存下來，這樣可以節省磁

log4j2 自動刪除過期日誌檔案配置及實現原理解析

　　日誌檔案自動刪除功能必不可少，當然你可以讓運維去做這事，只是這不地道。而日誌元件是一個必備元件，讓其多做一件刪除的工作，無可厚非。本文就來探討下 log4j 的日誌檔案自動刪除實現吧。 0. 自動刪除配置參考樣例: （log4j2.xml） <?xml version="1.0" enc

nginx實現自動切割日誌檔案shell指令碼

在工作中可能會需要對nginx的日誌實現自動分割，自己寫了一個函式，大家如果覺得可以的話： 可以直接複製儲存修改一下nginxPATH和 /opt/nginx/sbin/nginx -s reopen這兩個地方 地址。然後直接使用。 #!/bin/bash #引數解釋：$1 切割日誌的

Linux使用Shell指令碼實現FTP自動下載檔案，並記錄下載檔案日誌

Linux使用Shell指令碼實現FTP自動下載檔案，並記錄下載檔案日誌 最近初學shell程式設計，記一下自己寫的第一個指令

ssl證書安裝完後，https訪問後下載index檔案，HTTP訪問正常的。Nginx ssl設定後自動下載根目錄的index.php而不是載入

給Nginx安裝ssl證書，https訪問後，重新自動下載index.php檔案。一開始的Nginx的配置檔案如下： #user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.

python 讀取本地txt檔案的doc的url，自動下載，查詢內容

參考文章 python讀寫doc/docx/txt/xls檔案 python讀取word文件表格裡的資料 使用python找到指定路徑下的全部txt(可以是jpg，doc等等)檔案 獲取txt中儲存的url地址 import re import urllib.request