shell指令碼批量獲取遠端伺服器多個專案的日誌
阿新 • • 發佈:2019-01-04
shell批量獲取日誌
最近日誌比較多, 而且壓縮了日誌, 並沒有上ELK. 臨時需要來獲取專案的執行日誌, 並且解壓呈現出來.
***1. 需求環境
apache/nginx 並且指定一個本地伺服器的log服務作為web服務對外的路徑.
這裡我用的本地的/home/www/log/shell執行環境. 我用的debian
***2. 指令碼如下
需要獲取三個目錄的日誌, 因為現在日誌命名問題, 所以取了三個陣列來迴圈.
提供最近3天的log獲取和全量日誌獲取.
使用了scp來同步日誌.
#!/bin/bash
set -e
declare -a log_proj1 log_work log_proj2
proj_name="proj1 proj2 proj3"
bak_dir="/home/www/logs/"
file_tailer='.log.gz'
d0_date=`date +%F`.log.`date +%Y%m%d`
d1_date=`date +%F`.log.`date +%Y%m%d`
d2_date=`date -d -1day +%F`.log.`date -d -1day +%Y%m%d`
d3_date=`date -d -2day +%F`.log.`date -d -2day +%Y%m%d`
d4_date=`date -d -3day +%F`.log.`date -d -3day +%Y%m%d`
# proj1
log_proj1[1 ]='main-'${d0_date}.*
log_proj1[2]='main-'${d1_date}_*${file_tailer}
log_proj1[3]='main-'${d2_date}_*${file_tailer}
log_proj1[4]='main-'${d3_date}_*${file_tailer}
log_proj1[5]='main-'${d4_date}_*${file_tailer}
# proj2
log_proj2[1]='console-'${d0_date}.*
log_proj2[2]='console-'${d1_date}_*${file_tailer}
log_proj2[3]='console-'${d2_date}_*${file_tailer}
log_proj2[4]='console-'${d3_date}_*${file_tailer}
log_proj2[5]='console-'${d4_date}_*${file_tailer}
# proj3
log_proj3[1]='console-'${d0_date}.*
log_proj3[2]='console-'${d1_date}_*${file_tailer}
log_proj3[3]='console-'${d2_date}_*${file_tailer}
log_proj3[4]='console-'${d3_date}_*${file_tailer}
log_proj3[5]='console-'${d4_date}_*${file_tailer}
sync_3_day_log() {
for i in ${proj_name}
do
if [ ! -d "$bak_dir$i" ];
then
mkdir "$bak_dir$i"
fi
logs="log_"${i}"[@]"
for log in ${!logs}
do
scp -P2222 [email protected]123.456.789.10:/logs/project/${i}/$log $bak_dir > /dev/null 2>&1
full_log=$bak_dir$i/$log
if [ ${full_log##*.} = "gz" ] > /dev/null 2>&1;
then
gzip -d $full_log
fi
done
done
echo 'Sync done'
}
sync_all_log() {
for i in ${proj_name}
do
if [ ! -d "$bak_dir$i" ];
then
mkdir "$bak_dir$i"
fi
scp -r -P1022 [email protected]123.456.789.10:/logs/project/${i}/ $bak_dir > /dev/null 2>&1
echo "All "$i" log sync done!\n";
for log in `ls -la $bak_dir$i | awk '{print $9}'`
do
full_log=$bak_dir$i/$log
if [ ${full_log##*.} = "gz" ] > /dev/null 2>&1;
then
gzip -d $full_log
fi
done
done
echo 'Sync done'
}
#sync_3_day_log
sync_all_log