shell指令碼實現rysnc檔案備份以及資料傳輸校驗
通過shell指令碼整合了rsync(daemon)守護程序模式對檔案備份以及進行md5校驗的功能。
#!/bin/bash
file=access_2018-12-8.log
tarfile=./backup$(date +%F).tar.gz
tar zcf $tar_file $file
md5sum $tar_file >md5.log
#執行指令碼的本機需要有rsync客戶端的基礎配置(密碼檔案授權600root只讀許可權,提前寫好)
rsync -avz $tar_file md5.log [email protected]::backup --password-file=/etc/rsync.password
#需要公鑰分發到備份伺服器主機,實現免祕鑰互動
cmd="cd /backup;md5sum -c md5.log"
ssh 172.16.1.41 $cmd
#通過返回值判斷md5sum的校驗狀態
if [ $? -eq 0 ]
then
echo "backup file is ok (md5sum)"
else
echo "file transfer is fail"
fi
相關推薦
shell指令碼實現rysnc檔案備份以及資料傳輸校驗
通過shell指令碼整合了rsync(daemon)守護程序模式對檔案備份以及進行md5校驗的功能。 #!/bin/bash file=access_2018-12-8.logtarfile=./backup$(date +%F).tar.gz tar zcf $tar_file $filemd5sum
關於linux定時任務與shell指令碼——實現遠端資料庫備份
一、常用的命令如下:1、編輯一個新的crontab任務 crontab -e2、檢視編寫後的crontab任務 crontab -l3、重啟contab任務服務 service crond restart4、檢視contab任務狀態 service c
ossutil命令上傳檔案到阿里雲oss詳解,使用Shell指令碼實現資料的自動上傳下載Bucket物件儲存
安裝ossutil yum -y install wget wget http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/50452/cn_zh/1524643963683/ossutil64 mv
Linux下Shell指令碼實現批量重新命名資料夾,批量重新命名檔案(讓原本繁重的工作變得簡單)
最近接了個專案,具體做什麼都不說了,其中有個工作就是批量更改資料夾,然後批量更改資料夾下的檔名字,一會兒先貼程式碼,再詳細解釋步驟。 下面是我的簡化版的目錄結構,實際上有上百個。 project dir1 dir1.py dir2
shell腳本實現rysnc文件備份以及數據傳輸校驗
只讀 bash 守護 交互 $? 數據 返回 備份服務器 以及 通過shell腳本整合了rsync(daemon)守護進程模式對文件備份以及進行md5校驗的功能。 #!/bin/bash file=access_2018-12-8.logtarfile=./backup$(
案例:通過shell指令碼實現mysql資料備份與清理
開發十年,就只剩下這套架構體系了! >>>
shell指令碼實現檔案改名/重新命名
shell指令碼實現檔案改名小操作, 在此做一記錄. #!/bin/bash #將資料檔案.SAC名改為'<sta>.[N/E/Z].SAC' #例如2014.143.20.49.21.0000.YN.BAS.00.BHE.M.SAC改為BAS.E.SAC cd ..
shell指令碼實現相關文字和資料夾操作
shell指令碼實現某些文字/檔案和資料夾功能. 資料在指令碼的上層資料夾Data內,在scripts資料夾內執行該指令碼,按格式得到需要的event.cat檔案. 在此做一記錄, 以便以後檢視. #!/bin/bash #以要求格式生成event.cat #在資料檔案上一級目錄的src
shell指令碼抽取文字檔案中指定字串的方法:sed+grep方法、awk+grep方法(必要時可以聯合sed以及grep)、grep+cut方法
在linux中經常要對一些動態的文字檔案抽取指定的字串,比如執行ps命令後想要獲取指定的執行程序(如ps自己)的PID號(同一個程序每次啟動的時候pid號是隨機分配的)。該怎麼辦呢?當然,可以用一些擷取字串的方法,這裡介紹一下用2種方法來解決這類問題。 一、sed+grep方法: 首先大概瞭
Shell指令碼實現監控rsync資料是否傳輸完
今天有臺伺服器a要把網站程式全部傳輸到另外一臺伺服器b上去,但離下班時間就只有1個小時了,為了準時下班,簡單寫了個shell指令碼來監控是否有傳輸完,我先在伺服器a上看了下網站程式總大小為12G,用du -sm檢視也就是11517,伺服器也不會有人再傳東西上去了,所以我可以放
利用shell指令碼實現企業備份基本環境
要求是利用ansible遠端啟動本地指令碼來實現。因此,模擬五臺。 利用ansible主機 分發四個指令碼給不同的伺服器。 在備份伺服器上配置rsync檔案。增加系統重要檔案模組和mysql模組還有nfs模組 uid = rsync gid = rsync u
Hive(24):例項:hive shell指令碼實現自動載入資料
一、實現功能 日誌檔案需要按時自動上傳到hdfs、hive,然後,才可以進行下一步的ETL。所以,定時定點將日誌資訊按時上傳時非常重要的。 二、實現 1.hive中建立源表 create database load_hive; create table load_h
[shell]shell指令碼實現每天自動抽取資料插入hive表
#!/bin/bash source /etc/profile source ~/.bashrc M_DATE=$(date -d'-1 day' +%m) #取系統日期前一天的月份 spark-sql -e" insert overwrite table db.t
用shell指令碼實現定時備份資料庫
1、備份資料庫的方法 可以使用命令檢視 ls /usr/local/mysql/bin 這個mysqldump就是系統內建的用來備份資料庫的工具。 2、實現方法 ①先隨便進入一個位置建立一個目錄 ②建立一個希爾指令碼 ③往shell指令碼中寫入備份資料庫的語句 &nb
shell指令碼實現檔案移動、複製等操作
如題。 在此做一記錄,方便查閱。 #!/bin/bash #將一個目錄下的一些檔案移動到另一個目錄下 raw_dir="/home/liuyi/evt_test" #可修改絕對路徑; mkdir /home/liuyi/evt_bp #建立新的檔案目錄; for
shell指令碼實現刪除過期資料庫中的資料
一個應用系統每天都需不間斷的向資料庫中插入資料,而對於很早之前的資料一般都需要從資料庫中清理,防止資料量無限增大,耗費儲存和影響資料查詢效率。 通過兩個檔案實現,一個檔案為配置檔案,一個為指令碼檔案。 本示例為刪除資料庫中180天(時間可在配置檔案中修改)前的資料。
定時執行Linux shell指令碼實現SFTP定時上傳下載檔案
之所以寫這篇文章,是因為網上很多有關文章亂轉載,crontab 命令的語法都是錯的,都直接轉了,雖然很簡單,但也會浪費時間啊,尤其是對於第一次寫的同學來說。轉入正題一:定時任務(大部分文章出錯的就是這個部分)1.執行命令:crontab -e2.按 i 編輯檔案,新增命令如下
Shell指令碼實現FTP上傳下載檔案
Linux下使用Shell指令碼實現FTP自動上傳和下載檔案 登入FTP實現下載檔案功能 FTP伺服器:10.11.10.11 FTP路徑:Down 本地路徑: ./ 將檔案從FTP下載到本地的指令碼如下: 批量下載指令碼程式碼 #從
寫一個shell指令碼將一個檔案下超過100KB的檔案,複製到另一個資料夾下
指令碼編寫: (0)建立的指令碼檔案,先用vi命令開啟,瞎寫一些東西 (推薦) (1)第一行內容是固定的 #!/bin/sh (2)涉及到的目錄,
linux使用shell指令碼實現自動登入scp傳輸檔案到其他伺服器
執行 sudo yum install expect 安裝自動登入expect工具 我們是配置了多臺伺服器進行控制多臺伺服器的檔案傳輸,使用scp命令進行copy檔案到指定伺服器的指定檔案目錄,一般複製到home目錄因為這個目錄對外有可執行許可權 下面我們看下會用到的檔