1. 程式人生 > >計劃任務、周期任務、cron

計劃任務、周期任務、cron

lang sed 每年 輸入 拒絕 機會 start mailx 空閑

1 概論

未來的某時間點執行一次某任務:at, batch
周期性運行某任務:crontab
執行結果:會通過郵件發送給用戶
查看郵箱服務是否開啟:(25端口)

$ netstat -tnlp 
$ ss -tnl

2 本地電子郵件服務:

2.1 mail安裝:

mailx - send and receive Internet mail
安裝郵箱服務

yum install mailx

MUA:Mail User Agent, 用戶收發郵件的工具程序;

mailx [-s ‘SUBJECT‘] username[@hostname]
標題 用戶

2.2 郵件正文的生成

2.2.1 交互式輸入;

點號(.)單獨成行可以表示正文結束;Ctrl+d提交亦可;

發郵件

[root@NUC-1 ~]# mail -s ‘hello hdfs‘ hdfs
How are you these days?
.
EOT
[root@NUC-1 ~]#

收郵件

mail
#       #輸入數字查看對應第幾封郵件
q       #q退出

2.2.2 通過輸入重定向;

mail -s ‘hello hdfs‘ hdfs < file.txt(正文內容)

2.2.3 通過管道;

cat file.txt | mail -s ‘hello hdfs‘ hdfs

關於郵箱參考:http://moerjinrong.blog.51cto.com/11124564/1966812

3 at命令

執行一次計劃任務,對應服務atd
命令:

at  [OPTION]... TIME

TIME格式:

HH:MM [YYYY-mm-dd]
noon,midnight, teatime中午,晚上,喝茶時間(下午四點)
tomorrow明天
now+#
    UNIT:minutes, hours, days, OR weeks

at的作業有隊列,用單個字母表示,默認都使用a隊列;

3.1 常用選項:

-l:查看作業隊列,相當於atq
-f /PATH/FROM/SOMEFILE:從指定文件中讀取作業任務,而不用再交互式輸入;

at -f file now+5min
-d:刪除指定的作業,相當於atrm;
-c:查看指定作業的具體內容;
-q QUEUE:指明隊列;

3.2 註意

作業執行結果是以郵件發送給提交作業的用戶;

[root@KVM ~]# at 10:31
at> echo qq > /root/test.log
at> echo aa >> /root/test.log
at> <EOT>
job 4 at 2017-08-25 10:31
[root@KVM ~]# at -l
4   2017-08-25 10:31 a root
[root@KVM ~]# ll
總用量 44
-rw-------. 1 root root  1223 5月  18 15:10 anaconda-ks.cfg
-rw-r--r--. 1 root root 25166 5月  18 15:10 install.log
-rw-r--r--. 1 root root  7992 5月  18 15:09 install.log.syslog
[root@KVM ~]# at -l
4   2017-08-25 10:31 a root
[root@KVM ~]# at -l
[root@KVM ~]# ll
總用量 48
-rw-------. 1 root root  1223 5月  18 15:10 anaconda-ks.cfg
-rw-r--r--. 1 root root 25166 5月  18 15:10 install.log
-rw-r--r--. 1 root root  7992 5月  18 15:09 install.log.syslog
-rw-r--r--  1 root root     6 8月  25 10:31 test.log
[root@KVM ~]# cat test.log
qq
aa
[root@KVM ~]#

4 batch命令:

batch會讓系統自行選擇在系統資源較空閑的時間去執行指定的任務;

5 周期性任務計劃:cron

5.1 服務程序:

cronie:主程序包,提供了crond守護進程及相關輔助工具;

5.2 確保crond守護進程(daemon)處於運行狀態:

CentOS 7:

$ systemctl  status  crond.service
    Active: active (running) ... ...

CentOS 6:

$ service  crond  status
    ... is running.

向crond提交作業的方式不同於at,它需要使用專用的配置文件,此文件有固定格式,不建議使用文本編輯器直接編輯此文件;要使用crontab命令;
cron任務分為兩類:
系統cron任務:主要用於實現系統自身的維護;
手動編輯:/etc/crontab文件
用戶cron任務:
命令:crontab命令

系統cron的配置格式:/etc/crontab
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed

註意:

(1) 每一行定義一個周期性任務,共7個字段;

          • : 定義周期性時間
            user-name : 運行任務的用戶身份
            command to be executed:任務命令
            (2) 此處的環境變量不同於用戶登錄後獲得的環境,因此,建議命令使用絕對路徑,或者自定義PATH環境變量;
            (3) 執行結果郵件發送給MAILTO指定的用戶

    用戶cron的配置格式:/var/spool/cron/USERNAME

    
    SHELL=/bin/bash
    PATH=/sbin:/bin:/usr/sbin:/usr/bin
    MAILTO=root

For details see man 4 crontabs

Example of job definition:

.---------------- minute (0 - 59)

| .------------- hour (0 - 23)

| | .---------- day of month (1 - 31)

| | | .------- month (1 - 12) OR jan,feb,mar,apr ...

| | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat

| | | | |

* command to be executed


#### 註意:
(1) 每行定義一個cron任務,共6個字段;
(2) 此處的環境變量不同於用戶登錄後獲得的環境,因此,建議命令使用絕對路徑,或者自定義PATH環境變量;
(3) 郵件發送給當前用戶;

### 時間表示法:
(1) 特定值;
    給定時間點有效取值範圍內的值;
        註意:day of week和day of month一般不同時使用;日月不和星期一起使用;
(2) *
    給定時間點上有效取值範圍內的所有值;表“每..”
(3) 離散取值:,
    在時間點上使用逗號分隔的多個值; 
        #,#,#
(4) 連續取值:-
    在時間點上使用-連接開頭和結束
        #-#
(5) 在指定時間點上,定義步長: 
    /#:#即步長;例:*/#

#### 註意:
(1) 指定的時間點不能被步長整除時,其意義將不復存在;
(2) 最小時間單位為“分鐘”,想完成“秒”級任務,得需要額外借助於其它機制;
    定義成每分鐘任務:而後利用腳本實現在每分鐘之內,循環執行多次;

### 示例:
(1) 3 * * * *:每小時執行一次;每小時的第3分鐘;
(2) 3 4 * * 5:每周執行一次;每周5的4點3分;
(3) 5 6 7 * *:每月執行一次;每月的7號的6點5分;
(4) 7 8 9 10 *:每年執行一次;每年的10月9號8點7分;
(5) 9 8 * * 3,7:每周三和周日;
(6) 0 8,20 * * 3,7:
(7) 0 9-18 * * 1-5:
(8) */5 * * * *:每5分鐘執行一次某任務;
(9) */7

#### crontab命令:
crontab [-u user] [-l | -r | -e] [-i] 
-e:編輯任務;
-l:列出所有任務;
-r:移除所有任務;即刪除/var/spool/cron/USERNAME文件;
-i:在使用-r選項移除所有任務時提示用戶確認;
-u user:root用戶可為指定用戶管理cron任務;   
    crontab -u USERNAME -e 

註意:運行結果以郵件通知給當前用戶;如果拒絕接收郵件:
(1) COMMAND > /dev/null
(2) COMMAND &> /dev/null

註意:定義COMMAND時,如果命令需要用到%,需要對其轉義;但放置於單引號中的%不用轉義亦可;
a
思考:某任務在指定的時間因關機未能執行,下次開機會不會自動執行?
    不會!.
    如果期望某時間因故未能按時執行,下次開機後無論是否到了相應時間點都要執行一次,可使用 anacron實現;

## 練習:
1、每12小時備份一次/etc目錄至/backups目錄中,保存文件 名稱格式為“etc-yyyy-mm-dd-hh.tar.xz”
2、每周2、4、7備份/var/log/secure文件至/logs目錄中,文件名格式為“secure-yyyymmdd”;
3、每兩小時取出當前系統/proc/meminfo文件中以S或M開頭的行信息追加至/tmp/meminfo.txt文件中;

## 問題1:
有時候crontab -e添加的任務無法執行,用crontab -l查看有如下提示:
    $ crontab -l
    # DO NOT EDIT THIS FILE - edit the master and reinstall.   # 不要編輯這個文件 - 編輯主文件並重新安裝。
    # (/tmp/crontab.XXXXhO46kV installed on Tue Jan  2 16:52:05 2018)
    # (Cron version V5.0 -- $Id: crontab.c,v 1.12 2004/01/23 18:56:42 vixie Exp $)
    */5 * * * * /home/huangyunfei/TRAS/initKDC.sh > /dev/null           # 原先定時任務裏的一個任務
### 解決辦法1:
查找當前crontab所執行的主文件:
    $ ll /tmp/crontab.*
    -rw-r--r-- 1 huangyunfei huangyunfei  59 Dec 20 15:52 /tmp/crontab.XXXXIivAkb
    -rw------- 1 huangyunfei huangyunfei 107 Dec 20 15:36 /tmp/crontab.XXXXruRRNB
找到當前crontab所執行的主文件,然後編輯這個文件:
    $ vim /tmp/crontab.XXXXruRRNB
    30 0 * * * /home/huangyunfei/TRAS/KL_ENG_Day/restart.sh  > /dev/null    
    1  5 * * * /home/huangyunfei/TRAS/KL_ENG/restart.sh  > /dev/null  
    */5 * * * * /home/huangyunfei/TRAS/initKDC.sh > /dev/null

然後讓crontab重新加載/tmp/crontab.XXXXruRRNB文件裏面的內容:
    crontab /tmp/crontab.XXXXruRRNB
### 解決辦法2:(測試過)
編輯crontab -l所提到的文件:
    $ vim /tmp/crontab.XXXXhO46kV
    30 0 * * * /home/huangyunfei/TRAS/KL_ENG_Day/restart.sh  > /dev/null    
    1  5 * * * /home/huangyunfei/TRAS/KL_ENG/restart.sh  > /dev/null  
    */5 * * * * /home/huangyunfei/TRAS/initKDC.sh > /dev/null     # 把crontab -l 原先的定時任務也加進來;

然後讓crontab指定執行/tmp/crontab.XXXXhO46kV文件裏面的內容:
    crontab /tmp/crontab.XXXXhO46kV

## 問題2 
計劃任務命令行帶“%”,需要在“%”前加轉義符“\”
```shell
netc@gpu:/data/scripts$ crontab -l
# Edit this file to introduce tasks to be run by cron.
# 
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
# 
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use ‘*‘ in these fields (for ‘any‘).# 
# Notice that tasks will be started based on the cron‘s system
# daemon‘s notion of time and timezones.
# 
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
# 
# For example, you can run a backup of all your user accounts
# at 5 a.m every week with:
# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
# 
# For more information see the manual pages of crontab(5) and cron(8)
# 
# m h  dom mon dow   command

* * * * * /bin/echo $(date +"%F_%T") >>  /data/scripts/test.csv
netc@gpu:/data/scripts$ 

查看cron日誌時報錯:
CentOS的logs日誌:/var/log/cron
Ubuntu的logs日誌:/var/log/syslog

Nov  9 14:50:01 gpu CRON[7199]: (netc) CMD (/bin/echo $(date +)

解決方法

netc@gpu:/data/scripts$ crontab -l
... ...
* * * * * /bin/echo $(date +"\%F_\%T") >>  /data/scripts/test.csv
netc@gpu:/data/scripts$ 

計劃任務、周期任務、cron