1. 程式人生 > >linux 定時執行shell指令碼 定時任務

linux 定時執行shell指令碼 定時任務

在oracle 中可以利用dbms_job包定時執行pl/sql、sql過程,在像備份等需要在作業系統級定時任務只能採用crontab來完成

本文講述crontab具體用法,以供備忘.

在oracle 中可以利用dbms_job包定時執行pl/sql、sql過程,在像備份等需要在作業系統級定時任務只能採用crontab來完成

利用crontab來定時執行任務大致有如下三步:

1、編寫shell指令碼

2、利用crontab加入到定時任務佇列

3、檢視作業完成情況

一、如何建立shell指令碼

Linux下有很多不同的shell,但我們通常使用bash(bourne again shell)進行程式設計,因為bash是免費的並且很容易使用

程式必須以下面的行開始(必須方在檔案的第一行):

#! /bin/sh

符號#!用來告訴系統它後面的引數是用來執行該檔案的程式。在這個例子中我們使用/bin/sh來執行程式。

當編輯好指令碼時,要想執行指令碼,必須使指令碼可以執行

下面的命令,可以使指令碼可以執行

chmod +x filename

然後可以輸入./filename來執行指令碼。

注:在shell程式設計時,#符號表示註釋,只該行結束為止。在編寫程式時,最好使用註釋。

變數

shell下所有變數都以字串表示,變數不需要宣告,直接使用。直接對變數進行賦值

A="hello world"

取出變數用$符號,如:

#! /bin/sh

A="hello world"

echo "A is:"

echo $A

執行該指令碼輸出結果如下:

A is :

hello world

shell 命令和流程控制

1)unix命令

在shell中可以使用任意的unix命令,但這裡介紹一些更常用的unix命令

echo ''this is a example" :列印輸出到螢幕

ls:列出檔案列表

cp sourcefile destinationfile :拷貝檔案

2)概念:管道,重定向和backtick

這些不是系統命令,但他們經常使用,很重要的

管道 | 將一個命令的輸出作為另外一個命令的輸入

grep -qa compat | more

重定向:將命令的結果輸出到檔案,而不是標準輸出(螢幕)

〉寫入檔案並覆蓋舊檔案

〉〉輸出追加到檔案的尾部,保留舊檔案。

3)流程控制

if ... ; then

...

else if ...;then

...

else

...

fi

通常情況下,可以通過測試命令來對條件進行測試,比如可以比較字串,判斷檔案是否存在及是否有執行許可權等等

通常用“ [ ] “來表示條件測試,注意這裡空格很重要,要確保方括號空格

[ -f "somefile" ] :判斷是否是一個檔案
[ -x "/bin/ls" ] :判斷/bin/ls是否存在並有可執行許可權
[ -n "$var" ] :判斷$var變數是否有值
[ "$a" = "$b" ] :判斷$a和$b是否相等

例項  一般程式設計步驟

任何優秀的指令碼都應該有幫助和輸入引數,並且寫一個偽指令碼framework.sh,該指令碼包含了大多數指令碼都需要的框架結構。

是個非常不錯的注意。這時候,我們編寫指令碼時只需要執行cp命令即可

cp framework.sh myscript

然後插入自己需要的函式就可以了

除錯

最簡單的除錯命令當然是使用echo命令。您可以使用echo在任何懷疑出錯的地方列印任何變數值。這也是絕大多數的shell程式設計師要花費80%的時間來除錯程式的原因。Shell程式的好處在於不需要重新編譯,插入一個echo命令也不需要多少時間。

  shell也有一個真實的除錯模式。如果在指令碼"strangescript" 中有錯誤,您可以這樣來進行除錯:

sh -x strangescript

  這將執行該指令碼並顯示所有變數的值。

  shell還有一個不需要執行指令碼只是檢查語法的模式。可以這樣使用:

sh -n your_script

  這將返回所有語法錯誤。

Redhat linux AS 3 下定時執行任務 

二、cron排程程序

c r o n是系統主要的排程程序,可以在無需人工干預的情況下執行作業。有一個叫做 
c r o n t a b的命令允許使用者提交、編輯或刪除相應的作業。每一個使用者都可以有一個c r o n t a b檔案 
來儲存排程資訊。可以使用它執行任意一個s h e l l指令碼或某個命令,每小時執行一次,或一週 
三次,這完全取決於你。每一個使用者都可以有自己的c r o n t a b檔案,但在一個較大的系統中, 
系統管理員一般會禁止這些檔案,而只在整個系統保留一個這樣的檔案。系統管理員是通過 
c r o n . d e n y和c r o n . a l l o w這兩個檔案來禁止或允許使用者擁有自己的c r o n t a b檔案。 
3.1.1 crontab的域 
為了能夠在特定的時間執行作業,需要了解c r o n t a b檔案每個條目中各個域的意義和格式。 
下面就是這些域: 
第1列分鐘1~5 9 
第2列小時1~2 3(0表示子夜) 
第3列日1~3 1 
第4列月1~1 2 
第5列星期0~6(0表示星期天) 
第6列要執行的命令 
  
crontab的範例格式: 
下面是c r o n t a b的格式: 
分< >時< >日< >月< >星期< >要執行的命令 
其中< >表示空格。 
C r o n t a b檔案的一個條目是從左邊讀起的,第一列是分,最後一列是要執行的命令,它位 
於星期的後面。 
在這些域中,可以用橫槓-來表示一個時間範圍,例如你希望星期一至星期五執行某個作 
業,那麼可以在星期域使用1 - 5來表示。還可以在這些域中使用逗號“,”,例如你希望星期一 
和星期四執行某個作業,只需要使用1 , 4來表示。可以用星號*來表示連續的時間段。如果你 
對某個表示時間的域沒有特別的限定,也應該在該域填入*。該檔案的每一個條目必須含有5 
個時間域,而且每個域之間要用空格分隔。該檔案中所有的註釋行要在行首用#來表示。 
  
crontab條目舉例 
這裡有c r o n t a b檔案條目的一些例子: 
30 21* * * /apps/bin/cleanup.sh 
上面的例子表示每晚的2 1 : 3 0執行/ a p p s / b i n目錄下的c l e a n u p . s h。 
45 4 1,10,22 * * /apps/bin/backup.sh 
上面的例子表示每月1、1 0、2 2日的4 : 4 5執行/ a p p s / b i n目錄下的b a c k u p . s h。 
10 1 * * 6,0 /bin/find -name "core" -exec rm {} ; 
上面的例子表示每週六、週日的1 : 1 0執行一個f i n d命令。 
0,30 18-23 * * * /apps/bin/dbcheck.sh 
上面的例子表示在每天1 8 : 0 0至2 3 : 0 0之間每隔3 0分鐘執行/ a p p s / b i n目錄下的d b c h e c k . s h。 
0 23 * * 6 /apps/bin/qtrend.sh 
上面的例子表示每星期六的11 : 0 0 p m執行/ a p p s / b i n目錄下的q t r e n d . s h。 
  
你可能已經注意到上面的例子中,每個命令都給出了絕對路徑。當使用c r o n t a b執行s h e l l 
指令碼時,要由使用者來給出指令碼的絕對路徑,設定相應的環境變數。記住,既然是使用者向c r o n 
提交了這些作業,就要向c r o n提供所需的全部環境。不要假定c r o n知道所需要的特殊環境,它 
其實並不知道。所以你要保證在s h e l l指令碼中提供所有必要的路徑和環境變數,除了一些自動 
設定的全域性變數。 
  
命令形式: 
c r o n t a b命令的一般形式為: 
Crontab [-u user] -e -l -r 
其中: 
-u 使用者名稱。 
-e 編輯c r o n t a b檔案。 
-l 列出c r o n t a b檔案中的內容。 
-r 刪除c r o n t a b檔案。 
如果使用自己的名字登入,就不用使用- u選項,因為在執行c r o n t a b命令時,該命令能夠 
知道當前的使用者 
  
建一個新的crontab檔案 
  
在考慮向c r o n程序提交一個c r o n t a b檔案之前,首先要做的一件事情就是設定環境變數 
E D I TO R。c r o n程序根據它來確定使用哪個編輯器編輯c r o n t a b檔案。9 9 %的U N I X和L I N U X用 
戶都使用v i,如果你也是這樣,那麼你就編輯$ H O M E目錄下的. p r o f i l e檔案,在其中加入這樣 
一行: 
EDITOR=vi; export EDITOR 
然後儲存並退出。 
不妨建立一個名為< u s e r > c r o n的檔案,其中< u s e r >是使用者名稱,例如, j a m e s c r o n。在該檔案中加入如下的內容。 
#。。。。這裡是解釋的話 
0,15,30,45 18-06 * * * /bin/echo 'time'>/dev/console 
  
儲存並退出。確信前面5個域用空格分隔。 
在上面的例子中,系統將每隔1 5分鐘向控制檯輸出一次當前時間。如果系統崩潰或掛起, 
從最後所顯示的時間就可以一眼看出系統是什麼時間停止工作的。在有些系統中,用t t y 1來表 
示控制檯,可以根據實際情況對上面的例子進行相應的修改。 
為了提交你剛剛建立的c r o n t a b檔案,可以把這個新建立的檔案作為c r o n命令的引數: 
$ crontab jamescron 
現在該檔案已經提交給c r o n程序,它將每隔1 5分鐘執行一次。 
同時,新建立檔案的一個副本已經被放在/ v a r / s p o o l / c r o n目錄中,檔名就是使用者名稱(即, 
james)。 
  
列出crontab檔案: 
  
為了列出c r o n t a b檔案,可以用: 
你將會看到和上面類似的內容。可以使用這種方法在$ H O M E目錄中對c r o n t a b檔案做一備 
份: 
$ crontab -l > $HOME/mycron 
這樣,一旦不小心誤刪了c r o n t a b檔案,可以用上一節所講述的方法迅速恢復。 
  
編輯crontab檔案: 
  
如果希望新增、刪除或編輯c r o n t a b檔案中的條目,而E D I TO R環境變數又設定為v i,那麼 
就可以用v i來編輯c r o n t a b檔案,相應的命令為: 
$ crontab -e 
可以像使用v i編輯其他任何檔案那樣修改c r o n t a b檔案並退出。如果修改了某些條目或添加了新的條目,那麼在儲存該檔案時, c r o n會對其進行必要的完整性檢查。如果其中的某個域出現了超出允許範圍的值,它會提示你。 
儲存並退出。最好在c r o n t a b檔案的每一個條目之上加入一條註釋,這樣就可以知道 
它的功能、執行時間,更為重要的是,知道這是哪位使用者的作業。 
可以使用前面講過的crontab -l命令列出它的全部資訊 
  
為了刪除c r o n t a b檔案,可以用: 
$ crontab -r

三,可以利用重定向命令來輸出執行結果

> ,>>

四、具體例項

sh指令碼檔案:test.sh

#! /bin/sh

su - oracle << EOF  

sql指令碼檔案:test.sql

insert into test_tb values (sysdate);

crontab檔案:

0,15,30,45 * * * * /apps/bin/test.sh

===============================================================================================

Linux中,週期執行的任務一般由cron這個守護程序來處理  ps -ef | grep cron 

cron讀取一個或多個配置檔案,這些配置檔案中包含了命令列及其呼叫時間。

cron的配置檔案稱為“crontab”,是“cron table”的簡寫。

一、 cron在3個地方查詢配置檔案(設定shell指令碼):

1、/var/spool/cron/yanggang 這個目錄下存放的是每個使用者(包括root)的crontab任務,每個任務以建立者的名字命名,比如使用者tom建的crontab任務對應的檔案就是/var/spool/cron/tom

 [email protected]$ sudo ls -l /var/spool/cron/(或有時是 /var/spool/cron/crontabs/)
-rw------- 1 root     crontab 1071 2011-09-19 17:20 root

-rw------- 1 yanggang crontab 1176 2011-09-24 11:07 yanggang

一般一個使用者最多隻有一個crontab檔案(如:root, yanggang等),其對應日誌在/var/spool/mail/root(或/var/spool/mail/yanggang)檔案裡
2、/etc/crontab 這個檔案負責安排由系統管理員制定的維護系統以及其他任務的crontab。
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/
# .---------------- minute (0 - 59) 
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ... 
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7)  OR
#sun,mon,tue,wed,thu,fri,sat 
# |  |  |  |  |
# *  *  *  *  *  command to be executed

例如:

*/5 * * * * root /usr/libexec/atrun

minute:代表一小時內的第幾分,範圍 0-59。 
hour:代表一天中的第幾小時,範圍 0-23。 
mday:代表一個月中的第幾天,範圍 1-31。 
month:代表一年中第幾個月,範圍 1-12。 
wday:代表星期幾,範圍 0-7 (0及7都是星期天)。 
who:要使用什麼身份執行該指令,當您使用 crontab -e 時,不必加此欄位。 
command:所要執行的指令。 

3、/etc/cron.d/ 這個目錄用來存放任何要執行的crontab檔案或指令碼。

二、 許可權
crontab許可權問題到/var/adm/cron/下一看,檔案cron.allow和cron.deny是否存在
用法如下: 
1、如果兩個檔案都不存在,則只有root使用者才能使用crontab命令。 
2、如果cron.allow存在但cron.deny不存在,則只有列在cron.allow檔案裡的使用者才能使用crontab命令,如果root使用者也不在裡面,則root使用者也不能使用crontab。 
3、如果cron.allow不存在, cron.deny存在,則只有列在cron.deny檔案裡面的使用者不能使用crontab命令,其它使用者都能使用。 
4、如果兩個檔案都存在,則列在cron.allow檔案中而且沒有列在cron.deny中的使用者可以使用crontab,如果兩個檔案中都有同一個使用者,
以cron.allow檔案裡面是否有該使用者為準,如果cron.allow中有該使用者,則可以使用crontab命令。 


AIX 中 普通使用者預設都有 crontab 許可權,如果要限制使用者使用 crontab ,就需要編輯/var/adm/cron/cron.deny 
HP-UNIX 中預設普通使用者沒得crontab 許可權 ,要想放開普通使用者的crontab 許可權可以編

三、 建立cron指令碼

第一步:寫cron指令碼檔案,命名為crontest.cron。
15,30,45,59 * * * * echo "xgmtest....." >> xgmtest.txt  表示,每隔15分鐘,執行列印一次命令 
第二步:新增定時任務。執行命令 “crontab crontest.cron”。搞定 
第三步:"crontab -l" 檢視定時任務是否成功或者檢測/var/spool/cron下是否生成對應cron指令碼
四、 cron服務
  cron是一個linux下 的定時執行工具,可以在無需人工干預的情況下執行作業。
  /sbin/service crond start    //啟動服務
  /sbin/service crond stop     //關閉服務
  /sbin/service crond restart  //重啟服務
  /sbin/service crond reload   //重新載入配置
  /sbin/service crond status   //檢視服務狀態 

例如: 使用sudo停止與啟動服務

[email protected]$sudo service cron stop
cron stop/waiting
[email protected]sudo service cron start
cron start/running, process 7502

五、 crontab用法 
crontab命令用於安裝、刪除或者列出用於驅動cron後臺程序的表格,使用者把需要執行的命令序列放到crontab檔案中以獲得執行。
每個使用者都可以有自己的crontab檔案,/var/spool/cron下的crontab檔案不可以直接建立或者直接修改,該crontab檔案是通過crontab -e命令建立的

在crontab檔案中如何輸入需要執行的命令和時間,該檔案中每行都包括六個域,其中前五個域是指定命令被執行的時間,最後一個域是要被執行的命令。
    每個域之間使用空格或者製表符分隔。格式如下: 
      minute hour day-of-month month-of-year day-of-week commands 
合法值 00-59 00-23 01-31 01-12 0-6 (0 is sunday) 

除了數字還有幾個個特殊的符號就是"*"、"/"和"-"、",",*代表所有的取值範圍內的數字

"/"代表每的意思,"/5"表示每5個單位,"-"代表從某個數字到某個數字,","分開幾個離散的數字。

-l 在標準輸出上顯示當前的crontab。 

-r 刪除當前的crontab檔案。 

-e 使用VISUAL或者EDITOR環境變數所指的編輯器編輯當前的crontab檔案。

當結束編輯離開時,編輯後的檔案將自動安裝。

幾個例子: 
每天早上6點 
0 6 * * * echo "Good morning." >> /tmp/test.txt //注意單純echo,從螢幕上看不到任何輸出,因為cron把任何輸出都email到root的信箱了。

每兩個小時 
0 */2 * * * echo "Have a break now." >> /tmp/test.txt  

晚上11點到早上8點之間每兩個小時和早上八點 
0 23-7/2,8 * * * echo "Have a good dream" >> /tmp/test.txt

每個月的4號和每個禮拜的禮拜一到禮拜三的早上11點 
0 11 4 * 1-3 command line

1月1日早上4點 
0 4 1 1 * command line SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root //如果出現錯誤,或者有資料輸出,資料作為郵件發給這個帳號 HOME=/ 

每小時(第一分鐘)執行/etc/cron.hourly內的指令碼
01 * * * * root run-parts /etc/cron.hourly

每天(凌晨4:02)執行/etc/cron.daily內的指令碼

02 4 * * * root run-parts /etc/cron.daily 

每星期(週日凌晨4:22)執行/etc/cron.weekly內的指令碼

22 4 * * 0 root run-parts /etc/cron.weekly 

每月(1號凌晨4:42)去執行/etc/cron.monthly內的指令碼 

42 4 1 * * root run-parts /etc/cron.monthly 

注意:  "run-parts"這個引數了,如果去掉這個引數的話,後面就可以寫要執行的某個指令碼名,而不是資料夾名。   


每天的下午4點、5點、6點的5 min、15 min、25 min、35 min、45 min、55 min時執行命令。 
5,15,25,35,45,55 16,17,18 * * * command

每週一,三,五的下午3:00系統進入維護狀態,重新啟動系統。
00 15 * *1,3,5 shutdown -r +5

每小時的10分,40分執行使用者目錄下的innd/bbslin這個指令: 
10,40 * * * * innd/bbslink 

每小時的1分執行使用者目錄下的bin/account這個指令: 
1 * * * * bin/account

每天早晨三點二十分執行使用者目錄下如下所示的兩個指令(每個指令以;分隔): 
203 * * * (/bin/rm -f expire.ls logins.bad;bin/expire$#@62;expire.1st)  

每年的一月和四月,4號到9號的3點12分和3點55分執行/bin/rm -f expire.1st這個指令,並把結果新增在mm.txt這個檔案之後(mm.txt檔案位於使用者自己的目錄位置)。 

12,553 4-91,4 * /bin/rm -f expire.1st$#@62;$#@62;mm.txt 

六、幾個問題

crond 程序沒有執行

1. 啟動crond程序

/etc/init.d/crond start

2. 開機自啟動crond程序

chkconfig crond on

crontab 編輯:
輸入編輯命令: crontab -e

# m h  dom mon dow   command
SHELL=/bin/bash
30 * * * * cd /home/barry/top800/top10/top10_fruits/ && ./top10_all.sh

Ctrl + O (寫入)——》enter鍵(儲存檔名)——》Ctrl + X(退出) 

輸入檢視命令: crontab -l

# m h  dom mon dow   command
SHELL=/bin/bash
30 * * * * cd /home/barry/top800/top10/top10_fruits/ && ./top10_all.sh
建議使用此方式

語法錯誤:

<code style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; font-family: Consolas, Menlo, Monaco, 'Lucida Console', 'Liberation Mono', 'DejaVu Sans Mono', 'Bitstream Vera Sans Mono', 'Courier New', monospace, serif;"><span class="typ" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: rgb(102, 0, 102);">Syntax</span><span class="pln" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline;"> error</span><span class="pun" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: rgb(102, 102, 0);">:</span><span class="pln" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline;"> </span><span class="str" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: rgb(0, 136, 0);">"("</span><span class="pln" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline;"> unexpected  </span></code>

或者,crontab -e 時指定shell直譯器(sh):SHELL=/bin/bash(請參見上面 crontab編輯 示例)

路徑錯誤:

在 /var/spool/crontab/yanggang 中,添加了如下命令,在日誌檔案 /var/spool/mail/yanggang 中提示找不到 xxx.sh 路徑

30 * * * *  /home/barry/top800/top10/top10_fruits/top10_all.sh

30 * * * * bash /home/barry/top800/top10/top10_fruits/top10_all.sh

這是因為你在crontab中使用了絕對路徑執行指令碼 top10_all.sh,因此在指令碼 top10_all.sh 中引用的其它指令碼也都需要使用絕對路徑,才能被crontab找到並執行

如何避免絕對路徑複雜的設定呢,如上文 六、幾個問題  所示,採用如下格式:

30 * * * * cd /home/barry/top800/top10/top10_fruits/ && ./top10_all.sh建議使用此方式,先進入該目錄,然後在執行指令碼;否則,執行指令碼中的其它指令碼都需要加絕對路徑