2. 程式人生 > >Python例項淺談之五Python守護程序和指令碼單例執行

Python例項淺談之五Python守護程序和指令碼單例執行

阿新 • • 發佈：2019-02-18

一、簡介

     守護程序最重要的特性是後臺執行；它必須與其執行前的環境隔離開來，這些環境包括未關閉的檔案描述符、控制終端、會話和程序組、工作目錄以及檔案建立掩碼等；它可以在系統啟動時從啟動指令碼/etc/rc.d中啟動，可以由inetd守護程序啟動，也可以有作業規劃程序crond啟動，還可以由使用者終端（通常是shell）執行。
       Python有時需要保證只執行一個指令碼例項，以避免資料的衝突。

二、Python守護程序

1、函式實現

#!/usr/bin/env python
#coding: utf-8
import sys, os

'''將當前程序fork為一個守護程序
   注意：如果你的守護程序是由inetd啟動的，不要這樣做！inetd完成了
   所有需要做的事情，包括重定向標準檔案描述符，需要做的事情只有chdir()和umask()了
'''

def daemonize (stdin='/dev/null', stdout='/dev/null', stderr='/dev/null'):
     #重定向標準檔案描述符（預設情況下定向到/dev/null）
    try: 
        pid = os.fork() 
          #父程序(會話組頭領程序)退出，這意味著一個非會話組頭領程序永遠不能重新獲得控制終端。
        if pid > 0:
            sys.exit(0)   #父程序退出
    except OSError, e: 
        sys.stderr.write ("fork #1 failed: (%d) %s\n" % (e.errno, e.strerror) )
        sys.exit(1)

     #從母體環境脫離
    os.chdir("/")  #chdir確認程序不保持任何目錄於使用狀態，否則不能umount一個檔案系統。也可以改變到對於守護程式執行重要的檔案所在目錄
    os.umask(0)    #呼叫umask(0)以便擁有對於寫的任何東西的完全控制，因為有時不知道繼承了什麼樣的umask。
    os.setsid()    #setsid呼叫成功後，程序成為新的會話組長和新的程序組長，並與原來的登入會話和程序組脫離。

     #執行第二次fork
    try: 
        pid = os.fork() 
        if pid > 0:
            sys.exit(0)   #第二個父程序退出
    except OSError, e: 
        sys.stderr.write ("fork #2 failed: (%d) %s\n" % (e.errno, e.strerror) )
        sys.exit(1)

     #程序已經是守護程序了，重定向標準檔案描述符

    for f in sys.stdout, sys.stderr: f.flush()
    si = open(stdin, 'r')
    so = open(stdout, 'a+')
    se = open(stderr, 'a+', 0)
    os.dup2(si.fileno(), sys.stdin.fileno())    #dup2函式原子化關閉和複製檔案描述符
    os.dup2(so.fileno(), sys.stdout.fileno())
    os.dup2(se.fileno(), sys.stderr.fileno())

#示例函式：每秒列印一個數字和時間戳
def main():
    import time
    sys.stdout.write('Daemon started with pid %d\n' % os.getpid())
    sys.stdout.write('Daemon stdout output\n')
    sys.stderr.write('Daemon stderr output\n')
    c = 0
    while True:
        sys.stdout.write('%d: %s\n' %(c, time.ctime()))
        sys.stdout.flush()
        c = c+1
        time.sleep(1)

if __name__ == "__main__":
      daemonize('/dev/null','/tmp/daemon_stdout.log','/tmp/daemon_error.log')
      main()
        可以通過命令ps -ef | grep daemon.py檢視後臺執行的繼承，在/tmp/daemon_error.log會記錄錯誤執行日誌，在/tmp/daemon_stdout.log會記錄標準輸出日誌。

2、類實現

#!/usr/bin/env python
#coding: utf-8

#python模擬linux的守護程序

import sys, os, time, atexit, string
from signal import SIGTERM

class Daemon:
  def __init__(self, pidfile, stdin='/dev/null', stdout='/dev/null', stderr='/dev/null'):
      #需要獲取除錯資訊，改為stdin='/dev/stdin', stdout='/dev/stdout', stderr='/dev/stderr'，以root身份執行。
    self.stdin = stdin
    self.stdout = stdout
    self.stderr = stderr
    self.pidfile = pidfile
  
  def _daemonize(self):
    try:
      pid = os.fork()    #第一次fork，生成子程序，脫離父程序
      if pid > 0:
        sys.exit(0)      #退出主程序
    except OSError, e:
      sys.stderr.write('fork #1 failed: %d (%s)\n' % (e.errno, e.strerror))
      sys.exit(1)
  
    os.chdir("/")      #修改工作目錄
    os.setsid()        #設定新的會話連線
    os.umask(0)        #重新設定檔案建立許可權
  
    try:
      pid = os.fork() #第二次fork，禁止程序開啟終端
      if pid > 0:
        sys.exit(0)
    except OSError, e:
      sys.stderr.write('fork #2 failed: %d (%s)\n' % (e.errno, e.strerror))
      sys.exit(1)
  
     #重定向檔案描述符
    sys.stdout.flush()
    sys.stderr.flush()
    si = file(self.stdin, 'r')
    so = file(self.stdout, 'a+')
    se = file(self.stderr, 'a+', 0)
    os.dup2(si.fileno(), sys.stdin.fileno())
    os.dup2(so.fileno(), sys.stdout.fileno())
    os.dup2(se.fileno(), sys.stderr.fileno())
  
     #註冊退出函式，根據檔案pid判斷是否存在程序
    atexit.register(self.delpid)
    pid = str(os.getpid())
    file(self.pidfile,'w+').write('%s\n' % pid)
  
  def delpid(self):
    os.remove(self.pidfile)

  def start(self):
     #檢查pid檔案是否存在以探測是否存在程序
    try:
      pf = file(self.pidfile,'r')
      pid = int(pf.read().strip())
      pf.close()
    except IOError:
      pid = None
  
    if pid:
      message = 'pidfile %s already exist. Daemon already running!\n'
      sys.stderr.write(message % self.pidfile)
      sys.exit(1)
    
    #啟動監控
    self._daemonize()
    self._run()

  def stop(self):
    #從pid檔案中獲取pid
    try:
      pf = file(self.pidfile,'r')
      pid = int(pf.read().strip())
      pf.close()
    except IOError:
      pid = None
  
    if not pid:   #重啟不報錯
      message = 'pidfile %s does not exist. Daemon not running!\n'
      sys.stderr.write(message % self.pidfile)
      return

     #殺程序
    try:
      while 1:
        os.kill(pid, SIGTERM)
        time.sleep(0.1)
        #os.system('hadoop-daemon.sh stop datanode')
        #os.system('hadoop-daemon.sh stop tasktracker')
        #os.remove(self.pidfile)
    except OSError, err:
      err = str(err)
      if err.find('No such process') > 0:
        if os.path.exists(self.pidfile):
          os.remove(self.pidfile)
      else:
        print str(err)
        sys.exit(1)

  def restart(self):
    self.stop()
    self.start()

  def _run(self):
    """ run your fun"""
    while True:
      #fp=open('/tmp/result','a+')
      #fp.write('Hello World\n')
      sys.stdout.write('%s:hello world\n' % (time.ctime(),))
      sys.stdout.flush() 
      time.sleep(2)
    

if __name__ == '__main__':
    daemon = Daemon('/tmp/watch_process.pid', stdout = '/tmp/watch_stdout.log')
    if len(sys.argv) == 2:
        if 'start' == sys.argv[1]:
            daemon.start()
        elif 'stop' == sys.argv[1]:
            daemon.stop()
        elif 'restart' == sys.argv[1]:
            daemon.restart()
        else:
            print 'unknown command'
            sys.exit(2)
        sys.exit(0)
    else:
        print 'usage: %s start|stop|restart' % sys.argv[0]
        sys.exit(2)
執行結果：
class MyDaemon(Daemon):
    def run(self):
        while True:
            fp=open('/tmp/run.log','a+')
            fp.write('Hello World\n')
            time.sleep(1)
        不足：訊號處理signal.signal(signal.SIGTERM, cleanup_handler)暫時沒有安裝，註冊程式退出時的回撥函式delpid()沒有被呼叫。
       然後，再寫個shell命令，加入開機啟動服務，每隔2秒檢測守護程序是否啟動，若沒有啟動則啟動，自動監控恢復程式。      
#/bin/sh
while true
do
  count=`ps -ef | grep "daemonclass.py" | grep -v "grep"`
  if [ "$?" != "0" ]; then
     daemonclass.py start
  fi
  sleep 2
done

三、python保證只能執行一個指令碼例項

1、開啟檔案本身加鎖

#!/usr/bin/env python
#coding: utf-8
import fcntl, sys, time, os
pidfile = 0

def ApplicationInstance():
    global pidfile
    pidfile = open(os.path.realpath(__file__), "r")
    try:
        fcntl.flock(pidfile, fcntl.LOCK_EX | fcntl.LOCK_NB) #建立一個排他鎖,並且所被鎖住其他程序不會阻塞
    except:
        print "another instance is running..."
        sys.exit(1)

if __name__ == "__main__":
    ApplicationInstance()
    while True:
        print 'running...'
        time.sleep(1)
       注意：open()引數不能使用w，否則會覆蓋本身檔案；pidfile必須宣告為全域性變數，否則區域性變數生命週期結束，檔案描述符會因引用計數為0被系統回收（若整個函式寫在主函式中，則不需要定義成global）。               

2、開啟自定義檔案並加鎖

#!/usr/bin/env python
#coding: utf-8
import fcntl, sys, time
pidfile = 0

def ApplicationInstance():
    global pidfile
    pidfile = open("instance.pid", "w")
    try:
        fcntl.lockf(pidfile, fcntl.LOCK_EX | fcntl.LOCK_NB)  #建立一個排他鎖,並且所被鎖住其他程序不會阻塞
    except  IOError:
        print "another instance is running..."
        sys.exit(0)

if __name__ == "__main__":
    ApplicationInstance()
    while True:
        print 'running...'
        time.sleep(1)

3、檢測檔案中PID

#!/usr/bin/env python
#coding: utf-8
import time, os, sys
import signal

pidfile = '/tmp/process.pid'

def sig_handler(sig, frame):
    if os.path.exists(pidfile):
        os.remove(pidfile)
    sys.exit(0)

def ApplicationInstance():
    signal.signal(signal.SIGTERM, sig_handler)
    signal.signal(signal.SIGINT, sig_handler)
    signal.signal(signal.SIGQUIT, sig_handler)

    try:
      pf = file(pidfile, 'r')
      pid = int(pf.read().strip())
      pf.close()
    except IOError:
      pid = None
  
    if pid:
      sys.stdout.write('instance is running...\n')
      sys.exit(0)

    file(pidfile, 'w+').write('%s\n' % os.getpid())

if __name__ == "__main__":
    ApplicationInstance()
    while True:
        print 'running...'
        time.sleep(1)
  

4、檢測特定資料夾或檔案

#!/usr/bin/env python
#coding: utf-8
import time, commands, signal, sys

def sig_handler(sig, frame):
    if os.path.exists("/tmp/test"):
        os.rmdir("/tmp/test")
    sys.exit(0)

def ApplicationInstance():
    signal.signal(signal.SIGTERM, sig_handler)
    signal.signal(signal.SIGINT, sig_handler)
    signal.signal(signal.SIGQUIT, sig_handler)
    if commands.getstatusoutput("mkdir /tmp/test")[0]:
        print "instance is running..."
        sys.exit(0)

if __name__ == "__main__":
    ApplicationInstance()
    while True:
        print 'running...'
        time.sleep(1)

       也可以檢測某一個特定的檔案，判斷檔案是否存在：

import os
import os.path
import time
 
 
#class used to handle one application instance mechanism
class ApplicationInstance:
 
	#specify the file used to save the application instance pid
	def __init__( self, pid_file ):
		self.pid_file = pid_file
		self.check()
		self.startApplication()
 
	#check if the current application is already running
	def check( self ):
		#check if the pidfile exists
		if not os.path.isfile( self.pid_file ):
			return
	 	#read the pid from the file
		pid = 0
		try:
			file = open( self.pid_file, 'rt' )
			data = file.read()
			file.close()
			pid = int( data )
		except:
			pass
		#check if the process with specified by pid exists
		if 0 == pid:
			return
 
		try:
			os.kill( pid, 0 )	#this will raise an exception if the pid is not valid
		except:
			return
 
		#exit the application
		print "The application is already running..."
		exit(0) #exit raise an exception so don't put it in a try/except block
 
	#called when the single instance starts to save it's pid
	def startApplication( self ):
		file = open( self.pid_file, 'wt' )
		file.write( str( os.getpid() ) )
		file.close()
 
	#called when the single instance exit ( remove pid file )
	def exitApplication( self ):
		try:
			os.remove( self.pid_file )
		except:
			pass
 
 
if __name__ == '__main__':
	#create application instance
	appInstance = ApplicationInstance( '/tmp/myapp.pid' )
 
	#do something here
	print "Start MyApp"
	time.sleep(5)	#sleep 5 seconds
	print "End MyApp"
 
	#remove pid file
	appInstance.exitApplication()
        上述os.kill( pid, 0 )用於檢測一個為pid的程序是否還活著，若該pid的程序已經停止則丟擲異常，若正在執行則不傳送kill訊號。

5、socket監聽一個特定埠

#!/usr/bin/env python
#coding: utf-8
import socket, time, sys


def ApplicationInstance():
    try:    
        global s
        s = socket.socket()
        host = socket.gethostname()
        s.bind((host, 60123))
    except:
        print "instance is running..."
        sys.exit(0)

if __name__ == "__main__":
    ApplicationInstance()
    while True:
        print 'running...'
        time.sleep(1)
可以將該函式使用裝飾器實現，便於重用（效果與上述相同）：
#!/usr/bin/env python
#coding: utf-8
import socket, time, sys
import functools

#使用裝飾器實現
def ApplicationInstance(func):
    @functools.wraps(func)
    def fun(*args,**kwargs):
        import socket
        try:
            global s
            s = socket.socket()
            host = socket.gethostname()
            s.bind((host, 60123))
        except:
            print('already has an instance...')
            return None
        return func(*args,**kwargs)
    return fun

@ApplicationInstance
def main():
    while True:
        print 'running...'
        time.sleep(1)

if __name__ == "__main__":
    main()

四、總結

（1）守護程序和單指令碼執行在實際應用中比較重要，方法也比較多，可選擇合適的來進行修改，可以將它們做成一個單獨的類或模板，然後子類化實現自定義。
（2）daemon監控程序自動恢復避免了nohup和&的使用，並配合shell指令碼可以省去很多不定時啟動掛掉伺服器的麻煩。
（3）若有更好的設計和想法，可隨時留言，在此先感謝！

相關推薦

Python例項淺談之五Python守護程序和指令碼單例執行

一、簡介      守護程序最重要的特性是後臺執行；它必須與其執行前的環境隔離開來，這些環境包括未關閉的檔案描述符、控制終端、會話和程序組、工作目錄以及檔案建立掩碼等；它可以在系統啟動時從啟動指令碼/etc/rc.d中啟動，可以由inetd守護程序啟動，也可以有作業規劃程

Python介面(3):Python例項淺談之三Python與C/C++相互呼叫

一、問題      Python模組和C/C++的動態庫間相互呼叫在實際的應用中會有所涉及，在此作一總結。 二、Python呼叫C/C++ 1、Python呼叫C動態連結庫         Python呼叫C庫比較簡單，不經過任何封裝打

Python例項淺談之四遞迴求斐波那契、階乘、累加和

一、問題 指令碼遞迴求斐波那契、階乘和、累加和函式的執行。先在單執行緒中執行這三個函式，然後在多執行緒中做同樣的事，以說明多執行緒的好處。以及子類化threading執行緒模組的Thread類，靈活地來自定義執行緒物件。 二、解決 1、程式碼 #!/usr/bin/

Python例項淺談之九使用本地socket檔案

       首先，socket的連線地址是一個檔案的路徑而不是一個包含服務地址和埠號的元組；第二，當socket關閉後，socket檔案不會被刪除，該檔案代表一個永久的socket連線，所以每次伺服器啟動時，都需要手動刪除該檔案。第三，address family需要使用AF_UNIX而不是AF_INET

Python例項淺談之一識別符號檢查

一、問題 Python識別符號必須以字母或下劃線開頭，後面跟字母、下劃線或者數字，且識別符號不能為關鍵字，如何有效的檢查？ 二、解決 1、方法一 （1）python指令碼 新建idcheck.py，輸入程式碼，然後執行pythonidcheck.py。 #!/usr/b

shell例項淺談之九格式化輸出大數字

一、問題       格式化輸出大數字，使得輸出結果更清晰地看出數字的數量級。預設用逗號（可用-d指定整數的分隔符）分隔整數部分，用點號（可用-t指定整數與小數的分隔符）分隔整數與小數部分。如1123456789.012輸出為1,123,456,789.012。 二、詳

Qt淺談之五十一QT_OpenGL

一、簡介           最近想了解些Qt的OpenGL程式設計，可能以後會使用。Opengl是對2D和3D圖形支援很好，有非常多的優化函式，而且是個跨平臺的開源庫。Qt的Opengl封裝的很好，通過Qt的QGLWidget類，將opengl的函式和Qt的介面結合了

Qt淺談之五十介面自定義

一、簡介       Qt自帶的介面不利於樣式的調整和美化，自定義介面便於設計風格。 二、詳解 1、程式碼 （1）pagenumbercontrol.h #ifndef PAGENUMBERCONTROL_H #define PAGENUMBERCONTROL_H

shell例項淺談之七檢測使用者輸入串的合法性

一、問題 要求使用者輸入的串由大小寫字母、數字組成，無標點、特殊符號和空格。 二、詳解 1、替換法 將輸入的串中非字母數字的內容刪除或替換成空後，若與原來輸入的相同則合法，否則不合法。 #!/bin/bash isValidAlphaNumber() { r

shell例項淺談之十檢測整數、浮點數和日期數的合法性

一、問題       實際工作中，經常會碰到對數值的檢測，在此將檢測整數、浮點數和日期的合法性綜合在一起，總結各種不同的檢測方法。特別是日期總結了shell處理日期非常好的方法，可以借鑑使用，每個函式都可以根據需要獨立提取出來。 二、詳解 （1）檢測輸入整數的合法性

Qt淺談之十六：TCP和UDP（之一）

一、簡介        Qt使用QtNetwork模組來進行網路程式設計，提供了一層統一的套接字抽象用於編寫不同層次的網路程式，避免了應用套接字進行網路編的繁瑣（因有時需引用底層作業系統的相關資料結構）。有較底層次的類如QTcpSocket、QTcpServer和QUdp

Python淺談之總結(整理)

一、簡介       Python各方面的程式設計內容總結下來並不斷更新，以便以後使用時查詢。 二、詳解 1、Python獲取路徑檔名 （1）split()函式進行字串分割  （2）basename()函式 2、Python下的SQlite資料庫        P

python網頁爬蟲開發之五-反爬

build referer mac eee pac -o strip 不響應 win64 1、頭信息檢查是否頻繁相同 隨機產生一個headers， #user_agent 集合 user_agent_list = [ ‘Mozilla/5.0 (Windows N

Python生成器淺談

首先，生成器generator是一個物件，而且是可迭代的，它儲存的是演算法，只有在用的時候呼叫它它才會去計算，這樣就節省了大量的空間。 建立generator有很多方法，比較簡單的一種就是把列表生成式的[]換成()，即可生成一個生成器。 >>> [x * x for x &

python之路-day31-守護程序、鎖、佇列、生產者消費者模型

  一、守護程序 　　　　之前我們講的子程序是不會隨著主程序而結束的，子程序全部執行完之後，程式才結束，那麼如果有 　　一天我們的需求是我的主程序結束了，由主程序建立的子程序必須跟著結束，怎麼辦？守護程序就來了！ 　　　　主程序建立守護程序 　　　　　　其一：守護程序會在主程序程式碼執行結

【Python】淺談Python虛擬環境virtualenv

目錄 虛擬環境簡介 虛擬環境的安裝和使用 安裝 建立虛擬環境 指定直譯器 啟用虛擬環境 停用虛擬環境 刪除虛擬環境 virtualenvwrapper

Python--openpyxl 淺談（最全總結 足夠初次使用）

Python_Openpyxl 1. 安裝 pip install openpyxl 2. 開啟檔案 ① 建立 from openpyxl import Workbook # 例項化 wb = Workbook() # 啟用 worksheet ws = wb.active

python學習淺談（python2.x以及python3.x的區別、IDE）

Python的就業方向： 爬蟲（Scrapy）、WEB後端、圖片處理、運維---à這些方向適合就業方向 科學計算、機器學習、神經網路、人工智慧-----à這些適合搞研究（考研、考博研究） 先說幾個學習python比較好的IDE： 4.    Eclipse+Pyde

Qt淺談之二十五2048遊戲（原始程式碼來自網路）

一、簡介         Qt改寫2048遊戲，在linux系統下找尋android的視覺效果。 二、執行圖         啟動執行圖： 三、詳解 1、程式碼 （1）widget.h #ifndef WIDGET_H #define WIDGET_H #inclu

淺談simhash及其python實現

轉自http://blog.csdn.net/madujin/article/details/53152619 2016-11-13 21:52 1479人閱讀 評論(0) 收藏 舉報 作者原創，轉載請註明出處。 一直想寫個總結來回顧simhash，一直沒抽