原文 ： http://blog.csdn.net/jgood/article/details/4498166

最近，我們老大要我寫一個守護者程式，對伺服器程序進行守護。如果伺服器不幸掛掉了，守護者能即時的重啟應用程式。上網Google了一下，發現Python有很幾個模組都可以建立程序。最終我選擇使用subprocess模組，因為在Python手冊中有這樣一段話:

　　This module intends to replace several other, older modules and functions, such as: os.system、os.spawn*、os.popen*、popen2.*、commands.*

　　subprocess被用來替換一些老的模組和函式，如：os.system、os.spawn*、os.popen*、popen2.*、commands.*。可見，subprocess是被推薦使用的模組。

下面是一個很簡單的例子，建立一個新程序，執行app1.exe，傳入相當的引數，並打印出程序的返回值：

1. import subprocess  
2. returnCode = subprocess.call('app1.exe -a -b -c -d')  
3. print'returncode:', returnCode  
4. #----- 結果 --------
5. #Python is powerful
6. #app1.exe
7. #-a
8. #-b
9. #-c
10. #-d
11. returncode: 0

app1.exe是一個非常簡單的控制檯程式，它只打印出傳入的引數，程式碼如下：

1. #include <iostream>
2. usingnamespace std;  
3. int main(int argc, constchar *argv[])  
4. {  
5.     cout << "Python is powerful" << endl;  
6.     for (int i = 0; i < argc; i++)  
7.     {  
8.         cout << argv[i] << endl;  
9.     }  
10.     return 0;  
11. }  

　　閒話少說，下面開始詳細介紹subprocess模組。subprocess模組中只定義了一個類: Popen。可以使用Popen來建立程序，並與程序進行復雜的互動。它的建構函式如下：

subprocess.Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0)

　　引數args可以是字串或者序列型別（如：list，元組），用於指定程序的可執行檔案及其引數。如果是序列型別，第一個元素通常是可執行檔案的路徑。我們也可以顯式的使用executeable引數來指定可執行檔案的路徑。在windows作業系統上，Popen通過呼叫CreateProcess()來建立子程序,CreateProcess接收一個字串引數，如果args是序列型別，系統將會通過list2cmdline()函式將序列型別轉換為字串。
　　引數bufsize：指定緩衝。我到現在還不清楚這個引數的具體含義，望各個大牛指點。
　　引數executable用於指定可執行程式。一般情況下我們通過args引數來設定所要執行的程式。如果將引數shell設為True，executable將指定程式使用的shell。在windows平臺下，預設的shell由COMSPEC環境變數來指定。
　　引數stdin, stdout, stderr分別表示程式的標準輸入、輸出、錯誤控制代碼。他們可以是PIPE，檔案描述符或檔案物件，也可以設定為None，表示從父程序繼承。
　　引數preexec_fn只在Unix平臺下有效，用於指定一個可執行物件（callable object），它將在子程序執行之前被呼叫。
　　引數Close_sfs：在windows平臺下，如果close_fds被設定為True，則新建立的子程序將不會繼承父程序的輸入、輸出、錯誤管道。我們不能將close_fds設定為True同時重定向子程序的標準輸入、輸出與錯誤(stdin, stdout, stderr)。
　　如果引數shell設為true，程式將通過shell來執行。
　　引數cwd用於設定子程序的當前目錄。
　　引數env是字典型別，用於指定子程序的環境變數。如果env = None，子程序的環境變數將從父程序中繼承。
　　引數Universal_newlines:不同作業系統下，文字的換行符是不一樣的。如：windows下用'/r/n'表示換，而Linux下用'/n'。如果將此引數設定為True，Python統一把這些換行符當作'/n'來處理。
　　引數startupinfo與createionflags只在windows下用效，它們將被傳遞給底層的CreateProcess()函式，用於設定子程序的一些屬性，如：主視窗的外觀，程序的優先順序等等。 

subprocess.PIPE

　　在建立Popen物件時，subprocess.PIPE可以初始化stdin, stdout或stderr引數。表示與子程序通訊的標準流。

subprocess.STDOUT

　　建立Popen物件時，用於初始化stderr引數，表示將錯誤通過標準輸出流輸出。 

Popen的方法：

Popen.poll() 

　　用於檢查子程序是否已經結束。設定並返回returncode屬性。

Popen.wait() 

　　等待子程序結束。設定並返回returncode屬性。

Popen.communicate(input=None)

　　與子程序進行互動。向stdin傳送資料，或從stdout和stderr中讀取資料。可選引數input指定傳送到子程序的引數。Communicate()返回一個元組：(stdoutdata, stderrdata)。注意：如果希望通過程序的stdin向其傳送資料，在建立Popen物件的時候，引數stdin必須被設定為PIPE。同樣，如果希望從stdout和stderr獲取資料，必須將stdout和stderr設定為PIPE。

Popen.send_signal(signal) 

　　向子程序傳送訊號。

Popen.terminate()

　　停止(stop)子程序。在windows平臺下，該方法將呼叫Windows API TerminateProcess（）來結束子程序。

Popen.kill()

　　殺死子程序。

Popen.stdin 

　　如果在建立Popen物件是，引數stdin被設定為PIPE，Popen.stdin將返回一個檔案物件用於策子程序傳送指令。否則返回None。

Popen.stdout 

　　如果在建立Popen物件是，引數stdout被設定為PIPE，Popen.stdout將返回一個檔案物件用於策子程序傳送指令。否則返回None。

Popen.stderr 

　　如果在建立Popen物件是，引數stdout被設定為PIPE，Popen.stdout將返回一個檔案物件用於策子程序傳送指令。否則返回None。

Popen.pid 

　　獲取子程序的程序ID。

Popen.returncode 

　　獲取程序的返回值。如果程序還沒有結束，返回None。

 下面是一個非常簡單的例子，來演示supprocess模組如何與一個控制元件臺應用程式進行互動。

1. import subprocess  
2. p = subprocess.Popen("app2.exe", stdin = subprocess.PIPE, /  
3.     stdout = subprocess.PIPE, stderr = subprocess.PIPE, shell = False)  
4. p.stdin.write('3/n')  
5. p.stdin.write('4/n')  
6. print p.stdout.read()  
7. #---- 結果 ----
8. input x:   
9. input y:   
10. 3 + 4 = 7

app2.exe也是一個非常簡單的控制檯程式，它從介面上接收兩個數值，執行加操作，並將結果列印到控制檯上。程式碼如下：

1. #include <iostream>
2. usingnamespace std;  
3. int main(int argc, constchar *artv[])  
4. {  
5.     int x, y;  
6.     cout << "input x: " << endl;  
7.     cin >> x;  
8.     cout << "input y: " << endl;  
9.     cin >> y;  
10.     cout << x << " + " << y << " = " << x + y << endl;  
11.     return 0;  
12. }  

　　supprocess模組提供了一些函式，方便我們用於建立程序。

subprocess.call(*popenargs, **kwargs)

　　執行命令。該函式將一直等待到子程序執行結束，並返回程序的returncode。文章一開始的例子就演示了call函式。如果子程序不需要進行互動,就可以使用該函式來建立。

subprocess.check_call(*popenargs, **kwargs) 

　　與subprocess.call(*popenargs, **kwargs)功能一樣，只是如果子程序返回的returncode不為0的話，將觸發CalledProcessError異常。在異常物件中，包括程序的returncode資訊。

　　subprocess模組的內容就這麼多。在Python手冊中，還介紹瞭如何使用subprocess來替換一些老的模組，老的函式的例子。趕興趣的朋友可以看一下。

參考文件：

今天遇到的一個問題。簡單說就是，使用 subprocess 模組的 Popen 呼叫外部程式，如果 stdout或 stderr 引數是 pipe，並且程式輸出超過作業系統的 pipe size時，如果使用 Popen.wait() 方式等待程式結束獲取返回值，會導致死鎖，程式卡在 wait() 呼叫上。

ulimit -a 看到的 pipe size 是 4KB，那只是每頁的大小，查詢得知 linux 預設的 pipe size 是 64KB。

看例子：

#!/usr/bin/env python
# coding: utf-8
# [email protected]/04/28

import subprocess

def test(size):
    print 'start'

    cmd = 'dd if=/dev/urandom bs=1 count=%d 2>/dev/null' % size
    p = subprocess.Popen(args=cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, close_fds=True)
    #p.communicate()
    p.wait()

    print 'end'

# 64KB
test(64 * 1024)

# 64KB + 1B
test(64 * 1024 + 1)

首先測試輸出為 64KB 大小的情況。使用 dd 產生了正好 64KB 的標準輸出，由 subprocess.Popen呼叫，然後使用 wait() 等待 dd 呼叫結束。可以看到正確的 start 和 end 輸出；然後測試比 64KB 多的情況，這種情況下只輸出了 start，也就是說程式執行卡在了 p.wait() 上，程式死鎖。具體輸出如下：

start
end
start

那死鎖問題如何避免呢？官方文件裡推薦使用 Popen.communicate()。這個方法會把輸出放在記憶體，而不是管道里，所以這時候上限就和記憶體大小有關了，一般不會有問題。而且如果要獲得程式返回值，可以在呼叫 Popen.communicate() 之後取 Popen.returncode 的值。

結論：如果使用 subprocess.Popen，就不使用 Popen.wait()，而使用 Popen.communicate() 來等待外部程式執行結束。