Pool

如果要啟動大量的子程序，可以用程序池的方式批量建立子程序.

class multiprocessing.Pool([processes[, initializer[, initargs[, maxtasksperchild]]]])

控制可以提交作業的工作程序池的程序池物件。它支援超時和回撥的非同步結果，並具有並行對映實現。

processes 是要使用的工作程序數。如果程序為None，則使用cpu_count（）返回的數字。如果初始化程式不是無，則每個工作程序將在啟動時呼叫初始化程式（* initargs）。

請注意，池物件的方法只能由建立池的程序呼叫。

2.7版本中的新功能：maxtasksperchild是一個工作程序可以在退出之前完成的任務數，並將其替換為一個新的工作程序，以使未使用的資源被釋放。預設的maxtasksperchild是None，這意味著工作程序將生存只要池。

apply(func[, args[, kwds]])

等效於apply（）內建函式。 它阻塞直到結果準備就緒，所以apply_async（）更適合並行執行工作。 此外，func僅在池的一個工作人員中執行。

apply_async(func[, args[, kwds[, callback]]])

返回結果物件的apply（）方法的變體。

如果指定回撥，那麼它應該是一個可接受單個引數的可呼叫函式。 當結果變得準備好時，應答回撥（除非呼叫失敗）。 回撥應該立即完成，否則處理結果的執行緒將被阻止。

close()

防止任何更多的任務被提交到池中。 一旦完成所有任務，工作程序將退出。

join()

等待工作程序退出。 在使用join（）之前必須呼叫close（）或terminate（）。

使用 Pool.apply（）

# -*- coding:utf-8 -*-
from multiprocessing import Pool
import os
import time
import random


def long_time_task(name):
    print('Run task %s (%s)...' % (name, os.getpid()))
    start = time.time()
    time.sleep(random.random() * 3
 
)
    end = time.time()
    print('Task %s runs %0.2f seconds.' % (name, (end - start)))


if __name__ == '__main__':
    print('Parent process %s.' % os.getpid())
    p = Pool(5)
    for i in range(5):
        # p.apply_async(long_time_task, args=(i,))
        p.apply(long_time_task, args=(i,))

    print('Waiting for all subprocesses done...')
    p.close()
    p.join()
    print('All subprocesses done.')

輸出：

Parent process 3924.
Run task 0 (2568)...
Task 0 runs 2.63 seconds.
Run task 1 (5708)...
Task 1 runs 0.01 seconds.
Run task 2 (12152)...
Task 2 runs 2.62 seconds.
Run task 3 (6888)...
Task 3 runs 2.92 seconds.
Run task 4 (8256)...
Task 4 runs 0.50 seconds.
Waiting for all subprocesses done...
All subprocesses done.

Process finished with exit code 0

使用 Pool.apply_async（）

# -*- coding:utf-8 -*-
from multiprocessing import Pool
import os
import time
import random


def long_time_task(name):
    print('Run task %s (%s)...' % (name, os.getpid()))
    start = time.time()
    time.sleep(random.random() * 3)
    end = time.time()
    print('Task %s runs %0.2f seconds.' % (name, (end - start)))


if __name__ == '__main__':
    print('Parent process %s.' % os.getpid())
    p = Pool(5)
    for i in range(5):
        p.apply_async(long_time_task, args=(i,))
        # p.apply(long_time_task, args=(i,))

    print('Waiting for all subprocesses done...')
    p.close()
    p.join()
    print('All subprocesses done.')

輸出：

Parent process 12272.
Waiting for all subprocesses done...
Run task 0 (10036)...
Run task 1 (5400)...
Run task 2 (12152)...
Run task 3 (10372)...
Run task 4 (7548)...
Task 1 runs 0.58 seconds.
Task 4 runs 0.83 seconds.
Task 3 runs 1.92 seconds.
Task 2 runs 2.40 seconds.
Task 0 runs 2.48 seconds.
All subprocesses done.

Process finished with exit code 0

對Pool物件呼叫join()方法會等待所有子程序執行完畢，呼叫join()之前必須先呼叫close()，呼叫close()之後就不能繼續新增新的Process了。