python多進程使用函數封裝
阿新 • • 發佈：2018-08-05
獲取 multi for 字段 child 函數 需要 per true import multiprocessing as mp
from multiprocessing import Process
class MyProcess(Process):
"""
自定義多進程，繼承自原生Process,目的是獲取多進程結果到queue
"""
def __init__(self, func, args, q):
super(MyProcess, self).__init__()
self.func = func
self.args = args
self.res = ''
self.q = q
#self._daemonic = True
#self._daemonic = True
def run(self):
self.res = self.func(*self.args)
self.q.put((self.func.__name__, self.res))
def use_multiprocessing(func_list):
#os.system('export PYTHONOPTIMIZE=1') # 解決 daemonic processes are not allowed to have children 問題
q = mp.Queue() # 隊列,將多進程結果存入這裏，進程間共享， 多進程必須使用 multiprocessing 的queue
proc_list = []
res = []
for func in func_list:
proc = MyProcess(func['func'], args=func['args'], q=q)
proc.start()
proc_list.append(proc)
for p in proc_list:
p.join()
while not q.empty():
r = q.get()
res.append(r)
return res
使用時候，將需要多進程執行的函數和函數的參數當作字段，組成個list 傳給use_multiprocessing 方法即可
python多進程使用函數封裝