Python多進程multiprocessing、進程池用法實例分析

本文實例講述了Python多進程multiprocessing、進程池用法。分享給大家供大家參考，具體如下：

內容相關：

multiprocessing：

• 進程的創建與運行
• 進程常用相關函數

進程池：

• 為什么要有進程池
• 進程池的創建與運行：串行、并行
• 回調函數

多進程multiprocessing:

python中的多進程需要使用multiprocessing模塊

• 多進程的創建與運行：

1.進程的創建：進程對象=multiprocessing.Process(target=函數名,args=(參數,))【補充，由于args是一個元組，單個參數時要加“,”】

2.進程的運行:  進程對象.start()

進程的join跟線程的join一樣，意義是 “阻塞當前進程，直到調用join方法的那個進程執行完，再繼續執行當前進程”

注：在windows中代碼中必須使用這個，在Linux 中不需要加這個

import multiprocessing,time,os

def thread_run():
  print(threading.current_thread())

def run(name):
  time.sleep(1)
  print("hello",name,"run in ",os.getpid(),"ppid:",os.getppid())

if __name__=='__main__':#必須加
  obj=[]
  for i in range(10):
    p=multiprocessing.Process(target=run,args=('bob',))
    obj.append(p)
    p.start()
  start_time=time.time()
  for i in obj:
    i.join()
  print("run in main")
  print("spend time :",time.time()-start_time)

• 與多線程同樣的：也可以通過繼承multiprocessing的Process來創建進程

繼承multiprocessing的Process類的類要主要做兩件事：

1.如果初始化自己的變量，則先要調用父類的__init__()【如果不調用，則要自己填寫相關的參數，麻煩！】然后做自己的初始化;如果不需要初始化自己的變量，那么不需要重寫__init__,直接使用父類的__init__即可【已經繼承了】

2.重寫run函數

import multiprocessing

class myProcess(multiprocessing.Process):
  def run(self):
    print("run in myProcess")

if __name__=="__main__":
  p=myProcess()
  p.start()
  p.join()

進程常用相關函數：

• os.getpid():獲取當前進程號。
• os.getppid():獲取當前進程的父進程號。
• 進程對象.is_alive():判斷進程是否存活

• 進程對象.terminate():結束進程【不建議的方法，現實少用】

進程池：

• 為什么需要進程池
  • 如果要啟動大量的子進程，可以用進程池的方式批量創建子進程，而進程池可以限制運行的進程的數量【有太多人想要游泳，而池子的容量決定了游泳的人的數量
  • Pool類可以提供指定數量的進程供用戶調用，當有新的請求提交到Pool中時，如果池還沒有滿，就會創建一個新的進程來執行請求。如果進程池滿了，請求就會告知先等待，直到池中有進程結束，才會創建新的進程來執行這些請求

• 進程池的創建與使用：
  • 使用進程池需要導入：from multiprocessing import Pool
  • 創建進程池：進程池對象=Pool(容量)
  • 給進程池添加進程：
    • 串行：進程池對象.apply(func=函數名,args=(參數,))

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())

if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply(func=func1,args=(i,))#串行,這里是加一個運行完再加一個
   pool.close()#先close再等待
   pool.join()
  print("main run done,spend_time:",time.time()-start_time)

• 并行：進程池對象.apply_async(func=函數名,args=(參數,),callback=回調函數)

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())


if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply_async(func=func1,args=(i,))#并行
    
  pool.close()#先close再等待
  pool.join()
  print("main run done,spend_time:",time.time()-start_time)#2.6，證明是并行

• 回調函數的使用：在并行中，支持callback=回調函數，當一個進程執行完畢后會調用該回調函數，并且參數為func中的返回值
• 注意：回調函數是在父進程中執行的！【當兒子執行完后，會在父親里調用函數】

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())
  return "filename"


def log(arg):##參數為進程創建中func的函數的返回值
  print("log done :",arg)

if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply_async(func=func1,args=(i,),callback=log,)#log的參數是func1的返回值

  pool.close()#先close再等待
  pool.join()
  print("main run done,spend_time:",time.time()-start_time)

• 注：對Pool對象調用join()方法會等待所有子進程執行完畢，調用join()之前必須先調用close()，調用close()之后就不能繼續添加新的Process了。【意思就是比如游泳池只賣1個小時的票，約定5點關門，那么4點多之后就不能再賣票了，就一直等著游泳池里面的人出來再關門，進程池的close是一個關門的意思，并不是結束的意思，它只是關上了進來的門，而里面的進程還可以運行】【進程池的join是等池子里的所有進程執行完畢，如果后面再進來進程的話就沒完沒了了，所以需要先關閉進入，再等待進程結束】
  • 
    • 小測試：

更多關于Python相關內容感興趣的讀者可查看本站專題：《Python進程與線程操作技巧總結》、《Python數據結構與算法教程》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》、《Python+MySQL數據庫程序設計入門教程》及《Python常見數據庫操作技巧匯總》

希望本文所述對大家Python程序設計有所幫助。