溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本文小編為大家詳細介紹“Python線程池thread pool怎么創建使用”，內容詳細，步驟清晰，細節處理妥當，希望這篇“Python線程池thread pool怎么創建使用”文章能幫助大家解決疑惑，下面跟著小編的思路慢慢深入，一起來學習新知識吧。
線程（英語：thread）是操作系統能夠進行運算調度的最小單位。它被包含在進程之中，是進程中的實際運作單位。一條線程指的是進程中一個單一順序的控制流，一個進程中可以并發多個線程，每條線程并行執行不同的任務。在Unix System V及Sun中也被稱為輕量進程（lightweight processes），但輕量進程更多指內核線程（kernel thread），而把用戶線程（user thread）稱為線程。
60年代，在OS中能擁有資源和獨立運行的基本單位是進程，然而隨著計算機技術的發展，進程出現了很多弊端，一是由于進程是資源擁有者，創建、撤消與切換存在較大的時空開銷，因此需要引入輕型進程；二是由于對稱多處理機（SMP）出現，可以滿足多個運行單位，而多個進程并行開銷過大。因此在80年代，出現了能獨立運行的基本單位——線程（Threads）。
線程是獨立調度和分派的基本單位。線程可以為操作系統內核調度的內核線程，如Win32線程；由用戶進程自行調度的用戶線程，如Linux平臺的POSIX Thread；或者由內核與用戶進程，如Windows 10的線程，進行混合調度。
同一進程中的多條線程將共享該進程中的全部系統資源，如虛擬地址空間，文件描述符和信號處理等等。但同一進程中的多個線程有各自的調用棧（call stack），自己的寄存器環境（register context），自己的線程本地存儲（thread-local storage）。
一個進程可以有很多線程，每條線程并行執行不同的任務。
線程中的實體基本上不擁有系統資源，只是有一點必不可少的、能保證獨立運行的資源。
線程的實體包括程序、數據和TCB。線程是動態概念，它的動態特性由線程控制塊TCB（Thread Control Block）描述。TCB包括以下信息：
（1）線程狀態
（2）當線程不運行時，被保存的現場資源。
（3）一組執行堆棧。
（4）存放每個線程的局部變量主存區。
（5）訪問同一個進程中的主存和其它資源。
用于指示被執行指令序列的、保留局部變量、少數狀態參數和返回地址等的一組寄存器和堆棧。
在多線程OS中，線程是能獨立運行的基本單位，因而也是獨立調度和分派的基本單位。由于線程很“輕”，故線程的切換非常迅速且開銷小（在同一進程中的）。
在一個進程中的多個線程之間，可以并發執行，甚至允許在一個進程中所有線程都能并發執行；同樣，不同進程中的線程也能并發執行，充分利用和發揮了處理機與外圍設備并行工作的能力。
在同一進程中的各個線程，都可以共享該進程所擁有的資源，這首先表現在：所有線程都具有相同的地址空間（進程的地址空間），這意味著，線程可以訪問該地址空間的每一個虛地址；此外，還可以訪問進程所擁有的已打開文件、定時器等。由于同一個進程內的線程共享內存和文件，所以線程之間互相通信不必調用內核。
線程池（英語：thread pool）：一種線程使用模式。線程過多會帶來調度開銷，進而影響緩存局部性和整體性能。而線程池維護著多個線程，等待著監督管理者分配可并發執行的任務。這避免了在處理短時間任務時創建與銷毀線程的代價。線程池不僅能夠保證內核的充分利用，還能防止過分調度。可用線程數量應該取決于可用的并發處理器、處理器內核、內存、網絡sockets等的數量。 例如，線程數一般取cpu數量+2比較合適，線程數過多會導致額外的線程切換開銷。
任務調度以執行線程的常見方法是使用同步隊列，稱作任務隊列。池中的線程等待隊列中的任務，并把執行完的任務放入完成隊列中。
線程池模式一般分為兩種：HS/HA半同步/半異步模式、L/F領導者與跟隨者模式。
HS/HA半同步/半異步模式：
半同步/半異步模式又稱為生產者消費者模式，是比較常見的實現方式，比較簡單。分為同步層、隊列層、異步層三層。同步層的主線程處理工作任務并存入工作隊列，工作線程從工作隊列取出任務進行處理，如果工作隊列為空，則取不到任務的工作線程進入掛起狀態。由于線程間有數據通信，因此不適于大數據量交換的場合。
L/F領導者與跟隨者模式：
領導者跟隨者模式，在線程池中的線程可處在3種狀態之一：領導者leader、追隨者follower或工作者processor。任何時刻線程池只有一個領導者線程。事件到達時，領導者線程負責消息分離，并從處于追隨者線程中選出一個來當繼任領導者，然后將自身設置為工作者狀態去處置該事件。處理完畢后工作者線程將自身的狀態置為追隨者。這一模式實現復雜，但避免了線程間交換任務數據，提高了CPU cache相似性。在ACE(Adaptive Communication Environment)中，提供了領導者跟隨者模式實現。
線程池的伸縮性對性能有較大的影響。
創建太多線程，將會浪費一定的資源，有些線程未被充分使用。
銷毀太多線程，將導致之后浪費時間再次創建它們。
創建線程太慢，將會導致長時間的等待，性能變差。
銷毀線程太慢，導致其它線程資源饑餓。
在面向對象編程中，創建和銷毀對象是很費時間的，因為創建一個對象要獲取內存資源或者其它更多資源。在Java中更是如此，虛擬機將試圖跟蹤每一個對象，以便能夠在對象銷毀后進行垃圾回收。所以提高服務程序效率的一個手段就是盡可能減少創建和銷毀對象的次數，特別是一些很耗資源的對象創建和銷毀。如何利用已有對象來服務就是一個需要解決的關鍵問題，其實這就是一些""池化資源""技術產生的原因。比如大家所熟悉的數據庫連接池正是遵循這一思想而產生的，本文將介紹的線程池技術同樣符合這一思想。
首先我們根據上述已經了解了線程和線程池創建目的以及作用。讓我們自己思考一下，如果是自己的業務上要用到大量的請求或者是查詢處理，而我們只能的機器并不能一下就接受這么多的task涌入計算，這將消耗我們計算機大量資源。這時我們就該創建線程池來對線程進行管理，我們可以給線程預留一定的空間，讓請求逐個進入線程處理，當請求超過我們給的線程數量時，等一個線程跑完了再跑下一個，這樣就不會造成資源的浪費和達到資源重復利用。
那么我們建立線程池的思路就有一下幾點：
控制線程，給予每個線程任務保證線程正常運行。
限制線程數量，保證系統有足夠的運行空間。
資源復用，保證每個線程運行完成任務后能再度利用。
控制運行時間，線程運行超過一定時間后停止任務轉接下個任務，防止線程堵塞。
有了這些思路，我們就可以充分利用Python自帶的庫來構建線程池了。
第一步，我們需要在線程池里面創建出很多個線程。第二步，當得到一個請求時候，就使用一個線程來運行·它。第三步，若多個任務則分配多個線程來運行。當其中一個線程運行完它的任務之后，將再次進行下一個任務使用。
首先python標準庫里面是有threading庫的，但是該庫并沒有線程池這個模塊。要快速構建線程池，可以利用concurrent.futures，該庫提供了ThreadPoolExecutor和ProcessPoolExecutor兩個類，實現了對threading和multiprocessing的進一步抽象。
這里我們只討論ThreadPoolExecutor：
from concurrent.futures import ThreadPoolExecutor
這里我們可以看JAVA關于線程池的設計：
構造方法:
public ThreadPoolExecutor(int corePoolSize, //核心線程數量
int maximumPoolSize,// 最大線程數
long keepAliveTime, // 最大空閑時間
TimeUnit unit, // 時間單位
BlockingQueue<Runnable> workQueue, // 任務隊列
ThreadFactory threadFactory, // 線程工廠
RejectedExecutionHandler handler // 飽和處理機制
)
{ ... }參數和Python創建線程池是一樣的，python創建線程池：
#encoding:utf-8 from concurrent.futures import ThreadPoolExecutor import threading #創建一個包含2條線程的線程池 pool = ThreadPoolExecutor(max_workers = 2) #定義兩個線程
這樣就建立了一條簡單的線程池，其中最大線程數為2 .
def task(i):
sleep_seconds = random.randint(1, 3) #隨機睡眠時間
print('線程名稱：%s，參數：%s，睡眠時間：%s' % (threading.current_thread().name, i, sleep_seconds))
time.sleep(sleep_seconds) #定義睡眠時間
for i in range(10):#創建十個任務
future1 = pool.submit(task, i)
構造線程池實例，傳入max_workers可以設置線程池中最多能同時運行的線程數目
提交線程需要執行的任務（函數名和參數）到線程池中，立刻返回一個future對象。
取task的執行結果：
取消該 Future 代表的線程任務。如果該任務正在執行，不可取消，則該方法返回 False；否則，程序會取消該任務，并返回 True。
調高點睡眠時間：
返回 Future 代表的線程任務是否被成功取消。
for i in range(5):#創建十個線程 future1 = pool.submit(task, i) print(future1.cancelled())
for i in range(5):#創建十個線程 future1 = pool.submit(task, i) print(future1.running())
as_completed()方法是一個生成器，在沒有任務完成的時候，會阻塞，在有某個任務完成的時候，會yield這個任務，就能執行for循環下面的語句，然后繼續阻塞住，循環到所有的任務結束。從結果也可以看出，先完成的任務會先通知主線程。
除了submit，ThreadPoolExecutor還提供了map函數來添加線程，與常規的map類似，區別在于線程池的 map() 函數會為 iterables 的每個元素啟動一個線程，以并發方式來執行 func 函數. 同時，使用map函數，還會自動獲取返回值。
#向線程池提交5個任務
x = np.arange(5)
for i in pool.map(task,x):
print('successful')
讀到這里，這篇“Python線程池thread pool怎么創建使用”文章已經介紹完畢，想要掌握這篇文章的知識點還需要大家自己動手實踐使用過才能領會，如果想了解更多相關內容的文章，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
