您好,登錄后才能下訂單哦!
怎么使itertools.tee線程安全,相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現的原因和解決方法,通過這篇文章希望你能解決這個問題。
我們說到了,
itertools.tee
不是線程安全的,并給出了一個例子,如下圖所示:
在兩個線程里面同時運行分裂出來的生成器對象,就會導致報錯。
現在,你想看看itertools.tee
的源代碼,但是你會發現,在 PyCharm 里面,它的源代碼如下圖所示:
這是因為,在 CPython 中,itertools.tee
底層是通過 C 語言實現的,所以你不能在 PyCharm 中看到它的源代碼。但是你可以通過閱讀 Python 的源代碼中的 Modules/itertoolsmodule.c 文件[1],找到它的實現算法。
導致問題的核心部分在如下圖所示的兩段代碼中:
大家看不懂也沒有關系,根據我上一篇文章中使用 Python 實現的簡化版本就足夠幫助理解了。
我們使用簡化版本來解釋其中線程不安全的地方:
def generator():
for i in range(3):
yield f'我是你第{i}個爺爺'
def split(g):
value_list_1 = []
value_list_2 = []
def wrap(queue):
while True:
if not queue:
try:
value = next(g)
except StopIteration:
return
value_list_1.append(value)
value_list_2.append(value)
yield queue.pop(0)
g_1 = wrap(value_list_1)
g_2 = wrap(value_list_2)
return g_1, g_2
g = generator()
g_1, g_2 = split(g)
for value in g_1:
print(value)
for value in g_2:
print(value)
當兩個線程同時運行到if not queue
時,發現當前各自的隊列都是空的,于是進入value = next(g)
獲取下一個值。其中,線程 A 先進入那么幾毫秒。然后線程 B 進入value = next(g)
。但由于此時線程 A 中的next(g)
正在運行,尚未結束,線程 B 又跑來運行,于是就導致了報錯的發生。Python 中,生成器不是線程安全的。
那么如何讓itertools.tee
分裂出來的多個生成器可以在多線程中運行呢?其關鍵因素就是讓value = next(g)
這一行一次只能讓一個線程運行。所以我們可以通過加鎖來實現。
import itertools
from threading import Lock
class KingnameTee:
def __init__(self, tee_obj, lock):
self.tee_obj = tee_obj
self.lock = lock
def __iter__(self):
return self
def __next__(self):
with self.lock:
return next(self.tee_obj)
def __copy__(self):
return KingnameTee(self.tee_obj.__copy__(), self.lock)
def safe_tee(iterable, n=2):
"""tuple of n independent thread-safe iterators"""
lock = Lock()
return tuple(KingnameTee(tee_obj, lock) for tee_obj in itertools.tee(iterable, n))
我們來看看運行效果:
多線程完美運行。
看完上述內容,你們掌握怎么使itertools.tee線程安全的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。