您好,登錄后才能下訂單哦!
本篇內容主要講解“Python Celery怎么調度Go worker”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“Python Celery怎么調度Go worker”吧!
我們可以用Go寫一個計算密集型任務的Worker,然后用Python的Celery beat來調度這個Worker,下面給大家演示一下:
最好是將計算密集型的任務改造成Go語言版的,這樣收益才能最大化。
比如這里,我使用的是上回從1億減到1的老梗。
PS,別被下面這段代碼嚇到了,其實大部分是可以去掉的配置項,核心代碼就幾行。
輸入命令:
go run main.go
即可運行該worker
每5秒調度一次1億減到1,不過不跑Python worker. 由于Go Worker在運行,這里的minus會被Go Worker消費。
另外請注意,這里的minus函數實際上只是為了能被識別到而編寫的,其內容毫無意義,直接寫個pass都沒問題(因為實際上是Go Worker在消費)。
編寫完后,針對go_tasks模塊啟動beat:
celery -A go_tasks beat
此時,調度器就會調度Go Worker執行任務:
可以看到,我們成功用Python的Celery Beat調度了Go寫的Worker!可喜可賀。
接下來可以看看如果單純用Python的Worker做這樣的計算是有多耗時:
啟動worker:
celery worker -A python_tasks -l info --pool=eventlet
啟動beat調度器:
celery -A python_tasks beat
結果如下:
可以看到,Python從1億減到1平均需要5.2秒左右的時間,和Go版相差了100倍左右。
如果我們將調度器的頻率提高到每秒計算1次,Python版的Worker,其任務隊列一定會堵塞,因為Worker消費能力不夠強大。相比之下,Go版的Worker可就非常給力了。
因此,如果你的項目中有這種計算密集型的任務,可以嘗試將其提取成Go版本試試,說不定有驚喜呢。
到此,相信大家對“Python Celery怎么調度Go worker”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。