您好,登錄后才能下訂單哦!
這篇文章將為大家詳細講解有關怎么在python爬蟲中安裝celery,文章內容質量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。
先安裝celery
pip install celery
我們以官網給出的例子來做說明,并對其進行擴展。首先在項目根目錄下,這里我新建一個項目叫做celerystudy,然后切換到該項目目錄下,新建文件tasks.py,然后在其中輸入下面代碼
from celery import Celery app = Celery('tasks', broker='redis://:''@223.129.0.190:6379/2', backend='redis://:''@223.129.0.190:6379/3') @app.task def add(x, y): return x + y
這里我詳細講一下代碼:我們先通過app=Celery()來實例化一個celery對象,在這個過程中,我們指定了它的broker,是redis的db 2,也指定了它的backend,是redis的db3, broker和backend的連接形式大概是這樣
redis://:password@hostname:port/db_number
然后定義了一個add函數,重點是@app.task,它的作用在我看來就是將add()
注冊為一個類似服務的東西,本來只能通過本地調用的函數被它裝飾后,就可以通過網絡來調用。這個tasks.py中的app就是一個worker。它可以有很多任務,比如這里的任務函數add。我們再通過在命令行切換到項目根目錄,執行
celery -A tasks worker -l info
啟動成功后就是下圖所示的樣子
關于怎么在python爬蟲中安裝celery就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。