在 Linux 上實現 Celery 的負載均衡,你需要遵循以下步驟:
安裝 Celery:
使用 pip 安裝 Celery:
pip install celery
創建一個 Celery 實例:
在你的項目中創建一個名為 celery.py
的文件,然后添加以下代碼:
from celery import Celery
app = Celery('myapp',
broker='pyamqp://guest@localhost//',
backend='rpc://',
include=['myapp.tasks'])
if __name__ == '__main__':
app.start()
這里,我們創建了一個名為 myapp
的 Celery 實例,使用 RabbitMQ 作為消息代理(broker),并將任務結果存儲在 RPC 后端。你需要根據你的實際情況修改 broker 和 backend 的 URL。
定義任務:
在你的項目中創建一個名為 tasks.py
的文件,然后定義一些任務。例如:
from myapp.celery import app
@app.task
def add(x, y):
return x + y
@app.task
def mul(x, y):
return x * y
配置負載均衡器:
為了實現負載均衡,你需要配置一個負載均衡器,例如使用 Nginx。首先,安裝 Nginx:
sudo apt-get install nginx
然后,編輯 Nginx 配置文件(通常位于 /etc/nginx/nginx.conf
或 /etc/nginx/sites-available/default
),添加以下內容:
http {
upstream celery_workers {
server worker1.example.com;
server worker2.example.com;
server worker3.example.com;
}
server {
location / {
proxy_pass http://celery_workers;
}
}
}
這里,我們創建了一個名為 celery_workers
的上游服務器組,包含三個 Celery worker。然后,我們將請求代理到這個組。
運行 Celery worker:
在每個 worker 節點上,運行以下命令啟動 Celery worker:
celery -A myapp worker --loglevel=info
啟動 Nginx:
使用以下命令啟動 Nginx:
sudo service nginx start
現在,你已經在 Linux 上實現了 Celery 的負載均衡。當你向 Nginx 發送任務請求時,Nginx 會將請求分發到其配置的 Celery worker 上,從而實現負載均衡。