Celery 同步子进程之间的数据

问题描述 投票:0回答:0

我有一个包含 flask、apscheduler 和 Celery 的 python 应用程序。调度程序创建任务供 celery worker 计算。问题在于 celery worker 正在轮询速率受限的 API。因此,在我尝试跟踪 url、访问密钥和不受 API 速率限制的时间时,我在父进程中创建了一个全局类。但是我很快发现,即使它是一个全局对象,它也只是工作人员更新的一个副本。

所以我现在想知道我能做什么?我想要快速的东西,因此我选择使用内存缓存而不是数据库获取和更新。在撰写本文时,我有一个将发出请求的 5 个工作线程池。

欢迎任何意见或建议,我如何跟踪工人正在提出的 api 请求。

如上所述,我尝试创建一个内存对象来跟踪子工作者发出的请求。 Celery 是发生这种情况的应用程序

python celery threadpool rate-limiting apscheduler
© www.soinside.com 2019 - 2024. All rights reserved.