可以在 gpu 上运行 celery 吗？答案

【问题标题】：It is possible to run celery on gpu?可以在 gpu 上运行 celery 吗？
【发布时间】：2021-05-04 19:16:23
【问题描述】：

问题是 - 可以在 gpu 上运行 celery 吗？

目前在我的项目中，我有如下设置：

celery -A projectname worker -l error --concurrency=8 --autoscale=16,8 
--max-tasks-per-child=1 --prefetch-multiplier=1 --without-gossip --without-mingle --without-heartbeat

这是 django 项目。

执行一个任务大约需要 12 秒（大插入到 postgresql）。

我想要实现的是尽可能多地增加工人。

【问题讨论】：

您好，据我从这个问题中了解到，Celery 不适用于 GPU，对吧？你找到解决办法了吗？
不幸的是，它不适用于 GPU。但是您可以通过增加队列中执行任务的机器数量来横向扩展。

标签： python-3.x django celery gpu django-celery

【解决方案1】：

你可以像这样指定工人的数量...

celery -A projectname --workers=3

【讨论】：

但这仍然受到CPU核心数量的限制。

【解决方案2】：

没有。 Celery 无法在 GPU 上运行任何东西。但是，没有什么能阻止您在 Celery 任务中使用 Keras、TensorFlow 或 PyTorch（事实上，我在这里看到了很多关于这些项目和 Celery 的问题）。

【讨论】：

我的问题是我的任务太多了。一项任务需要几秒钟，所以我尝试增加工人的数量。