Heroku 与 Django、Celery 和 CloudAMPQ - 超时错误

Question

按照“Django 3 示例”一书的第 7 章，我正在建立一个在线商店。这本书的作者是Antonio Melé。

在我的本地机器上一切正常。当我将它部署到 Heroku 时，它也能正常工作。

但是，当我尝试使用 Celery 和 RabbitMQ（CloudAMQP，Little Lemur，在 Heroku 上）时，工作人员应该发送给客户的电子邮件消息没有发送。该任务需要超过 30 秒，然后崩溃：

heroku[router]: at=error code=H12 desc="Request timeout" method=POST

我创建了一个 tasks.py 文件，用于发送电子邮件。我的 settings.py 文件包含 Celery 的以下行：

broker_url = os.environ.get('CLOUDAMQP_URL')
broker_pool_limit = 1 
broker_heartbeat = None 
broker_connection_timeout = 30 
result_backend = None 
event_queue_expires = 60 
worker_prefetch_multiplier = 1 
worker_concurrency = 50 

这取自https://www.cloudamqp.com/docs/celery.html

而我的Procfile如下，

web: gunicorn shop.wsgi --log-file -
worker: celery worker --app=tasks.app

我错过了什么吗？

谢谢！

Answer 1

在尝试解决这个问题几天后，我联系了支持部门CLOUDAMQP

他们帮助我找出问题与 Celery 没有正确识别我的 BROKER_URL 有关。

然后我看到了@jainal09 here 的这个好评论。应该在settings.py 中设置一个额外的变量：

CELERY_BROKER_URL = '<broker address given by Heroku config>'

添加额外的行解决了这个问题。现在 Heroku 可以正确发送电子邮件了。

Answer 2

对 heroku 相当熟悉，虽然不是你的技术栈。所以处理heroku超时的一般方法是这样的：

首先，确定导致超时的确切原因。一件或多件事情要花很多时间。

现在您有 3 个主要选项。

1. Heroku 调度程序（或其他几个类似的插件之一）。如果您可以通过终端命令运行某种脚本，并且 10 分钟/1 小时/24 小时检查脚本是否需要运行对您来说足够好，这将非常有用。我通常认为这是最直接的解决方案，但它并不总是可以接受的。根据您发送的电子邮件内容，延迟 5-15 分钟的电子邮件可能是可以接受的。
2. 后台进程工作者。看起来这是您尝试对 Celery 执行的操作，但配置不正确，可能对此无济于事。
3. 优化。 heroku 设置 30 秒超时的原因是因为一般来说，用户等待 30 秒等待响应确实没有充分的理由。我在摸索为什么发送一封电子邮件需要超过 30 秒，除非你需要发送几百个或者电子邮件非常非常大。或者，您可能在发送电子邮件之前做了大量工作，尽管这提出了一个问题，即为什么不将这些工作与发送电子邮件命令分开进行。我怀疑在尝试设置后台进程工作程序之前，您可能应该调查一下原因。