Python Celery 将结果异步保存在数据库中

Question

我正在使用 Python 与 Celery 和 RabbitMQ 来制作一个网络蜘蛛来计算页面上的链接数。

可以异步写入数据库，例如 MySQL 吗？是否可以在添加每一行后提交更改，或者是否需要批量（多添加）然后在一定数量的行/持续时间后提交？

我更喜欢使用 SQLAlchemy 和 MySQL，除非有更推荐的 Celery/RabbitMQ 组合。我还看到推荐使用 NoSQL（CouchDB？）。

Answer 1

对于像计数器和日志这样的写入密集型操作，NoSQL 解决方案始终是最佳选择。我个人使用 mongoDB 来完成此类任务。