将文件传输到消息代理

Question

我们正在建立一个带有前端程序的数据库，该程序解析 csv 文件并将它们转储到数据库中。文件同时来自多个位置，如果出现任何问题都需要持久保存。

像 rabbitmq 这样的消息代理是不是一个很好的应用程序？我需要某种可以从后端读​​取的队列。

Answer 1

像 rabbitmq 这样的消息代理是不是一个很好的应用程序？

是的，但我不建议您将大文件发送到 RabbitMQ，特别是如果您想使用持久消息。如果是这种情况，我会将文件保存到存储（云、缓存等）并在消息中发送其名称/路径。一个工作进程会获取一条消息，然后下载一个文件，解析它并将其内容保存到数据库中。通过这种方式，您可以在工作进程之间分发文件并减少代理的负载。它可以让您轻松扩展。