使用 kubernetes 扩展 cron 架构

Question

我有一个带有sources 表的云分布式数据库（AWS RDS - PostGres）。来源可以是网页或社交媒体帐户。

我的服务上有一个 cron 作业，它将遍历每个 source 并获取更新的信息，例如 cmets 或 stats。

有时，如果满足特定条件，则可以触发另一个操作，即如果 Instagram 帖子达到 1000 个赞，使用字符串发表评论，或者如果博客创建新帖子，则向订阅者发送电子邮件。

我想通过 docker 和 k8s 水平扩展我的服务，如果我扩展到两个服务，就会有两个 cron 作业，并且任何特定的操作都可以发送两次。我不希望为我已扩展的 n 实例发送 n 电子邮件

处理这个问题的正确架构是什么？

Answer 1

如果您想水平扩展整个堆栈，请通过一些合理的键（例如创建日期）将您的域分成 N 个分区，并让每个分区成为一个完整堆栈。

如果您关心可扩展性，那么您可能希望将堆栈分成多个层（源刷新工作者、动作处理程序等），由工作队列连接，以便任何特定动作都可以独立扩展......但我'首先从一个直接的域分区开始。