如何使数据库轮询具有可扩展性？

Question

我正在尝试找到一种可扩展的方式，以允许我的桌面应用程序在数据库发生更改时运行命令。

该应用程序用于在您的 PC 上运行远程命令。用户登录网站并可以选择运行命令。目前，用户必须下载一个桌面应用程序，每隔几秒检查一次数据库以查看值是否已更改。只有当他们登录网站并按下按钮时才能更改该值。

目前它似乎运行良好，因为用户不多。但是当我击中 100 多个用户时，每隔几秒访问数据库 100 次以上并不好。有什么更好的方法？

Answer 1

确实，轮询更改的成本太高，尤其是在您有很多客户的情况下。查询通常非常昂贵，并且经常运行查询以确保在更改后及时通知客户是很诱人的。最好避免轮询数据库。

上述 cmets 中的一个建议是使用从触发器调用的 UDF。但我不建议这样做，因为触发器在您执行 INSERT/UPDATE/DELETE 时运行，而不是在您提交更改时运行。因此，客户端可能会收到更改通知，然后当他们检查数据库时，更改似乎不存在，因为要么事务已回滚，要么事务还没有提交。

触发器解决方案不好的另一个原因是 MySQL 触发器对每一行更改执行一次，而不是对每个 INSERT/UPDATE/DELETE 语句执行一次。因此，如果您执行影响数千行的更新，可能会导致通知垃圾邮件。

另一种解决方案是使用message queue，例如 RabbitMQ、ActiveMQ 或 Amazon SQS（还有很多其他方法）。当客户端提交他们的 INSERT/UPDATE/DELETE 时，他们确认提交成功，然后在消息队列主题上发布一条消息。许多客户可以通过这种方式得到有效的通知。但它要求每个提交更改到数据库的客户端都编写代码发布到消息队列。

另一种解决方案是让客户端订阅 MySQL 的二进制日志并将其作为更改数据捕获日志读取。对数据库的每个提交更改都记录在二进制日志中。你可以让客户端读取这个，它对数据库服务器的影响不亚于复制客户端（MySQL 可以轻松支持数百个副本）。

混合解决方案是使用二进制日志，并将这些更改转换为消息队列中的事件。这就是像Debezium 这样的产品的工作原理。它读取二进制日志，并将事件发布到 Apache Kafka 消息队列。然后其他客户端可以等待 Kafka 队列上的事件并做出响应。