触发从 SQL Server 到 Azure 事件中心的事件

Question

我有一个本地 SQL Server 2008R2。每当有新行或对现有行进行修改时，我需要将行作为事件从多个表发送到可能的 Azure 事件中心。

这是为了在发生任何更改时促进从 sql server 到 azure vent hub 的实时摄取。

请注意以下几点：

1. 所有表都没有可靠的时间戳或 IDENTITY 列
2. 未启用 CDC 或更改跟踪
3. 无法修改架构或创建新的数据库对象（如触发器、存储过程等）

无论如何使用 Azure Functions/Logic Apps 或其他任何其他服务来实现这一点 - 需要考虑以上几点。任何想法，谢谢。

Answer 1

您看过数据库审计吗？

您提到了 Azure 事件中心，但没有提到在到达事件中心后数据将去往何处。事件中心不是数据存储，而是将事件放入队列以供以后处理 - 那么您的最终处理是什么，因为这也可能暗示其他可能的解决方案？

Answer 2

只是一个概念，因为解决方案比较大：

就不允许更改数据库架构/配置上的任何内容而言，一种可能的方法是使用计划函数/逻辑应用程序，定期查询您的 SQL Server，然后输出到事件中心。对于这种操作我个人更喜欢Functions，因为我会对处理有更详细的控制。两种服务都应该以一种或另一种方式工作。

查询 SQL Server 的时间间隔完全取决于源数据更改的速度。

因为您不知道源数据何时更改/添加/删除，所以您必须制作一种副本：无论是完整的还是部分的。在任何情况下，您都应该有一些事件的唯一标识符。每次查询源数据时，都必须将结果与之前的结果进行比较，然后决定添加、删除、更改的内容。如果源数据很大，这将非常慢。但是，我想不出另一种方法。但是，如果您经常通过以下方式查询源数据，则可能会有一些改进：

• 从那些已读取的事件（由其唯一标识符标识）中发生了哪些更改
• 已从已读取的事件中删除的内容（由其唯一标识符标识）
• 已添加的内容 - 在已读取的事件中不存在（由其唯一标识符标识）

因此，对于每个查询，您应该传递所有读取事件的标识符。

希望这会有所帮助。