【问题标题】:Is there a way to stream data change events from Azure SQL to Azure Event Hubs at scale?有没有办法将数据更改事件从 Azure SQL 大规模流式传输到 Azure 事件中心?
【发布时间】:2021-02-23 13:37:33
【问题描述】:

我们有一些 SQL Azure 实例,它们有一堆数据库(比如一个组织中的每个部门都有一个)。当这些单独的数据库中的数据有更新时,我们希望对数据进行流式处理。

从规模的角度来看,我们正在查看所有数据库中的 10K 事件/天,流式处理事件可能需要几秒钟的 SLA。

我们希望将数据推送到 Azure 事件中心。任何现有的 Azure 产品都可以在这里提供帮助?

【问题讨论】:

    标签: azure-sql-database azure-eventhub


    【解决方案1】:

    只是一些可行解决方案的建议。

    如果您正在寻找Azure服务的解决方案,那么逻辑应用应该能够满足您的需求,这是逻辑应用中sql server trigger的官方文档:

    https://docs.microsoft.com/en-us/azure/connectors/connectors-create-api-sqlazure#add-a-sql-trigger

    https://docs.microsoft.com/en-us/connectors/sql/#when-an-item-is-modified-(v2)

    或者,如果您可以在像这样更改项目时从 sql server 发送 Web 请求:

    https://www.botreetechnologies.com/blog/how-to-fire-a-web-request-from-microsoft-sql-server

    然后您可以将其发送到 azure function 之类的端点,并使用事件中心输出绑定,或者仅使用事件中心 sdk 发送到事件中心。

    【讨论】:

    • 感谢您的建议。对可以处理所有 SQL 数据更改操作、可以将数据流式传输到事件中心端点的“Kafka Connect”(在 Azure 上作为 AKS / HDInsight 集群托管)有什么想法吗?
    猜你喜欢
    • 2019-11-28
    • 1970-01-01
    • 1970-01-01
    • 2020-01-24
    • 1970-01-01
    • 1970-01-01
    • 2016-12-26
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多