【问题标题】:Which service I have to use from azure for real time streaming provided by azure?对于 azure 提供的实时流媒体,我必须从 azure 使用哪个服务?
【发布时间】:2019-07-11 10:07:48
【问题描述】:

我正在尝试使用 Azure 进行实时分析,当我通过服务时,我看到 Azure 提供的三个服务是 HDInsight(Kafka)、Azure 流分析和 Azure 事件中心服务是什么我必须使用。 我正在尝试从 SQL 服务器或 twitter 或其他方式实时流式传输数据,并将其存储在 Azure 数据仓库或 Data Lake 中。

【问题讨论】:

    标签: apache-kafka azure-hdinsight azure-eventhub azure-stream-analytics azure-databricks


    【解决方案1】:

    要回答高级问题,事件中心(包括事件中心 Kafka)和 HDInsight 可用于数据摄取。第一个提供无服务器服务,而第二个提供托管 Kafka 集群。

    Azure 流分析专注于数据处理、转换和分析。您可以使用 SQL 查询来执行此操作,并从事件中心(或 IoT 中心)获取数据并将其移动到各种接收器,例如 SQL、SQL 数据仓库、数据湖等。

    要回答您的特定问题,您可以查看 this tutorial,其中展示了如何使用事件中心和流分析来处理 Twitter 数据。

    另外,您提到要从 SQL Server 获取数据?是流数据吗? Azure 流分析支持来自 SQL 的数据作为参考数据(用于丰富数据流的慢速移动数据)。您是否正在寻找一些东西来做 ETL 并以固定的速度将数据从 SQL 服务器移动到其他地方?对于此 Azure 数据工厂或 SQL Server 集成服务可能是一个不错的选择。

    如果这回答了您的问题,请告诉我,我很乐意为您提供更多信息。

    让-塞巴斯蒂安 (Azure 流分析)

    【讨论】:

    • 您好让-塞巴斯蒂安,感谢您的回复。我一直在阅读并熟悉 ASA 和 ADF。您能否帮助我了解一些使用案例,其中一个人可能更喜欢其中一种服务而不是另一种?我知道 ADF 非常强大,可以做很多事情,但肯定有一些用例可以使用其中任何一个(例如,从事件中心复制数据并存储在 SQL 数据库中?
    • 您好,很抱歉回复晚了。我认为主要区别实际上是关于 2 个维度:延迟和无状态与有状态:ASA 的最佳用例是您需要低延迟(毫秒到秒)和/或当您需要基于多个事件执行分析/计算时(即聚合、分析功能)。 ADF 用例与 ETL 更相关,当您可以有效地将数据从源移动和转换到目标时,转换通常与单个事件相关。
    猜你喜欢
    • 2014-01-02
    • 2021-09-12
    • 1970-01-01
    • 1970-01-01
    • 2022-01-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-10-14
    相关资源
    最近更新 更多