【问题标题】:Azure EventHub Event FormatAzure EventHub 事件格式
【发布时间】:2020-04-26 10:41:31
【问题描述】:

全部,

我设置了一个 EventHub 命名空间和 EventHub,并且能够使用 Python 脚本成功地向其发送和接收事件。我还能够启用捕获功能并将事件以 Avro 格式存储在 Azure Blob 存储中。

我想了解有关 EventHubs 的更多信息,如果有人指出我正确的方向,那就太好了:

[1] 在捕获期间,是否可以将文件格式更改为例如 csv 或 json 格式,以便以 csv/json 格式创建文件?还是只有 Avro 支持?

[2] 当事件在 EventHub 本身中时,在它过期之前,事件的格式是什么 - 是 json 吗?

[3] 当事件数据存储在 Azure Blob 存储(以 avro 格式)中时,我如何知道数据的结构是什么,以便我可以创建适当的架构,然后我可以在 Azure 中使用它将数据加载到 Kutso 数据库的数据资源管理器定义。

谢谢,

rgn

【问题讨论】:

    标签: azure azure-eventhub azure-eventhub-capture


    【解决方案1】:

    关于您的问题;

    1) Event Hubs Capture 目前仅以 AVRO 格式写入。

    2) 服务不知道它正在处理的负载格式,它以二进制格式存储事件。

    3) AVRO 格式在文件内容顶部指定架构,如果这是您所要求的。您可以在此处查看格式详细信息 - https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-capture-overview#exploring-the-captured-files-and-working-with-avro

    【讨论】:

    • 我只能在创建 avro 文件后才能查看 Avro 格式。但是,我如何提前知道架构,以便在部署 EventHub 本身时创建 Azure 数据资源管理器基础结构?或者有什么方法可以在 EventHub 本身中的事件数据为二进制格式时提取?
    • Avro 文件根据主题事件中心的捕获配置以间歇性计划写入。默认情况下,文件每 5 分钟创建一次,或者在缓冲区达到 100 MB 时创建,基本上以先到者为准。间隔和缓冲区大小设置都是可配置的。原始数据不可公开访问。我强烈建议您查看事件网格,您可以在其中配置捕获事件的触发器。 docs.microsoft.com/en-us/azure/event-hubs/…
    猜你喜欢
    • 1970-01-01
    • 2021-07-17
    • 1970-01-01
    • 2019-03-01
    • 2014-11-07
    • 2018-08-28
    • 1970-01-01
    • 1970-01-01
    • 2019-07-11
    相关资源
    最近更新 更多