Azure Eventhub 捕获功能以及如何重播答案

【问题标题】：Azure Eventhub capture functionality and how to replayAzure Eventhub 捕获功能以及如何重播
【发布时间】：2022-08-02 23:51:42
【问题描述】：

azure eventthub capture 到底是什么。它是一种机制，可以在存储帐户中以 avro/parquet 形式无限保留事件，例如 Azure blobs 吗？如果是这样，我如何从开始使用普通的 kafka 消费者重播这些事件（通过 eventthub 捕获在天蓝色存储中捕获的事件）。任何帮助表示赞赏

标签： kafka-consumer-api azure-eventhub azure-eventhub-capture

【解决方案1】：

简而言之，您想要什么，您的问题不清楚。解释一下重播这些事件

【讨论】：

您好，eventthubs 的高级层支持 90 天的消息保留。我在 2022 年 7 月 25 日首次向 eventthub 发布了 100 条消息。假设我的要求是在 1 年后的 7 月 25 日及之后发布所有这些事件，让我们比如说 2023 年 7 月 25 日，根据 90 天的保留政策，它肯定不会在 eventthub 中可用。eventthub 捕获在这里有用吗？另外我正在使用 kafka 端点与 eventthub 交互。使用普通的 kafka 代理，我可以在消费者上使用 auto.reset.offset=from-beginning 。但我认为这不适用于 eventthub 捕获

【解决方案2】：

基本上，事件中心捕获是您的事件的存储，而不是保留。请通读此常见问题解答，这可能会消除您的疑问。

https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-faq#what-is-the-maximum-retention-period-for-events-

即使在保留期之后，您也可以在捕获的 blob 中找到您的数据，然后使用数据处理引擎对其进行处理。

https://docs.microsoft.com/en-us/azure/event-hubs/explore-captured-avro-files https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-capture-python

【讨论】：