将事件文件处理到 Azure EventHub

Question

我对 Azure 还很陌生。

我有一个要求，Source 将在平面文件中发送事件数据。文件将包含标题和尾部记录以及作为数据记录的事件。每个文件大小为 10MB，可包含大约 50000-60000 个事件。

我想使用 python/scala 处理这个文件并将数据发送到 Azure eventhub。有人可以建议我这是最好的解决方案吗？请问我该如何实现？

Answer 1

这是一个架构问题，但您可以使用 Azure Logic Apps 或 Azure Functions。

首先，您应该通过将文件上传到 Blob 存储来触发您选择的任何内容。该文件将被挑选和处理，然后发送。

如果您可以简单地解析文件，例如因为它们是 JSON 文件，然后只需为每个事件重复并将其定向到所需的事件中心，请使用 Azure 逻辑应用。

如果文件解析更复杂，请使用 Azure Functions，编写代码并output it to an event hub。