为流分析导入准备存档数据

Question

在我有时间制定摄取策略和流程设置之前，我开始收集最终将通过流分析作业的数据。现在，我坐在一个 Azure blob 存储容器上，其中包含超过 500,000 个 blob（无文件夹组织），另一个包含 300,000 个，其他一些包含 10,000 - 90,000 个。

生产收集过程现在以YYYY-MM-DD/HH 格式将这些 blob 写入不同的容器，但这只是未来的发展方向。我拥有的这些存档数据对于进入我的系统至关重要，我想稍微修改一下现有生产 ASA 作业的输入，以便我可以在查询、函数和其他依赖项中利用相同的逻辑。

我知道 ASA 不喜欢超过几百 / 千的批次，所以我试图找到一种方法来暂存我的数据，以便在 ASA 下正常工作。这将是一次性运行...

一个想法是编写一个脚本来查看每个 blob，查看 blob 中的时间戳并重新创建 YYYY-MM-DD/HH 文件夹设置，但根据我的经验，当 blob 的 lastModified 时间不存在时，ASA 作业将失败'不匹配它所在的文件夹...

有什么建议可以解决这个问题吗？

编辑： 未能提及 (1) 这些容器中没有文件夹...所有 blob 都位于容器的根目录中，并且 (2) 我在 blob 上的 LastModifiedTime 是 no更有用或有意义。后者的原因是这些 blob 是从多个其他容器中收集的，并使用 Azure CLI copy-batch 命令合并在一起。

Answer 1

你可以试试下面吗？

1. 在两个不同的作业中执行此处理，一个用于具有日期分区的文件夹（例如 partitionedJob）。另一个用于没有任何日期分区的旧 blob（比如 RefillJob）

2. 由于 RefillJob 具有固定数量的 blob，因此在 System.Timestamp 上放置一个谓词以确保它只处理旧事件。使用至少 6 个 SU 启动此作业并运行它，直到处理完所有事件。您可以通过查看 LastOutputProcessedTime 或查看输入事件计数或检查输出源来确认。完成此检查后，停止作业。不再需要这项工作。

3. 使用时间戳启动 partitionedJob > RefillJob。这假设时间戳的文件夹存在。