Azure IoT 数据仓库更新

Question

我正在为我的 BI 项目构建 Azure IoT 解决方案。现在我有一个应用程序，它会在每个设置的时间窗口中将一个 .csv blob 发送到 Azure Blob 存储，名称中包含增量编号。所以一段时间后我的存储文件中会有'data1.csv'、'data2.csv'、'data3.csv'等。

现在我需要使用 Azure 流分析作业将这些数据加载到一个数据库中，该数据库将成为我的仓库。问题可能是 .CSV 文件会有重叠的数据。它们将每 4 小时发送一次，并包含过去 24 小时的数据。我需要始终只读取最后一个文件（编号最高）并准备查找，以便正确更新仓库中的数据。使流分析只读最新文件和更新数据库记录的最佳方法是什么？

编辑： 澄清一下 - 我完全意识到 ASA 不能成为 ETL 工作。我的问题是使用物联网工具对我来说最好的方法是什么

Answer 1

我会建议以下两种方式之一：

• 使用 ASA 写入临时 SQL 表，并使用 SQL 触发器 用 diff 更新 DW 的主表。
• 或通过添加唯一约束来删除重复项，如下所述： https://blogs.msdn.microsoft.com/streamanalytics/2017/01/13/how-to-achieve-exactly-once-delivery-for-sql-output/

谢谢， JS - Azure 流分析