如何处理或架构 Azure 数据湖存储中的增量数据摄取？答案

【问题标题】：How to Handle or Architecture, incremental data ingestion in Azure data lake Store?如何处理或架构 Azure 数据湖存储中的增量数据摄取？
【发布时间】：2017-04-19 14:23:51
【问题描述】：

我有两个自定义代码 dll，用于与 IP 摄像头相关的图像。

dll-One：从 IP cams 中提取图像，并将其存储到 Azure 数据湖存储。

喜欢：

/adls/clinic1/patientimages
/adls/clinic2/patientimages

dll-two：使用这些图像并从中提取信息并将数据加载到 RDBMS 表中。

例如在 RDBMS 中，假设有实体 dimpatient、dimclinic 和 factpatientVisit。

首先，可以将一次性数据导出到 Azure 数据湖存储中定义的位置。

点赞：

/adls/dimpatient
/adls/dimclinic
/adls/factpatientVisit

问题： 如何在同一个文件中推送增量数据，或者我们如何在 Azure 数据分析中处理这种增量负载？

这就像在 Azure 数据分析中实现仓库。

注意：Azure SQL db 或 Azure 提供的任何其他存储是不想要的。我的意思是，如果一种类型的存储能够保存所有类型的数据，为什么还要花在其他 Azure 服务上。

adls 是我的 ADLS 存储的名称。

【问题讨论】：

标签： azure azure-sql-database azure-data-lake

【解决方案1】：

我不确定我是否完全理解您的问题，但您可以在 Azure Data Lake Store 中组织您的数据文件，或者沿时间维度在分区的 U-SQL 表中组织您的行，这样您就可以为每个增量添加新的分区/文件.通常，我们建议此类增量具有相当大的大小，但以保留扩展能力。

【讨论】：

我的目标是在 ADLS 中实现数据仓库，但由于 ADLS 是文件类型存储。在这种情况下我们如何实现增量负载。
我从您的意见中了解到的是创建每年，然后是月份和日期文件夹，然后我那天的维度和事实将作为文件保存。因此，如果我的存储名称是 ADLS，我应该创建或分区我的数据，例如 ADLS/2017/04/19/，在其下每个实体可以有三个文件，并且可以在第二天继续相同的概念。如果我正确理解您的建议，我会有所启发。
也是关注仓库类型架构的原因，因为我希望它使用 Azure ML 对患者和诊所进行分析，就像我们使用历史数据进行数据挖掘并从中找出模式一样。跨度>
如果你想使用文件，你理解我的正确。或者，您可以使用分区的 U-SQL 表，例如每天使用一个分区。有关如何创建和管理分区表的详细信息，请参阅 aka.ms/usql_reference（特别是 CREATE TABLE 和 ALTER TABLE）。
感谢您的链接，这正是我用老派技能实现的愿景。