我目前正在使用数据工厂将实体从 Dynamics 365 批量复制到 Azure Data Lake。实体每 24 小时在数据湖中保存为 CSV 文件。
我想将实体截断为新数据并附加到数据湖中已经存在的文件，而不是批量复制。
我认为这是 SQL 数据库的常见操作，但是这可以在 Dynamics 365 和 Data Lake 之间完成吗？
【问题讨论】：
标签： azure dynamics-crm azure-data-factory azure-data-lake azure-data-factory-2
您可以在查询中添加过滤器，以获取在过去 24 小时内修改过的记录。
此外，您可以设置 Dynamics 以将其数据复制到外部 SQL 数据库。
【讨论】：
Azure Data Lake Storage Gen2 作为源类型仅支持三种复制行为。
我尝试了三种应对行为，它们都无法帮助您附加到数据湖中已经存在的文件。如果选择存在文件，当复制活动完成时，存在的文件将被覆盖。
更多详情，您可以参考：Azure Data Lake storage Gen2 as a source type。
无法在 Dynamics 365 和具有 Azure 数据工厂的数据湖之间完成。
感谢 James Wood 为我们提供了一个很好的解决方案。结合我的答案和他的答案，问题就解决了。
希望这会有所帮助。
【讨论】：