【问题标题】:How to move data from azure data lake to cosmosdb on a schedule?如何按计划将数据从 azure 数据湖移动到 cosmosdb?
【发布时间】:2021-12-29 13:51:20
【问题描述】:

我有需要从 azure 数据湖移动到 cosmosdb 的数据。数据很小,每天可能

【问题讨论】:

  • 我一直在研究 azure 数据工厂,但这似乎也有点矫枉过正,因为这是一个 ETL 工具。我只需要 E 和 L 没有 T。提取并加载到 cosmos。
  • 数据工厂就是你要找的。它也很容易配置,因为它的代码更少。仅仅因为它是一个 ETL 并不意味着如果你不做任何转换它就是错误的。
  • 没有数据工厂有没有办法做到这一点?如果可以配置一个事件触发机制,以便每次将新记录添加到我感兴趣的表中时都会发出一个事件,那将是超级甜蜜的事情。然后我可以去获取那个特定的记录。这可能吗?
  • 你可以试试这个模板,Delta copy from a database with a control table 或者你可以去“复制数据工具”得到一个管道,它使用触发器计划时间作为变量来只从源数据库中读取新行。结帐snip

标签: azure azure-cosmosdb azure-data-lake


【解决方案1】:

您可以使用复制数据工具,为source: Azure Data Lake 和sink: CosmosDB 安排任务

见:Copy Data tool

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-04-11
    • 2018-08-19
    • 1970-01-01
    • 2021-01-29
    • 1970-01-01
    • 2022-07-06
    相关资源
    最近更新 更多