Azure 数据工厂复制活动 - 追加到 JSON 文件答案

【问题标题】：Azure Data Factory Copy Activity - Append to JSON FileAzure 数据工厂复制活动 - 追加到 JSON 文件
【发布时间】：2020-12-13 07:25:42
【问题描述】：

我正在创建一个将数据从 REST API 端点复制到 Azure Blob 存储的数据工厂管道。 API 有一次只能返回 1000 条记录的限制，因此我在管道中构建了一个循环，它将遍历所有页面。我想知道的是 - 是否可以使用复制活动附加到 Azure Blob 中的同一文件，而不是为每个页面创建一个单独的文件？

下面是 API 响应的样子。我需要从每个响应中获取的唯一值是“记录”列表，所以我在想如果可能的话，我可以摆脱其他东西，并在循环运行时继续附加到同一个文件 - 尽管我没有知道复制活动是否能够做到这一点。这可能吗？或者唯一的方法是将所有响应作为单独的文件放在 Blob 存储中，然后在事后将它们组合起来？

谢谢

{
    "totalResults": 8483,
    "pageResults": 3,
    "timeStamp": "2020/08/24 10:43:26",
    "parameters": {
        "page": 1,
        "resultsPerPage": 3,
        "filters": [],
        "fields": [
            "lastName",
            "firstName",
            "checklistItemsAssigned",
            "checklistItemsStarted",
            "checklistItemsCompleted",
            "checklistItemsOverdue"
        ],
        "sort": {
            "field": "lastName",
            "direction": "asc"
        }
    },
    "records": [
        {
            "checklistItemsAssigned": 10,
            "lastName": "One",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 10,
            "checklistItemsCompleted": 10
        },
        {
            "checklistItemsAssigned": 5,
            "lastName": "Two",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 5,
            "checklistItemsCompleted": 5
        },
        {
            "checklistItemsAssigned": 5,
            "lastName": "Three",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 5,
            "checklistItemsCompleted": 5
        }
    ]
}

【问题讨论】：

标签： azure-data-factory azure-blob-storage copy-activity

【解决方案1】：

ADF 的复制活动支持从块、附加或页面类型的 blob 复制 blob，但将数据复制到仅块 blob。 Blobk blob 只能被覆盖。您可能可以使用 Storage SDK 创建附加类型的 blob，但对于大多数项目来说，这将是一种矫枉过正的做法。我会在最后阶段创建新的 blob 并合并它们。

【讨论】：