Azure 突触获取元数据答案

【问题标题】：Azure synapse get metadataAzure 突触获取元数据
【发布时间】：2022-01-21 21:11:02
【问题描述】：

我正在尝试获取具有获取元数据活动的文件夹中所有文件的列表。将此列表传递给 for-each 活动，该活动依次执行笔记本。

我有一个二进制数据集，字段列表设置为子项。

管道每次都因错误而崩溃：

{
    "errorCode": "2011",
    "message": "Blob operation Failed. ContainerName: tmp, path: /tmp/folder/folder1/.",
    "failureType": "UserError",
    "target": "Get Metadata",
    "details": []
}

文件位于“文件夹/文件夹 1”中。

这不是我第一次使用 Get Metadata 活动，到目前为止它一直有效（在 ADF 中）。但我是第一次在 Synapse 中这样做，有区别吗？您对这可能是什么或我如何解决问题有任何想法吗？

【问题讨论】：

docs.microsoft.com/en-us/answers/questions/471434/…
social.msdn.microsoft.com/Forums/azure/en-US/…
我们经常使用这种模式，而且它确实有效。你能显示 GetMetadata 和 Dataset 的配置吗？

标签： azure azure-data-factory azure-data-factory-2 azure-synapse synapse

【解决方案1】：

在 Azure 数据工厂 和 Azure Synapse 管道 中使用Get Metadata 活动检索任何数据的元数据是相同的。

使用文件名的数据集参数创建一个二进制数据集。

将二进制数据集连接到获取元数据活动。

将 '*' 传递给文件名参数值。
选择字段列表下的子项以获取文件夹中的文件/子文件夹列表。

输出提供文件夹中的文件列表。

【讨论】：