通过 Azure 数据工厂将数据复制到 Azure 数据湖之前的文件检查

Question

目前我正在构建一个数据管道，我想通过 Azure 数据工厂将数据从一个 blob 存储复制到 Azure 数据湖，但在创建数据管道之前，我想要进行文件检查，即它应该检查目录如果找到文件，例如：如果文件存在，我有一个 csv 文件，然后开始复制到 adls，否则通过找不到错误文件。我知道我们可以在 python 中做到这一点，但在 adf 中如何在管道中添加它。任何帮助将不胜感激。

Answer 1

我将使用元数据活动来获取 Blob 存储中所有项目的列表（选择您的 Blob 作为数据集）： https://docs.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity

然后您可能需要检查项目是否是文件，而不是文件夹。为此，您可以添加“ForEach”和“If 条件”活动的组合。在这种情况下，您可以使用@activity('GetMetadata').output.childitems 表达式和@equals(item().type, 'File') 表达式引用元数据步骤中的每个项目，以检查它是否为文件。