从 Azure 数据工厂管道中的 Azure 数据湖存储中删除临时文件（首选 SQL）

【问题标题】：Delete temporary files from Azure Datalake Storage in a Azure DataFactory Pipeline (USQL preferred)从 Azure 数据工厂管道中的 Azure 数据湖存储中删除临时文件（首选 SQL）
【发布时间】：2019-07-17 23:50:35
【问题描述】：

我们在 ADF（Azure 数据工厂 - V2）管道中使用 AdLS（Azure 数据湖存储）作为临时存储。删除临时存储在 ADLS 中的数据的最佳方法是什么？

U-SQL 仅支持 DDL，不支持 DML，因此无法使用 ADLA（Azure 数据湖分析）删除存储在 ADLS 中的临时数据（文件）

我计划使用 ADF 的“Web Activity”DELETE 方法，但它使用了过期的令牌，我必须不断更新它们。

谁能告诉我我们还有哪些其他选择？

【问题讨论】：

标签： azure azure-data-lake u-sql azure-data-factory-2

【解决方案1】：

最好的方法是在 ADF 中使用新的删除活动。在 ADF UI 的右上角，您可以找到代码部分，单击此处并为删除活动编写 JSON 语法（我没有找到删除活动小部件/图标，所以我需要直接编写 JSON 代码）

您可以检查语法here

只有删除活动的示例管道

{
"name": "DeleteFilePipeline",
"properties": {
    "activities": [
        {
            "name": "DeleteActivity",
            "type": "Delete",
            "policy": {
                "timeout": "7.00:00:00",
                "retry": 0,
                "retryIntervalInSeconds": 30,
                "secureOutput": false,
                "secureInput": false
            },
            "typeProperties": {
                "dataset": {
                    "referenceName": "deleteTest",
                    "type": "DatasetReference"
                },
                "enableLogging": false,
                "maxConcurrentConnections": 1
            }
        }
    ]
}

}

Dataset deleteTest 是 Azure Data Lake Gen1 数据集。

【讨论】：