以编程方式删除 Data Lake Storage 中的文件

【问题标题】：Programmatically delete files in Data Lake Storage以编程方式删除 Data Lake Storage 中的文件
【发布时间】：2018-02-03 01:25:58
【问题描述】：

我正在将数据导入 Azure Data Lake 并使用 Data Lake Analytics 使用 U-SQL 将其从 JSON 格式转换为 CSV。转换后我想删除 JSON 格式的数据。您似乎无法使用 U-SQL 删除文件。

我想知道最好的方法是安排一个每 24 小时运行一次的任务，并删除所有已转换的数据。

提前致谢。

【问题讨论】：

这似乎是一个很好的功能请求。您可能想尝试在此处添加它：feedback.azure.com/forums/327234-data-lake 如果您这样做，请发布一个链接，以便其他人在看到您的帖子时可以投票

标签： azure azure-data-factory azure-data-lake

【解决方案1】：

我会使用 powershell 和 azure 自动化： https://docs.microsoft.com/en-us/azure/automation/automation-first-runbook-textual-powershell

我认为这应该让你开始：

Remove-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv

以下是有关使用 ADL 的 powershell 的更多信息： https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-get-started-powershell

您还可以使用 azure 数据工厂中的批处理作业，或者甚至是逻辑应用程序中的简单 webhook，有很多选项。

【讨论】：