如何在 Azure Data Lake 中安排 U-SQL 查询？答案

【问题标题】：How to schedule a U-SQL Query in Azure Data Lake?如何在 Azure Data Lake 中安排 U-SQL 查询？
【发布时间】：2016-12-15 12:19:00
【问题描述】：

我想每天在 Azure Data Lake 中执行一次查询。我们可以在 Azure Data Lake 中安排 U-SQL 查询吗？

【问题讨论】：

【解决方案1】：

目前，Data Lake Analytics 中没有内置方法来安排 U-SQL 作业。相反，您可以使用其他服务或工具来执行计划。 Azure 客户最喜欢的一种是 Azure 数据工厂。

我们正在考虑将 U-SQL 作业在 Data Lake Analytics 中的简单调度作为本机功能添加。

【讨论】：

感谢您的回复。我想每天对 Azure 数据湖中存在的数据应用一些转换。我想从中生成一个新文件。但如果我使用 ADF 作业，我将无法应用这些转换。我说的对吗？
Jai，您可以非常轻松地在数据工厂管道中运行数据湖分析作业。 azure.microsoft.com/en-us/blog/…
我知道我可以安排一个 Data Lake Analytics 作业，该作业将从 Azure Data Lake 获取数据并将其复制到某处。我想安排一个从 azure 数据湖获取数据并在其之上应用一些转换的作业，并在包含转换后的数据的同一个 azure 数据湖中创建一个新文件。但根据我对 ADF 的理解，我认为我不能在将数据从 Azure 数据湖中提取或推送到 Azure 数据湖时对数据应用任何转换。因为我们可以在 Azure Data Lake 中对数据应用转换的唯一方法是使用我无法在 ADF 管道中使用的 U-SQL。
您可以在 ADF 管道中使用 U-SQL。见：docs.microsoft.com/en-us/azure/data-factory/…

【解决方案2】：

每天在 Azure Data Lake 中执行查询有两种方式：

使用 ADF 并将 U-SQL 脚本存储在 Blob 存储中，并通过 Blob 存储链接服务引用它。
使用 Visual Studio 创建一个 SSIS 包，然后将此包导入 SqlServer Agent 服务 Job 。见Schedule U-SQL jobs

【讨论】：