从 Azure 中的数据工厂执行 ADL 存储中的 U-SQL 脚本答案

【问题标题】：Execute U-SQL script in ADL storage from Data Factory in Azure从 Azure 中的数据工厂执行 ADL 存储中的 U-SQL 脚本
【发布时间】：2017-09-30 01:55:11
【问题描述】：

我的 ADL 存储中存储了一个 USQL 脚本，我正在尝试执行它。脚本文件很大——大约 250Mb。

到目前为止，我有一个数据工厂，我已经创建了一个链接服务，并正在尝试创建一个数据湖分析 U-SQL 活动。

我的 U-SQL Activity 的代码如下所示：

{
"name": "RunUSQLScript1",
"properties": {
    "description": "Runs the USQL Script",
    "activities": [
        {
            "name": "DataLakeAnalyticsUSqlActivityTemplate",
            "type": "DataLakeAnalyticsU-SQL",
            "linkedServiceName": "AzureDataLakeStoreLinkedService",

            "typeProperties": {

                "scriptPath": "/Output/dynamic.usql",
                "scriptLinkedService": "AzureDataLakeStoreLinkedService",
                "degreeOfParallelism": 3,
                "priority": 1000
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 3,
                "timeout": "01:00:00"
            },
            "scheduler": {
                "frequency": "Day",
                "interval": 1
            }
        }
    ],
    "start": "2017-05-02T00:00:00Z",
    "end": "2017-05-02T00:00:00Z"
}

}

但是，我收到以下错误：

错误

来自 >pipeline 'RunUSQLScript1' 的活动 'DataLakeAnalyticsUSqlActivityTemplate' 没有输出，也没有计划。请添加>输出数据集或定义活动时间表。

我想要的是让这个 Activity 按需运行，即我根本不希望它被安排，而且我不明白在我的情况下输入和输出是什么。我尝试运行的 U-SQL 脚本正在对我的 ADL 存储上的数百万个文件进行操作，并在对内容进行一些修改后保存它们。

【问题讨论】：

标签： azure azure-data-factory azure-data-lake u-sql

【解决方案1】：

目前，ADF 不支持为 USQL 活动运行存储在 ADLS 中的 USQL 脚本，即“typeProperties”下的“scriptLinkedService”必须是 Azure Blob 存储链接服务。我们将更新 USQL 活动的文档以使其更加清晰。

支持运行存储在 ADLS 中的 USQL 脚本已在我们的产品待办列表中，但我们还没有具体的承诺日期。

王雪莉

【讨论】：

【解决方案2】：

目前 ADF 不支持按需执行活动，需要配置时间表。您将需要至少一个输出来推动活动的计划执行。输出可以是一个虚拟的 Azure 存储，而无需实际写出数据，但 ADF 利用可用性属性来驱动计划执行。例如：

{
 "name": "OutputDataset",
 "properties": {
     "type": "AzureBlob",
     "linkedServiceName": "AzureStorageLinkedService",
     "typeProperties": {
         "fileName": "dummyoutput.txt",
         "folderPath": "adf/output",
         "format": {
             "type": "TextFormat",
             "columnDelimiter": "\t"
         }
     },
     "availability": {
         "frequency": "Day",
         "interval": 1
     }
 }
}

【讨论】：