运行几个小时后，Azure 数据工厂中的自定义活动失败

【问题标题】：Custom activity failed in Azure Data Factory after running several hours运行几个小时后，Azure 数据工厂中的自定义活动失败
【发布时间】：2016-04-13 05:34:09
【问题描述】：

我正在使用按需 HDInsight 群集在 Azure 数据工厂中运行自定义 .Net 活动。 Activity 处理存储在 Azure Blob 中的 XML 文件，并将它们移动到 Azure Data Lake Store。执行 28 小时后失败，出现以下错误：

“活动中的错误：请求被中止：请求被取消..”

没有可用于此活动运行的日志文件，并且上述错误不足以解决问题。我该如何解决这个问题？

【问题讨论】：

看起来您的活动的计算需求远远超过您的按需集群配置的能力。这是第一次发生吗？您是否在自定义代码中定义了所有必要检查点的日志记录？看看您是否能够使用 BYOC 或 Azure Batch 重现该问题。使用按需集群非常痛苦

标签： c# azure-hdinsight azure-data-factory azure-data-lake

【解决方案1】：

我建议你检查系统日志。即使您没有任何用户日志，您也应该有一个系统日志来帮助您调查您的问题。

您应该能够从失败的输出数据集的详细信息中检查系统日志（见下文）

当您为按需 HDInsight 创建linkedServce 时，您应该在 typeProperties 中指定“linkedServiceName”

{
    "$schema": "http://datafactories.schema.management.azure.com/schemas/2015-08-01/Microsoft.DataFactory.LinkedService.json",
    "name": "LinkedServiceOnDemand_OnCloud_HDInsight",
    "properties": {
        "type": "HDInsightOnDemand",
        "typeProperties": {
            "clusterSize": 1,
            "timeToLive": "00:10:00",
            "linkedServiceName": "LinkedService_OnCloud_Storage"
        }
    }
}

将在该存储中创建日志。如果没有创建它，剩下的唯一选择就是从 Microsoft 获得技术支持。

【讨论】：