有没有办法从 Log Analytics 获取 Azure Synapse 的管道活动运行详细信息？

Question

我已经设置了一个日志分析工作区并将其添加到我的 Synapse 工作区的诊断设置中。但是，我无法编写一个查询来提取管道活动信息，例如 dataRead、rowsCopied 等。 我试过使用 dataReadvar = parse_json(Output).dataRead 在 SynapseIntegrationActivityRuns 中提取 JSON，但它似乎无法找到“输出”。

Answer 1

Azure 数据工厂和 Azure Synapse Analytics 具有三组活动：data movement activities、data transformation activities 和 control activities。一个活动可以接受零个或多个输入datasets 并产生一个或多个输出datasets。

检查示例管道的定义方式及其管道活动：

{
    "name": "PipelineName",
    "properties":
    {
        "description": "pipeline description",
        "activities":
        [
        ],
        "parameters": {
        },
        "concurrency": <your max pipeline concurrency>,
        "annotations": [
        ]
    }
}

以下是执行活动的顶级结构的 JSON 格式：

{
    "name": "Execution Activity Name",
    "description": "description",
    "type": "<ActivityType>",
    "typeProperties":
    {
    },
    "linkedServiceName": "MyLinkedService",
    "policy":
    {
    },
    "dependsOn":
    {
    }
}

活动政策：

{
    "name": "MyPipelineName",
    "properties": {
      "activities": [
        {
          "name": "MyCopyBlobtoSqlActivity",
          "type": "Copy",
          "typeProperties": {
            ...
          },
         "policy": {
            "timeout": "00:10:00",
            "retry": 1,
            "retryIntervalInSeconds": 60,
            "secureOutput": true
         }
        }
      ],
        "parameters": {
           ...
        }
    }
}

这里有一些 MS Docs，如 Docs1、Docs2，它们与您的场景相关，可以提供帮助。