我们如何参数化 Azure Synapse Spark 作业？答案

【问题标题】：How can we parameterise Azure Synapse Spark Jobs?我们如何参数化 Azure Synapse Spark 作业？
【发布时间】：2021-03-26 00:45:36
【问题描述】：

Azure Synapse 中的 Spark Jobs UI 可以选择将命令行参数传递给底层代码，但似乎没有任何选项可以对这些参数进行参数化。

Azure Pipelines 中的 Spark 作业定义活动同样不提供任何参数化选项。

有没有办法将参数传递给 Azure Synapse 作业？

【问题讨论】：

标签： azure-synapse

【解决方案1】：

它在 Azure Synapse Pipelines 中。 2021 年 5 月发布。

【讨论】：

【解决方案2】：

目前，产品团队正在编写关于如何参数化 Spark 作业的公共文档/教程。

目前，您可以使用作业定义 JSON 文件来参数化 Spark 作业。附上一份样本文件：

{
  "targetBigDataPool": {
    "referenceName": "yifso-1019",
    "type": "SparkComputeReference"
  },
  "requiredSparkVersion": "2.4",
  "jobProperties": {
    "name": "job definition sample",
    "file": "wasbs://ContainerName@StorageName.blob.core.windows.net/SparkSubmission/artifact/default_artifact.jar",
    "className": "sample.LogQuery",
    "args": [],
    "jars": [],
    "pyFiles": [],
    "archives": [],
    "files": [],
    "conf": {
      "spark.hadoop.fs.azure.account.key.StorageName.blob.core.windows.net": "StorageAccessKey"
    },
    "numExecutors": 2,
    "executorCores": 4,
    "executorMemory": "14g",
    "driverCores": 4,
    "driverMemory": "14g"
  }
}

作业定义 JSON 可以直接修改、导入和运行。

【讨论】：