如何在 Azure Databricks Notebook Run Now JSON 中提供集群名称答案

【问题标题】：How to provide cluster name in Azure Databricks Notebook Run Now JSON如何在 Azure Databricks Notebook Run Now JSON 中提供集群名称
【发布时间】：2021-11-17 15:05:20
【问题描述】：

我可以通过 POSTMAN 使用以下 JSON 来运行我的 Databricks 笔记本。

我希望能够为通过“new_cluster”选项创建的集群命名。

有没有这样的选择？

{
"tasks": [
    {
        "task_key": "Job_Run_Api",
        "description": "To see how the run and trigger api works",
        "new_cluster": {
            "spark_version": "9.0.x-scala2.12",
            "node_type_id": "Standard_E8as_v4",
            "num_workers": "1",
            "custom_tags": {
                "Workload": "Job Run Api"                    
            }
        },
        "libraries": [
            {
                "maven": {
                    "coordinates": "net.sourceforge.jtds:jtds:1.3.1"
                }
            }
        ],
        "notebook_task": {
            "notebook_path": "/Shared/POC/Job_Run_Api_POC",
            "base_parameters": {
                "name": "Junaid Khan"
            }
        },
        "timeout_seconds": 2100,
        "max_retries": 0            
    }
],
"job_clusters": null,
"run_name": "RUN_API_TEST",
"timeout_seconds": 2100
}

完成上述 API 调用后，创建的集群具有类似“job-5975-run-2”的名称，这不是超级解释。

我尝试在“new_cluster”标签中使用标签“cluster_name”，但出现了一个错误，我不能这样做，如下所示：

{
"error_code": "INVALID_PARAMETER_VALUE",
"message": "Cluster name should not be provided for jobs."
}

在这里感谢任何帮助

【问题讨论】：

你能解释一下你为什么需要这个吗？正如我们所知，这个新的作业集群并在作业完成时终止集群，无需用户交互。

标签： azure api apache-spark databricks azure-databricks

【解决方案1】：

作业的集群名称是自动生成的，无法更改。如果您想以某种方式跟踪特定工作，请使用标签。

附：如果您想拥有更多“高级”跟踪功能，请查看Overwatch project。

【讨论】：