如何通过调用 databricks rest api 从数据块 Web 活动创建/启动集群答案

【问题标题】：How to create/start cluster from data bricks web activity by invoking databricks rest api如何通过调用 databricks rest api 从数据块 Web 活动创建/启动集群
【发布时间】：2023-03-05 15:01:02
【问题描述】：

我有两个要求：

1：我有一个clusterID。我需要从 ADF 中的“Wb Activity”启动集群。活动参数如下所示：

url:https://XXXX..azuredatabricks.net/api/2.0/clusters/start
body: {"cluster_id":"0311-004310-cars577"}
Authentication: Azure Key Vault Client Certificate

运行此活动时，我遇到以下错误：

"errorCode": "2108",

"message": "Error calling the endpoint 
'https://xxxxx.azuredatabricks.net/api/2.0/clusters/start'. Response status code: ''. More 
 details:Exception message: 'Cannot find the requested object.\r\n'.\r\nNo response from the 
 endpoint. Possible causes: network connectivity, DNS failure, server certificate validation or 
timeout.",

"failureType": "UserError",
"target": "GetADBToken",
"GetADBToken" is my activity name.

上述安全机制适用于其他与 Databricks 相关的活动，例如已安装在我的 databricks 集群上的正在运行的 jar。

2：我想使用以下设置创建一个新集群：

url:https://XXXX..azuredatabricks.net/api/2.0/clusters/create

    body:{

      "cluster_name": "my-cluster",
      "spark_version": "5.3.x-scala2.11",
      "node_type_id": "i3.xlarge",
      "spark_conf": {
      "spark.speculation": true
  },
    "num_workers": 2
}

调用此api时，如果集群创建成功，我想在下一个活动中捕获集群ID。

那么上述活动的输出是什么？如何在即时 ADF 活动中访问它们？

【问题讨论】：

标签： azure-data-factory azure-databricks

【解决方案1】：

对于 #2 ) 你能检查一下你是否改变了版本 “spark_version”：“5.3.x-scala2.11” 到 "spark_version": "6.4.x-scala2.11"

如果有帮助的话

【讨论】：