databricks rest api 奇怪的缺少参数答案

【问题标题】：databricks rest api weird missing parameterdatabricks rest api 奇怪的缺少参数
【发布时间】：2020-01-14 15:09:31
【问题描述】：

我注意到，an unanswered question 在尝试创建集群时从 azure databricks rest api 2.0 获得了奇怪的响应。

error_code': 'INVALID_PARAMETER_VALUE', 'message': 'Missing required field: size'

有人解决了这个问题吗？有新的 API 吗？还是其中有一些错误？

我实际上使用了来自ms databricks documentation 的示例，我不得不更改一些东西，但我使用了

"autoscale": {
              "min_workers": 2,
              "max_workers": 8
                }

我认为这个奇怪的错误可能与它有关，所以我设置了num_workers，它也导致了同样的问题。

我必须进行的其他更改

我使用了没有编码的纯令牌字符串（它不适用于编码）。
我用headers={"Authorization": "Bearer %s" % (TOKEN)} 否则会出现错误 abotu 标头。
我也使用了(response.content)，而不是尝试从json读取错误 response.json()["error_code"]，导致错误（我没有深入进去，我只需要消息，出了什么问题）

【问题讨论】：

标签： python azure rest databricks azure-databricks

【解决方案1】：

好的。我不知道这是否是一种有效的方法，但这实际上在我的 azure databricks 资源上实用地创建了集群。除了我上面提到的之前的更改，我还删除了"new_cluster"（参见示例here）和

response = requests.post(
        'https://%s/api/2.0/clusters/create' % (DOMAIN),
        headers={"Authorization":  "Bearer %s" % (TOKEN)},
        json={
                "cluster_name": name.lower().strip(),
                "spark_version": "6.2.x-scala2.11",
                "node_type_id": "Standard_D3_v2",
                "spark_env_vars": {
                    "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
                },
                "spark_conf": {
                    "spark.databricks.cluster.profile": "serverless",
                    "spark.databricks.repl.allowedLanguages": "sql,python,r"
                },
                "autoscale": {
                    "min_workers": 2,
                    "max_workers": 8
                },
                "ssh_public_keys": [],
                "autotermination_minutes":50
        }
    )

【讨论】：