从本地计算机连接到 Databricks 时出错答案

【问题标题】：Error Connecting to Databricks from local machine从本地计算机连接到 Databricks 时出错
【发布时间】：2020-06-16 01:33:37
【问题描述】：

我正在尝试从我的 Mac(Mojave) 连接到 Databricks。

我做了一个pip install -U databricks-connect==5.5.*

我启动了一个 spark-shell，但是当我尝试在 spark 中查询时出现以下错误

原因：com.databricks.service.SparkServiceConnectionException：无效令牌

To connect to a Databricks cluster, you must specify an API token.
API Token: The API token used to confirm your identity to Databricks
  - Learn more about API tokens here: https://docs.databricks.com/api/latest/authentication.html#generate-a-token
  - Get current value: spark.conf.get("spark.databricks.service.token")
  - Set via conf: spark.conf.set("spark.databricks.service.token", <your API token>)
  - Set via environment variable: export DATABRICKS_API_TOKEN=<your API token>

然后我运行 spark.conf.get("spark.databricks.service.token") 并取回我创建的令牌。我们尝试在 Windows 机器上使用此令牌，它可以工作。

【问题讨论】：

您是否尝试过创建新令牌并使用它？
是的，我确实有。
您通常如何将令牌提供给火花？通过 conf 文件、环境变量或 spark.conf.set？
我正在通过 conda 使用 dbconnect。有一个 databricks-connect 配置命令，其中配置了主机名、集群名、令牌等。
我相信你一直在关注this documentation databricks-connect test 返回什么？

标签： apache-spark databricks azure-databricks databricks-connect

【解决方案1】：

运行：

databricks-connect configure

按照命令提示符上的步骤操作。您将被要求输入您的Databricks Token，输入您的令牌，按照其余步骤操作，应该可以解决。

PS：当您被要求输入您的Databricks Host: 时，请提供该区域的通用主机名，后跟您的 org-id。例如：

https://westeurope.azuredatabricks.net/?o=xxxx 而不是https://adb-xxxx.xy.azuredatabricks.net/?o=xxxx

【讨论】：