在 Azure Databricks 上的远程集群设置中运行 spark scala 脚本

【问题标题】：Run a spark scala script in a remote cluster setup on Azure databricks在 Azure Databricks 上的远程集群设置中运行 spark scala 脚本
【发布时间】：2022-01-24 07:18:50
【问题描述】：

我在 intelliJ 中编写了一个 spark scala(sbt) 应用程序，我想在 Azure databricks 上托管的远程集群上运行它。避免手动将 jar 上传到 dbfs 以测试代码的所有步骤

【问题讨论】：

标签： azure apache-spark azure-databricks databricks-connect

【解决方案1】：

Databricks Connect 允许您将自己喜欢的 IDE（Eclipse、IntelliJ、PyCharm、RStudio、Visual Studio Code）、笔记本服务器（Jupyter Notebook、Zeppelin）和其他自定义应用程序连接到 Databricks 集群。

按照此official document 中给出的步骤配置 IntelliJ 和 Databricks 集群。

【讨论】：

谢谢。我的项目使用 maven，但文档提供了 sbt 参考过程。如何在 sbt 等 maven 中提供非托管基础引用？