【发布时间】：2019-12-02 19:16:21
【问题描述】：
有没有办法在本地使用databricks-connect 执行 Spark 代码？
原因是我想在我的 CI/CD 管道中执行一些测试，而不需要启动和运行集群。
【问题讨论】：
-
我在单元测试模拟 spark_session 时遇到了类似的问题。你是怎么解决的？
标签： azure apache-spark databricks azure-databricks
【发布时间】：2019-12-02 19:16:21
【问题描述】：
不，databricks-connect 需要一个正在运行的集群。
如果您不使用任何 databricks 特定代码（如 dbutils），您可以在本地运行 spark 并针对它执行 - 假设您仍然可以访问所需的数据源。
【讨论】：
-
令人遗憾的消息，因为我需要等待开源 Delta Lake 支持 Databricks 中可用的 DDL/DML。谢谢。