【发布时间】：2021-10-11 14:31:12
【问题描述】：
我能够从 databricks connect 中提取数据并完美地运行 spark 作业。我的问题是如何在远程集群上运行非火花或本机 python 代码。出于保密原因，不共享代码。
【问题讨论】：
标签： python databricks azure-databricks databricks-connect
【发布时间】：2021-10-11 14:31:12
【问题描述】：
当您使用 databricks 连接时，您的本地计算机是 Spark 作业的驱动程序，因此非 Spark 代码将始终在您的本地计算机上执行。如果你想远程执行它，那么你需要将它打包为wheel/egg，或者将Python文件上传到DBFS（例如，通过databricks-cli）并将你的代码作为Databricks作业执行（例如，使用Run Submit command Jobs REST API 或 create a Job with databricks-cli 并使用 databricks jobs run-now 执行它）
【讨论】：