【发布时间】:2022-10-07 17:22:11
【问题描述】:
我有一个项目,我希望能够在数据块上运行一些入口点。为此,我使用了 dbx,具有以下 deployment.yaml 文件:
build:
python: \"poetry\"
environments:
default:
workflows:
- name: \"test\"
existing_cluster_id: \"my-culster-id\"
spark_python_task:
python_file: \"file://tests/test.py\"
我可以使用execute 命令运行测试脚本:
poetry run dbx execute --cluster-id=my-culster-id test
我对这个选项的问题是它以交互方式启动脚本,我无法真正检索 Databricks 上执行的代码,除非查看集群的日志。
所以我尝试使用deploy 和launch 命令,以便在Databricks 上创建和运行正确的作业。
poetry run dbx deploy test && poetry run dbx launch test
但是作业运行失败并出现以下错误,我不明白:
Run result unavailable: job failed with error message
Library installation failed for library due to user error. Error messages:
\'Manage\' permissions are required to modify libraries on a cluster
无论如何,您认为从我的本地计算机上运行可以在 Databricks 上跟踪的作业的最佳方式是什么?