【问题标题】:Differences between databricks dbx execute and launch commanddatabricks dbx 执行和启动命令的区别
【发布时间】:2022-10-07 17:22:11
【问题描述】:

我有一个项目,我希望能够在数据块上运行一些入口点。为此,我使用了 dbx,具有以下 deployment.yaml 文件:

build:
  python: \"poetry\"

environments:
  default:
    workflows:
      - name: \"test\"
        existing_cluster_id: \"my-culster-id\"
        spark_python_task:
          python_file: \"file://tests/test.py\"

我可以使用execute 命令运行测试脚本:

poetry run dbx execute --cluster-id=my-culster-id test

我对这个选项的问题是它以交互方式启动脚本,我无法真正检索 Databricks 上执行的代码,除非查看集群的日志。

所以我尝试使用deploylaunch 命令,以便在Databricks 上创建和运行正确的作业。

poetry run dbx deploy test && poetry run dbx launch test

但是作业运行失败并出现以下错误,我不明白:

Run result unavailable: job failed with error message
Library installation failed for library due to user error. Error messages:
\'Manage\' permissions are required to modify libraries on a cluster

无论如何,您认为从我的本地计算机上运行可以在 Databricks 上跟踪的作业的最佳方式是什么?

    标签: databricks databricks-dbx


    【解决方案1】:

    我最近添加了一个关于executelaunch 差异的文档section,这会回答你的问题吗?

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2022-08-10
      • 1970-01-01
      • 2014-03-31
      • 2016-08-22
      • 2014-04-25
      • 2020-12-05
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多