【问题标题】:databricks cli to update job shcedule用于更新作业计划的 databricks cli
【发布时间】:2021-12-13 23:42:46
【问题描述】:

我已在本地配置 Databricks cli,并且能够连接到 Azure Databricks 群集。用于我的工作站的链接参考 - git

  • 下面的命令使用 id 列出成功的作业
$ databricks jobs list --profile dev

假设我只想将计划(cron 表达式)更新到已部署在工作区中的特定作业,我看不到使用 databricks CLI 的任何选项。

注意:在我的例子中,作业是使用作业定义 json 创建的,用于在集群中创建作业。此 json 没有开始时的日程安排信息。

在工作区中创建或部署作业后,是否有任何选项可用于仅更新计划?

有一个选项可以立即运行命令,databricks jobs run-now

REST API 配置 https://docs.databricks.com/dev-tools/api/latest/jobs.html#operation/JobsCreate

【问题讨论】:

    标签: azure azure-databricks databricks-cli


    【解决方案1】:

    Databricks 作业 CLI 支持调用两个版本的 Databricks 作业 REST API:版本 2.1 和 2.0。 2.1 版增加了 支持多任务作业的编排;见Jobs with multiple tasksJobs API updates

    通过我看到的 MS 文档,您可以使用更新请求来更改现有工作。

    databricks jobs update --job-id 246 --json-file update-job.json
    

    在输入的 json 文件中调度信息块。

    "schedule": {
          "quartz_cron_expression": "0 0 0 * * ?",
          "timezone_id": "US/Pacific",
          "pause_status": "UNPAUSED"
        }
    

    参考:MS DOC - 表示 API 2.0 的单任务格式作业的示例 JSON 文档:

    {
      "job_id": 27,
      "settings": {
        "name": "Example notebook",
        "existing_cluster_id": "1201-my-cluster",
        "libraries": [
          {
            "jar": "dbfs:/FileStore/jars/spark_examples.jar"
          }
        ],
        "email_notifications": {},
        "timeout_seconds": 0,
        "schedule": {
          "quartz_cron_expression": "0 0 0 * * ?",
          "timezone_id": "US/Pacific",
          "pause_status": "UNPAUSED"
        },
        "notebook_task": {
          "notebook_path": "/notebooks/example-notebook",
          "revision_timestamp": 0
        },
        "max_concurrent_runs": 1,
        "format": "SINGLE_TASK"
      },
      "created_time": 1504128821443,
      "creator_user_name": "user@databricks.com"
    }
    

    【讨论】:

    • 好的。使用 JSON 定义可以更新作业计划。正在寻找 $ databricks jobs update --job-id 246 --schedule '0 0 0 ...' 之类的选项。
    猜你喜欢
    • 2021-08-08
    • 1970-01-01
    • 2012-06-04
    • 1970-01-01
    • 2017-10-01
    • 1970-01-01
    • 1970-01-01
    • 2022-01-01
    相关资源
    最近更新 更多