【问题标题】:Snowflake task for historical data load, time limit历史数据加载的雪花任务,时间限制
【发布时间】:2019-11-13 18:58:51
【问题描述】:

我正在尝试从 Snowflake 中的一个表到另一个表进行完整的历史加载,包括转换。我预计它需要一个多小时。 我想安排此负载并让它在一夜之间运行,这样我就不必保持与网络的连接或冒连接问题的风险。

我尝试使用计划任务来执行此操作。

问题:有 60 分钟的限制。你可以让它更短(STATEMENT_TIMEOUT_IN_SECONDS = 60),但你不能让它看起来更长。 https://docs.snowflake.net/manuals/user-guide/tasks-ts.html#task-timed-out-or-exceeded-the-schedule-window

有其他人遇到过这种情况并有建议吗?

【问题讨论】:

    标签: task snowflake-cloud-data-platform


    【解决方案1】:

    另一种方法是扩展您的 WAREHOUSE,如果您的 TASK 是可并行化的,这很有意义。

    【讨论】:

      【解决方案2】:

      这是对每个帐户执行任务的软限制。您应该可以联系 Snowflake 支持以延长此时间。

      【讨论】:

        【解决方案3】:

        是的,您应该向雪花支持提出案例并请求增加任务限制。请检查完成任务通常需要的时间并请求设置该时间。限制将在帐户级别设置。此外,开发人员正在开发未来可以在任务级别设置超时的功能。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2021-04-12
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          相关资源
          最近更新 更多