【问题标题】:Snowflake: copy function and LAST_MODIFIED date parameterSnowflake:复制函数和 LAST_MODIFIED 日期参数
【发布时间】:2020-12-09 17:10:34
【问题描述】:

目前,复制功能会忽略所有 LAST_MODIFIED 日期属性早于当前日期 64 天的文件。 我正在寻找更改此参数(--> 30 天),但我不知道如何做到这一点以及如何做到这一点?

任何帮助将不胜感激:)

问候

【问题讨论】:

    标签: copy snowflake-cloud-data-platform


    【解决方案1】:

    您的说法并不完全正确,它更像是雪花实际所做的事情的副产品。

    Snowflake 会尝试确保不会多次加载文件。为此,它会维护有关已加载文件的元数据,但会在 64 天后将其删除。因此,如果一个文件超过 64 天,那么 Snowflake 不知道它的状态,并且默认情况下不会加载它,因为它不知道它是否已经加载了它。

    您可以强制 Snowflake 加载这些状态未知的文件,但显然这确实存在加载同一个文件两次的风险。这个有详细描述here

    您无法更改 Snowflake 保存此元数据的时间(始终为 64 天)。如果文件存在于某个阶段,它们将根据核心规则和 COPY INTO 语句中设置的任何参数值被加载或不加载

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-04-15
      • 2020-02-16
      • 1970-01-01
      • 1970-01-01
      • 2020-11-20
      • 1970-01-01
      相关资源
      最近更新 更多