【发布时间】:2020-12-09 17:10:34
【问题描述】:
目前,复制功能会忽略所有 LAST_MODIFIED 日期属性早于当前日期 64 天的文件。 我正在寻找更改此参数(--> 30 天),但我不知道如何做到这一点以及如何做到这一点?
任何帮助将不胜感激:)
问候
【问题讨论】:
标签: copy snowflake-cloud-data-platform
目前,复制功能会忽略所有 LAST_MODIFIED 日期属性早于当前日期 64 天的文件。 我正在寻找更改此参数(--> 30 天),但我不知道如何做到这一点以及如何做到这一点?
任何帮助将不胜感激:)
问候
【问题讨论】:
标签: copy snowflake-cloud-data-platform
您的说法并不完全正确,它更像是雪花实际所做的事情的副产品。
Snowflake 会尝试确保不会多次加载文件。为此,它会维护有关已加载文件的元数据,但会在 64 天后将其删除。因此,如果一个文件超过 64 天,那么 Snowflake 不知道它的状态,并且默认情况下不会加载它,因为它不知道它是否已经加载了它。
您可以强制 Snowflake 加载这些状态未知的文件,但显然这确实存在加载同一个文件两次的风险。这个有详细描述here
您无法更改 Snowflake 保存此元数据的时间(始终为 64 天)。如果文件存在于某个阶段,它们将根据核心规则和 COPY INTO 语句中设置的任何参数值被加载或不加载
【讨论】: