【问题标题】:Resource Utilization for External Table Refresh外部表刷新的资源利用率
【发布时间】:2020-06-27 16:35:28
【问题描述】:

使用什么计算来刷新外部表。
执行时 alter external table x refresh 'custom_location'我在仓库选项卡中没有看到任何活动。 但是,该语句在运行 1 小时后超时。

【问题讨论】:

    标签: snowflake-cloud-data-platform


    【解决方案1】:

    外部表刷新执行是一项元数据管理功能,它使用 Snowflake 的the cloud services layer 来执行其工作。它不使用您帐户 (although, some charges are incurred) 中的虚拟仓库。

    您的问题包含一个问题,但缺少关于在执行手动刷新之前添加的how many files、它们的格式、partition columns 是否正在使用等信息。

    刷新工作可能需要更长的时间,具体取决于各种因素。如果这是一个重复问题,并且增量自动刷新功能不适合您,请考虑 logging a support case 让他们进行调查。

    【讨论】:

    • 您好,感谢您的回答。外部位置 (aws s3) 有超过 3M 的文件。外部位置是多键分区的,并且有很多小文件。这导致 Snowflake 阈值启动并导致初始摄取失败。 Snowflake 建议使用延迟初始化并且它有效。除了消耗的云服务层积分外,我还看到了计算积分。这不应该是吗?。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-07-09
    • 2018-07-19
    • 1970-01-01
    • 2023-02-03
    • 1970-01-01
    • 2016-01-11
    相关资源
    最近更新 更多