Snowflake：数据加载文件大小建议

Question

https://docs.snowflake.com/en/user-guide/data-load-considerations-prepare.html#general-file-sizing-recommendations 并行运行的加载操作的数量不能超过要加载的数据文件的数量。为了优化负载的并行操作数量，我们建议生成压缩后大小约为 100-250 MB（或更大）的数据文件。

我从 Snowflake 文档获得了上述详细信息，他们只是说（或更大）有人可以解释推荐的最大尺寸是多少。

Answer 1

这是在聚合较小的文件（从而减少开销）和将较大的文件拆分为较小的文件（从而分配工作负载和提高并行度）之间的一个考虑因素。

满足上述考虑的一般大小建议为 100-250MB。这就是文档中的内容。术语“或更大”只是意味着，您在个人情况下的最佳文件大小也可以在 250MB 以上，例如300MB，取决于您的考虑结果。