从 AWS S3 复制到 Snowflake 需要比平时更多的时间

Question

我们正在尝试使用复制命令将数据从 AWS S3 加载到 Snowflake 阶段，这比平时花费了更多时间，文件大小为 3 GB（此大小包括文件夹中存在的所有文件）。下面是复制命令。

`

create or replace stage mystage
url='s3://s3bucket/folder'
storage_integration=myparquet
file_format = (type = parquet) PURGE=TRUE;

copy into mytable
from @mystage/mytable/
pattern='.*.[.]parquet'
MATCH_BY_COLUMN_NAME = CASE_INSENSITIVE TRUNCATECOLUMNS = TRUE force=TRUE;`

请告诉我，我们怎样才能快速加载。 谢谢，

Answer 1

你说，这比平时要花更多的时间。在这种情况下，我假设您对相同大小的仓库使用相同的命令来处理相似数量的数据。在这种情况下，仅通过查看 SQL 命令是无法诊断问题的。如果您还没有检查，您可以将您的良好运行与当前（不良）运行进行比较，看看现在是否有任何不同。

如果我是你，我会向 Snowflake Support 提交支持票。他们可以调查查询日志、执行统计信息并为您提供一些见解以帮助您提高性能。