这可能更多的是雪花知识问题而不是问题。 我正在运行从 s3 到雪花的复制命令。 我看到扫描 100 个字节需要 30 分钟，但是即使在将字节扫描到 100% 之后，也需要 40 分钟才能完成查询。
谁能解释一下这里发生了什么，因为这样我觉得很难估计在查看历史记录屏幕时任何运行复制命令可能需要多少时间。
【问题讨论】：
标签： snowflake-cloud-data-platform
听起来您指的是查询配置文件的 Bytes Scanned 列中的 100%。如果您的 COPY INTO 命令中有转换，这将需要额外的时间来处理。正如其他人所提到的，仓库的大小会产生影响，因为仓库的大小将决定内核和线程的数量，这直接影响写入的并行度。
简而言之，扫描的字节数只是对 Snowflake 读取的将由作业处理的总数据的度量，但它仍然需要处理作业。
【讨论】：
我们过去发现每个 xsmall 可以从 S3 加载 40mb/s，因此一个 small 可以加载 2x。这就是我们对加载速度的基准预期。
如果您从存储桶的根目录s3://buck_name/ 进行处理，但该目录中有数百万个文件，而只有一个新的 100 字节文件，则可以合理地减慢副本速度。但我怀疑情况并非如此。
接下来可能是无法运行查询部分，该部分在配置文件中将有多个配置文件阶段选项卡，例如1 \ 1001 \ 2002，其中以千为单位的阶段增量表明查询无法执行，并且它被重新运行。这有时可能是由于仓库损坏，有时是由于当前版本的新运行时失败，重试可以在旧版本上运行以查看是否成功。但通常有一些线索，随着时间的推移，我们看到“溢出到内部/外部存储”是我们在发生错误时看到的。
但实际上，如果事情看起来“真的”很奇怪，我会开一张支持票，并要求对正在发生的事情进行解释。与往常一样，这就是我所看到的，这就是为什么我觉得它很奇怪..
【讨论】：