【发布时间】:2020-08-23 04:58:12
【问题描述】:
当我将文件加载到 Snowflake Stage 时,我发现加载的字节数与本地系统中的文件相比有所不同,有人知道这个问题的原因吗?如何解决。
我本地的文件大小为 16622146 字节,加载到阶段后显示为 16622160 字节,我检查了 .csv 和 .txt 文件类型。 (我知道雪花不支持 .txt 文件)。 我使用 put 命令压缩了文件并使用 snowsql 加载到雪花阶段。
【问题讨论】:
-
您是否在 PUT 语句中使用了 auto_compress?您会出于任何目的使用文件大小吗?
-
我不知道这是否是一个答案,但是当您 PUT 文件时,Snowflake 会在您的本地计算机上对其进行加密,然后再发布到内部阶段。因此,stage 中的字节是加密的字节数,而您的本地副本不是。
-
@Abhi Reddy,我一直保持 auto_compress =false,当我在本地检查 MD5 和舞台上的文件时,它们不匹配..至少应该匹配。
-
@Mike Walton,当我比较 MD5 时它们不匹配,我怎么能说加载的文件与我本地的文件相同,看起来像字节差异导致 MD5 的差异。
-
如果一个文件被加密而一个没有被加密,MD5 会有所不同。你试过加载它,看看数据是否相同?
标签: file size snowflake-cloud-data-platform difference stage