【问题标题】:When I loaded file/s into Snowflake Stage i see difference in number of bytes loaded in snowflake stage compared to the files in my local system当我将文件加载到雪花阶段时,我看到雪花阶段加载的字节数与本地系统中的文件相比存在差异
【发布时间】:2020-08-23 04:58:12
【问题描述】:

当我将文件加载到 Snowflake Stage 时,我发现加载的字节数与本地系统中的文件相比有所不同,有人知道这个问题的原因吗?如何解决。

我本地的文件大小为 16622146 字节,加载到阶段后显示为 16622160 字节,我检查了 .csv 和 .txt 文件类型。 (我知道雪花不支持 .txt 文件)。 我使用 put 命令压缩了文件并使用 snowsql 加载到雪花阶段。

【问题讨论】:

  • 您是否在 PUT 语句中使用了 auto_compress?您会出于任何目的使用文件大小吗?
  • 我不知道这是否是一个答案,但是当您 PUT 文件时,Snowflake 会在您的本地计算机上对其进行加密,然后再发布到内部阶段。因此,stage 中的字节是加密的字节数,而您的本地副本不是。
  • @Abhi Reddy,我一直保持 auto_compress =false,当我在本地检查 MD5 和舞台上的文件时,它们不匹配..至少应该匹配。
  • @Mike Walton,当我比较 MD5 时它们不匹配,我怎么能说加载的文件与我本地的文件相同,看起来像字节差异导致 MD5 的差异。
  • 如果一个文件被加密而一个没有被加密,MD5 会有所不同。你试过加载它,看看数据是否相同?

标签: file size snowflake-cloud-data-platform difference stage


【解决方案1】:

从本地文件系统加载小文件时,雪花会自动压缩文件。请尝试该选项。

请参阅文档的这一部分 https://docs.snowflake.com/en/user-guide/data-load-prepare.html#data-file-compression

这将帮助您避免在压缩过程中出现任何与数据损坏相关的问题。

谢谢 巴拉吉

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-04-08
    • 1970-01-01
    • 2021-06-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-11-11
    • 2020-09-27
    相关资源
    最近更新 更多