【问题标题】:Snowflake: Unload table Data to JSON, how to do without .gz compression?雪花:将表数据卸载到JSON,没有.gz压缩怎么办?
【发布时间】:2020-11-26 15:06:19
【问题描述】:

创建或替换 stage elasticsearch_dev url='s3://s3bucket/ElasticSearch' 凭据=(aws_role='arn:aws:iam::XXXXXXX:role/role_snowflake')

从(选择)复制到@elasticsearch_dev/test/SAMPLE.json To_JSON(object_construct(*)) from Sample) file_format = (type = json), 覆盖=TRUE;

我在 s3 中将示例表卸载为 JSON 格式,当我查看 S3 时,文件被压缩为 SAMPLE.json_0_0_0.json.gz

s3 文件不应压缩,应类似于 SAMPLE.json_0_0_0.json

我怎样才能做到这一点?

【问题讨论】:

    标签: snowflake-cloud-data-platform snowflake-schema


    【解决方案1】:

    使用compression=none参数

    Snowflake 文档中对此进行了说明,以及您可以使用的所有其他参数: https://docs.snowflake.com/en/sql-reference/sql/copy-into-location.html#type-json

    【讨论】:

    • 欢迎来到本站!您可能想详细说明您的答案:在哪里以及如何使用该参数?
    【解决方案2】:

    压缩实际上是一种很好的做法。我相信您有一个不进行压缩的用例。我还没有尝试过,但看起来像在 formatTypeOptions 下,您可以禁用压缩,如下所示 通过将 COMPRESSION 设置为 NONE

    -- 如果 FILE_FORMAT = ( TYPE = JSON ... ) 压缩 = 自动 |压缩包 | BZ2 |布罗特里 | ZSTD |放气 | RAW_DEFLATE |

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-04-21
      • 1970-01-01
      • 1970-01-01
      • 2022-01-15
      • 1970-01-01
      • 2022-01-13
      • 2020-05-09
      • 1970-01-01
      相关资源
      最近更新 更多