【问题标题】:Export from Amazon RDS Postgresql to S3 using aws_s3 extension in gzip format?使用 gzip 格式的 aws_s3 扩展从 Amazon RDS Postgresql 导出到 S3?
【发布时间】:2022-10-14 23:03:57
【问题描述】:

我有一个运行 PostgreSQL 的 Amazon RDS 数据库。

我想使用 aws_s3 extension 将数据导出到 Amazon S3 存储桶。

它正在成功运行。但是,我希望它以 gzip 格式导出数据,因为将其导出为普通 CSV 格式对于较大的表需要更长的时间。

我的表大小> 50 GB。

有人可以建议我最好的方法吗?

【问题讨论】:

    标签: postgresql amazon-web-services amazon-s3 amazon-rds


    【解决方案1】:

    这不是一个完整的答复,但我目前没有足够的声誉评论你的问题。

    正如我在 AWS 的文档中看到的,用于将数据从 RDS for PgSQL 传输到 S3 (source),可以将一些 options 参数传递给 aws_s3. query_export_to_s3,它们对应于 PostgreSQL COPY 参数。
    当转到此COPYdocumentation 时,您似乎可以利用PROGRAM 参数导出为.gz 文件。下面给出了example

    不幸的是,我不能自己测试它,因为我没有在我的实例上安装 aws_s3 扩展的正确权限,并且必须找到解决方法,但也许这可能有效,或者引导您走上类似的道路解决方案。

    希望这可以帮助 ! :)

    【讨论】:

      猜你喜欢
      • 2021-01-11
      • 1970-01-01
      • 2020-02-11
      • 1970-01-01
      • 2015-08-26
      • 1970-01-01
      • 2021-02-06
      • 1970-01-01
      • 2012-03-12
      相关资源
      最近更新 更多