【问题标题】:How to export AWS RDS snapshot to your own S3 bucket?如何将 AWS RDS 快照导出到您自己的 S3 存储桶?
【发布时间】:2016-07-27 06:23:36
【问题描述】:

我正在使用 SQL Server Express AWS RDS 实例。 RDS 每天都在备份。

我发现 RDS 快照实际上存储在 S3 中。但是是否可以将数据导出到您自己的S3 存储桶中?

【问题讨论】:

  • 您想将它们导出到您自己的 S3 存储桶的原因是什么?是否可以将其与 redshift 或其他工具一起使用?还是为了节省成本?

标签: amazon-web-services amazon-s3 aws-rds


【解决方案1】:

对于 Google 员工:

截至 2020 年 9 月 11 日,无法直接访问 RDS 快照,也无法将其导出到 S3。

问题:你可以export snapshot _data_ to S3,但不能快照本身。

快照_data_以 Parquet 格式提供,因此您只能使用 Athena 等进行分析。

出于灾难恢复的目的,您可以复制快照到第二个区域,或共享快照到其他帐户。

以上内容经常出现在认证考试中。

虽然对于非常长的备份,您可以将 export-to-s3 功能用作officially recommended

【讨论】:

    【解决方案2】:

    RDS 现在提供将数据快照到 S3 存储桶的功能。功能提供完整的数据库备份或选择性模式/表备份。备份以 Parquet 格式存储到 S3 存储桶中。

    https://aws.amazon.com/about-aws/whats-new/2020/01/announcing-amazon-relational-database-service-snapshot-export-to-s3/

    您还可以根据以下示例使用 lambda 自动化它—— https://github.com/aws-samples/rds-snapshot-export-to-s3-pipeline

    **更新 -- ** 目前,此功能不适用于数据备份/恢复目的。请参阅下面 Jim 的评论。

    【讨论】:

    • 我正在研究使用新功能备份到 S3。您可以在某些地区将快照导出到 S3,但不保证能够恢复它们。这是来自亚马逊员工“您好。此服务不是为 DR 目的而构建的。我们目前将数据卸载到 S3 以进行查询和分析,您将无法将 Parquet 数据加载回 RDS。希望能回答您的问题。请随意更多问题请私信我。” reddit.com/r/aws/comments/et3mxm/…这个时候可以恢复一些aurora(mysql)或者mysql s3的导出。
    【解决方案3】:

    快照存储在 S3 中,但 AWS 不会让它们可见。 AWS 论坛中的类似问题/答案:https://forums.aws.amazon.com/message.jspa?messageID=560995。您将需要进行数据库转储。 https://msdn.microsoft.com/en-us/library/ms187510.aspx 看起来是一个很好的指南。

    2 月 3 日更新: AWS 现在允许您访问 s3 快照,您可以下载并在其他地方使用,也可以直接使用 athena 或 redshift 使用

    https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/USER_ExportSnapshot.html

    【讨论】:

    • 您可以自动复制数据库,但不能自动生成实际快照。最简单的事情可能是安排一个脚本连接到数据库并将数据库转储到文件中,而不用担心快照。如果必须从快照中复制,则必须使用快照启动新的 RDS 数据库,连接到数据库,然后将其转储到文件中。
    【解决方案4】:

    您不能使用快照来做到这一点。您必须使用 mysqldump 之类的工具或数据库的等效工具来导出数据。

    【讨论】:

    • 您只能将快照复制到 AWS 中的另一个快照。您无法将其复制到本地计算机。
    • 谢谢.. 最后一个问题,复制的快照是永久保留还是与 rds 实例的保留策略相同?
    • 复制的快照算作您的手动快照之一。您可以随时在一个区域中拥有多达 50 个手动快照。它们永远存在,或者直到您手动删除它们。
    • 这令人讨厌的另一个原因是用户应该能够通过使用 s3-IA 来节省 $$$(它大约是 s3 成本的三分之一,而快照是 IA 的完美用例)。
    • @AndyHayden 您应该就此向 AWS 支持提交票证。在这里抱怨它不会引起亚马逊的注意。
    猜你喜欢
    • 2018-07-03
    • 1970-01-01
    • 1970-01-01
    • 2022-08-11
    • 1970-01-01
    • 2022-01-22
    • 2017-01-10
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多