将数据从 SQL Server IN Cloud (AWS) 传输到 SQL Server NOT in Cloud 的最佳自动化 ETL 方法是什么？答案

【问题标题】：What is the best automated ETL method to transfer data from SQL Server IN cloud (AWS) to SQL Server NOT in Cloud?将数据从 SQL Server IN Cloud (AWS) 传输到 SQL Server NOT in Cloud 的最佳自动化 ETL 方法是什么？
【发布时间】：2019-07-29 09:52:25
【问题描述】：

我们有 2 个 SQL Server 数据库。其中之一是迁移到 AWS 云。

Amazon RDS 是将 SQL Server 迁移到 AWS 的唯一方法吗？
将表数据从云中的 SQL Server 自动传输到不在云中的 SQL Server 的最佳方法是什么？

在我们的案例中，数据量和复杂性并不高。我们只需要迁移一张表，并且我们希望它自动化，使其每晚运行。

AWS Glue 对此有用吗？是否有助于将数据从云内部加载到外部？

我也刚刚找到了 DMS - https://aws.amazon.com/dms/

但主页显示“迁移您的数据库 **to**AWS，停机时间最短”

我可以用 DMS 做相反的事情吗？我可以将数据**FROM**AWS 迁移到 AWS 之外吗？

【问题讨论】：

您更喜欢从本地“推送”方法还是从云方法“拉”？所有必需的表都有主键吗？您可以随时尝试 sql 复制
推或拉 - 我猜应该没问题。 AWS Glue 会有帮助吗？您能否为 SQL 复制提供任何资源丰富的链接？可以自动化吗？
我会让你去谷歌 SQL 复制。看起来 AWS 胶水是一种 ETL 工具，这意味着您需要做更多的自定义工作才能获得您想要的东西。这真的取决于你有多少行和多少张表。如果您有 10 个表，每个表的行数少于 10,000 行，则每次都可以删除并重新加载。
@Nick.McDermaid - 谢谢！如果我需要自动将数据从云内部的 SQL Server 复制到云外部的 SQL Server，SQL 复制会起作用吗？
也许吧。你得试试。看起来 MDS 无论如何都是复制的包装器。

标签： sql-server amazon-web-services etl

【解决方案1】：

Amazon RDS 并不是在云中托管 SQLServer 的唯一方法。您可以使用 EC2 实例并手动安装 SQLServer。如果您想拥有 sys_admin 权限，这可能是有意义的。但要小心，因为您必须自己修补所有内容。我不建议这样做。
DMS 是每晚迁移数据的好方法。您正在寻找的服务是来自 DMS 的连续数据复制。胶水也可用于此任务。 Glue 的目的绝不是进行数据库复制。因此，如果出现错误，监控复制和调试可能会很痛苦。这就是我推荐 DMS 的原因。

【讨论】：