【发布时间】:2020-05-29 22:30:11
【问题描述】:
AWS 美国地区的 SNOWFLAKE db 中有 10TB 的数据。要求是将列中具有特定标志的数据子集拆分到 AWS 澳大利亚区域。
拆分后,美国数据将在 6TB 左右,澳大利亚将在 4TB 左右。
有 10 个应用程序包含这种数据组合。
我可以想到 3 个选项来进行这种拆分。
1.将整个数据库从 A 复制到 B。然后在中断复制之前暂停应用程序。在B中,删除B数据库中filter是A的数据的数据。在 A 中,重复删除 where filter 是 B 的数据。克隆应用程序集并配置新集以读取/写入 B
2.将 B 中的 CTAS 与来自 A 的数据一起使用
3.使用 SSIS 将数据从 A 推送到 B。对于此选项,无需停止应用程序。
请就这些选项提出建议,以及是否有/还有可以实现这种数据拆分的选项。
问候, 玛尼
【问题讨论】:
-
我猜这取决于源上的活动以及是否有允许此类事情的窗口,但也许看看克隆和交换命令?因此,在源上从 A 进行美国克隆并对其进行适当的更改,然后在上线时将其与 A 交换。在创建美国克隆和删除数据时从 A 进行 AUS 克隆,然后将其复制到目标。在上线时,那一侧的行动是将其提升为主要的。这里有很多假设,但可能是一条可能的路线?...更多关于 SWAP 命令的信息:docs.snowflake.net/manuals/sql-reference/sql/…
-
感谢迈克·多诺万。我会检查文件。
标签: amazon-web-services ssis replication snowflake-cloud-data-platform