【问题标题】:Snowflake: Data Split from AWS US to AWS AustraliaSnowflake:数据从 AWS 美国拆分到 AWS 澳大利亚
【发布时间】:2020-05-29 22:30:11
【问题描述】:

AWS 美国地区的 SNOWFLAKE db 中有 10TB 的数据。要求是将列中具有特定标志的数据子集拆分到 AWS 澳大利亚区域。
拆分后,美国数据将在 6TB 左右,澳大利亚将在 4TB 左右。 有 10 个应用程序包含这种数据组合。 我可以想到 3 个选项来进行这种拆分。

1.将整个数据库从 A 复制到 B。然后在中断复制之前暂停应用程序。在B中,删除B数据库中filter是A的数据的数据。在 A 中,重复删除 where filter 是 B 的数据。克隆应用程序集并配置新集以读取/写入 B

2.将 B 中的 CTAS 与来自 A 的数据一起使用

3.使用 SSIS 将数据从 A 推送到 B。对于此选项,无需停止应用程序。

请就这些选项提出建议,以及是否有/还有可以实现这种数据拆分的选项。

问候, 玛尼

【问题讨论】:

  • 我猜这取决于源上的活动以及是否有允许此类事情的窗口,但也许看看克隆和交换命令?因此,在源上从 A 进行美国克隆并对其进行适当的更改,然后在上线时将其与 A 交换。在创建美国克隆和删除数据时从 A 进行 AUS 克隆,然后将其复制到目标。在上线时,那一侧的行动是将其提升为主要的。这里有很多假设,但可能是一条可能的路线?...更多关于 SWAP 命令的信息:docs.snowflake.net/manuals/sql-reference/sql/…
  • 感谢迈克·多诺万。我会检查文件。

标签: amazon-web-services ssis replication snowflake-cloud-data-platform


【解决方案1】:

这 10 个应用程序如何访问您的雪花表的整个设置尚不清楚,但对于提供解决方案很重要。

通过两个雪花帐户同步数据的最佳选择是使用数据库复制故障转移: https://docs.snowflake.net/manuals/user-guide/database-replication-failover.html

使用具有包含该字段的 where 子句的物化视图可以轻松地根据字段拆分数据。 https://docs.snowflake.net/manuals/user-guide/views-materialized.html

【讨论】:

    猜你喜欢
    • 2015-07-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-05-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-03-07
    相关资源
    最近更新 更多