【发布时间】:2019-09-01 02:27:51
【问题描述】:
我负责在拥有大量现有数据的 Redshift 集群上启用加密。基于this link,我知道启用后它将创建一个新集群并复制现有数据,在此期间以只读方式访问它。我们有许多针对 Redshift 集群运行的 ETL 作业,我正在尝试确定我预计迁移需要多长时间。是否有任何基于数据大小/节点类型/集群配置的估计可用?
【问题讨论】:
标签: encryption amazon-redshift
我负责在拥有大量现有数据的 Redshift 集群上启用加密。基于this link,我知道启用后它将创建一个新集群并复制现有数据,在此期间以只读方式访问它。我们有许多针对 Redshift 集群运行的 ETL 作业,我正在尝试确定我预计迁移需要多长时间。是否有任何基于数据大小/节点类型/集群配置的估计可用?
【问题讨论】:
标签: encryption amazon-redshift
是否有任何基于数据大小/节点的可用估计 类型/集群配置?
基本上没有。这需要多少时间取决于许多因素,其中一些是您无法控制的,因此很难预测。
您绝对应该首先对此进行测试,以便了解其中的含义以及可能需要多长时间,例如
根据我在调整集群大小方面的经验(类似但不完全相同的练习),由于本地 AWS 资源、网络流量等的可变性,我将允许您的测试时间有 +/- 10-15% 的余量。
如果可能,我建议终止与集群的所有连接以加快进程。我们发现一个经常轮询我们的集群的进程导致调整大小的过程需要更长的时间。
对于一个参考点,一个 20 节点的 ds 集群,大约 20 个节点。 25 Tb 的数据需要大约 20 小时才能调整大小。
【讨论】: