【问题标题】:How to best maintain a Redshift cluster如何最好地维护 Redshift 集群
【发布时间】:2021-08-11 15:15:32
【问题描述】:

我们目前的 Redshift 集群存在问题,因为我们总是经常用完空间(我们必须每两周购买一个新节点)并且相同查询的查询速度正在下降。

除了定期运行 ANALYZE 和 VACUUM 之外,我们还有哪些其他选项可以更好地维护我们的 Redshift 集群?

【问题讨论】:

  • 您是否经常添加大量新数据?您有数据停用政策吗?您是否针对稳定状态下将拥有的主动查询数据量(在到达和退休之间将存在于集群上的数据量)进行了调整?如果是的话,请分享
  • 或者这是因为增加了查询负载,其中包含一些高溢出查询?还是两者兼而有之?您是否需要预置磁盘使用高峰,或者数据大小是否稳定增加?我已经看到了导致磁盘填满和速度降低的许多原因,因此需要更多信息来为您提供行动建议

标签: amazon-web-services amazon-redshift


【解决方案1】:

查看频谱表。您必须将旧数据存档到 s3 并在其上创建频谱表。每周添加新节点不是一个可持续的模式,并且会失败。我们定期将 2 个月前的数十亿条记录移至 s3 并在其上创建频谱表。您只需为您查询的数量付费,与新节点相比,该数量相当低。此外,随着音量的增加,性能也会下降。它更好地归档旧数据并将最近的可查询数据仅保留在表中。

【讨论】:

    猜你喜欢
    • 2012-08-04
    • 2010-10-01
    • 1970-01-01
    • 2012-01-14
    • 2021-05-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-05-23
    相关资源
    最近更新 更多