升级 EMR 集群？

Question

我在 EMR 上使用 Spark、Zeppelin、Hue 等配置了一个小型、长时间运行的集群......我已经配置了 Hue 用户，我在 Zeppelin 中有几个正在使用的笔记本......一切正常好吧。但是，我正在运行 emr-4.3.0，我想升级到 emr-4.5.0 映像。我不想重新创建集群，因为我需要重新配置所有应用程序并弄清楚如何传输用户数据（保存的笔记本、保存在 Hue 中的查询等）。

如何将已运行的集群升级到最新的 EMR 映像？

Answer 1

很遗憾，没有用于升级 EMR AMI 的 EMR API。您将需要手动迁移到更新的 AMI。如果您担心不断更新。一些建议是 -

1. Hue 用户信息和查询历史 -> 您可以使用集中式 Hue DB 在外部数据库而不是本地 mysql 上存储用户/查询历史：http://docs.aws.amazon.com/emr/latest/ReleaseGuide/hue-rds.html

2. Zeppelin -> 使用持久 S3 存储来存储笔记本

Answer 2

我知道这已经很晚了。但是 EMR 现在允许您即时修改集群配置。 （从 EMR 版本 5.21 开始）

https://aws.amazon.com/blogs/big-data/modifying-your-cluster-on-the-fly-with-amazon-emr-reconfiguration/