如何在现有集群上升级 hadoop - 谷歌云答案

【问题标题】：how to upgrade hadoop on existing cluster - google cloud如何在现有集群上升级 hadoop - 谷歌云
【发布时间】：2015-07-15 22:44:13
【问题描述】：

这个问题是独立的。我部署了一些集群，现在我想升级我的 hadoop 版本。我试图检查bdutil 或gsutil，我没有找到如何让它工作！

【问题讨论】：

我得到了 google 工程师的建议 - 事实上，这个功能似乎不受支持 -
我会重新总结为一个实际的答案，以防其他人有同样的问题。

标签： hadoop google-cloud-storage google-compute-engine google-cloud-platform

【解决方案1】：

不幸的是，由于 Hadoop 1 和 Hadoop 2 之间的各种路径、库依赖项和守护进程有很大不同，因此目前没有简单的就地升级方法。特别是，即使库升级和守护程序更改是协调一致的，对集群进行的任何自定义也可能会中断，因此，一般来说，简单地删除并重新创建集群会更容易、更安全。

为了帮助防止过度卡在单个集群实例上并从能够从头开始重新部署可重现集群的敏捷性中受益，最佳实践建议是将您可能需要的任何自定义项隔离到自定义“_env.sh”中"文件。 spark_env.sh extension 是一个很好的例子，说明了如何在现有 bdutil 安装之上混合额外的自定义项。再举一个例子，如果您只是想在 bdutil 安装结束时在所有机器上安装 openjdk-7-jdk，您将创建文件 install_jdk.sh 和 add_jdk_env.sh：

# file: install_jdk.sh

sudo apt-get install openjdk-7-jdk

对于 add_jdk_env.sh：

# file: add_jdk_env.sh

# Create a command group which references the new install_jdk.sh file.
COMMAND_GROUPS+=(
  "install_jdk:
     install_jdk.sh
  "
)

# Run that command group on master and workers.
COMMAND_STEPS+=(
  'install_jdk,install_jdk'
)

最后，您只需将其混合到您的 bdutil 部署中：./bdutil -e add_jdk_env.sh deploy

【讨论】：