如何在 Azure HDInsight 的工作节点上安装自定义软件？答案

【问题标题】：How do you install custom software on worker nodes in Azure HDInsight?如何在 Azure HDInsight 的工作节点上安装自定义软件？
【发布时间】：2014-11-18 00:40:30
【问题描述】：

我使用 PowerShell 创建了一个 Azure HDInsight 群集。现在我需要在工作节点上安装一些自定义软件，这些软件是我将使用 Hadoop 流运行的映射器所需的。我还没有找到任何可以帮助我完成这项任务的 PowerShell 命令。我可以准备一个自定义作业来设置所有工作人员，但我不相信这是最好的解决方案。有更好的选择吗？

编辑：

借助 AWS Elastic MapReduce，您可以选择在创建集群时定义的引导操作中安装其他软件。我正在寻找类似的东西。

您可以使用引导操作来安装其他软件并更改集群上应用程序的配置。引导操作是在 Amazon EMR 启动集群时在集群节点上运行的脚本。它们在 Hadoop 启动之前和节点开始处理数据之前运行。

来自：Create Bootstrap Actions to Install Additional Software

【问题讨论】：

标签： azure azure-hdinsight

【解决方案1】：

简短的回答是你没有。从缓存的角度来看，这并不理想，但是您应该能够将所有作业依赖项捆绑到 map reduce jar 中，该 jar 由 YARN（Hadoop 的一部分）为您分布在集群中。这对最终用户来说大致是透明的，因为这一切都是通过作业提交过程来处理的。

如果您需要一些大型的东西，它是许多作业的共享依赖项，并且您不希望每次都将其复制出来，您可以将其保存在 wasb:// 存储中，并在类路径中引用它，但是例如，如果您使用 .NET Streaming API，可能会导致您变得复杂。

【讨论】：

是不是应该在本地安装软件，将安装目录下的文件添加到jar中让YARN分发？

【解决方案2】：

我刚刚从拼贴中听说我需要更新我的 Azure PS，因为最近添加了一个新的 Cmdlet Add-AzureHDInsightScriptAction，它就是这样做的。

Customize HDInsight clusters using Script Action

【讨论】：

借助此功能，HDInsight 现在支持使用自定义 脚本操作 here 安装 Spark。