Amazon EMR：将 java 系统属性传递给自定义 jar答案

【问题标题】：Amazon EMR: Passing java system property to custom jarAmazon EMR：将 java 系统属性传递给自定义 jar
【发布时间】：2013-09-02 15:44:27
【问题描述】：

Amazon EMR 是否允许将系统属性传递给自定义 jar，例如hadoop jar -Dkey=value myjob.jar? （key，value上面在应用程序本身初始化时使用，而不是属于hadoop的Configuration对象。）

相关线程How to specify mapred configurations & java options with custom jar in CLI using Amazon's EMR? 讨论了仅通过引导操作将系统属性传递给hadoop 守护程序的方法，显然，这不允许对java 入口点类执行相同的操作。

【问题讨论】：

【解决方案1】：

如果您不想将传递给映射器或减速器，您可以在终端或脚本中执行以下操作 -

export HADOOP_OPTS="-Dkey=value"
hadoop jar ...

您也可以将它们放在$HADOOP_HOME/conf/hadoop-env.sh 中，如果您希望每个作业都使用它，而无需在每次运行作业时都明确定义它们。

希望这是有道理的。

【讨论】：

我对 EMR 比较陌生。在 EMR 中创建作业流时，必须提供自定义 jar 位置 + 其参数。什么时候我们可以通过终端访问集群？如果是这样，这应该在工作开始之前完成吗？谢谢，
你能检查一下引导操作，看看你是否可以传递环境变量吗？我认为，export HADOOP_OPTS="-Dkey=value" 是一个环境变量。如果您想使用 ssh 直接访问终端，you can follow this guide。谢谢
你也可以look at this
非常感谢您的建议。会试一试的。