无法在 Spark 应用程序中设置环境变量答案

【问题标题】：Unable to set Environment Variables in Spark Application无法在 Spark 应用程序中设置环境变量
【发布时间】：2018-05-12 00:22:34
【问题描述】：

我正在尝试为我的 spark 应用程序设置环境变量，以 local 模式运行。

这是 spark-submit 作业：-

spark-submit --conf spark.executorEnv.FOO=bar --class com.amazon.Main SWALiveOrderModelSpark-1.0-super.jar

但是，当我试图访问这个时：-

System.out.println("env variable:- " + System.getenv("FOO"));

输出是：-

env variable:- null

有谁知道我该如何解决这个问题？

【问题讨论】：

【解决方案1】：

spark.executorEnv.[EnvironmentVariableName]is used to（强调我的）：

将 EnvironmentVariableName 指定的环境变量添加到 Executor 进程。

它在驱动程序上不可见，org.apache.spark.SparkConf 除外。要使用 System.getenv 访问它，您必须在正确的上下文中进行，例如从任务中：

sc.range(0, 1).map(_ => System.getenv("FOO")).collect.foreach(println)

bar

【讨论】：

【解决方案2】：

您正在使用 SparkConf 设置 Spark 环境变量。您还必须使用 SparkConf 来获取它

sc.getConf.get("spark.executorEnv.FOO")

【讨论】：