为什么 --conf 参数在 yarn-cluster 模式下不起作用（但在 yarn-client 和本地起作用）？

Question

根据Spark Documentation：

--conf: Arbitrary Spark configuration property in key=value format. For values that contain spaces wrap “key=value” in quotes (as shown).

确实，当我使用该参数时，在我的 Spark 程序中，我可以使用以下方法检索键的值：

System.getProperty("key");

当我在本地测试我的程序以及在纱线客户端模式下时，这有效；我可以记录 key 的 value 并查看它是否与我在命令行中编写的内容相匹配，但是当我提交时它返回 null yarn-cluster 模式下的程序完全相同。

当我在 yarn-cluster 模式下提交我的 Spark 应用程序时，为什么我无法检索给定为 --conf "key=value" 的键值？

有什么想法和/或解决方法吗？

Answer 1

显然，通过--conf，您应该只传递特定于 Spark 的属性。如果你想传递任意键值对，那么你应该像这样传递它们：

--driver-java-options "-Dkey=someValue"

然后您可以通过以下方式检索键的值：

System.getProperty("key");