我正在拼命地尝试在 Sparklyr 中更改我的 JVM 的时区（使用 spark 2.1.0）。我想要GMT 无处不在。
我正在设置：
config$`driver.extraJavaOptions` <-"Duser.timezone=GMT"
在我的 spark_config() 文件中，但不幸的是，在 Spark UI 中，我仍然看到（在系统属性下）user.timezone 设置为 America/New_York。
有什么想法吗？ 谢谢！
【问题讨论】：
标签： r apache-spark sparklyr
一些事情：
spark.driver.extraJavaOptions。-。应该是-Duser.timezone=GMT。spark.driver.extraJavaOptions 和spark.executor.extraJavaOptions。一般情况下spark.driver.extraJavaOptions 和类似的属性应该在应用程序之外设置。如the official documentation 中所述：
在客户端模式下，这个配置不能通过 SparkConf 直接在你的应用程序中设置，因为此时驱动程序 JVM 已经启动。相反，请通过 --driver-java-options 命令行选项或在您的默认属性文件中进行设置。
在驱动程序上调用corresponding Java methods 应该可以工作
# sc is spark_shell_connection / spark_connection
sparklyr::invoke_static(sc, "java.util.TimeZone", "getTimeZone", "GMT") %>%
sparklyr::invoke_static(sc, "java.util.TimeZone", "setDefault", .)
但可能不会反映在 UI 中，您仍然需要 spark.executor.extraJavaOptions。
一般情况下，您应该在配置目录中编辑spark-defualts.conf 以包含
spark.driver.extraJavaOptions -Duser.timezone=GMT
spark.executor.extraJavaOptions -Duser.timezone=GMT
如果您无法修改主配置，您可以创建一个应用程序特定目录并使用SPARK_CONF_DIR environment variabl.e 指向它
在最近的版本中，您还可以在应用程序本身中设置spark.sql.session.timeZone（注意它与相应的 JVM 选项不同，并且只影响 Spark 查询）。
【讨论】：
invoke_static 将 session 作为第一个参数，所以在之后。但是正确的做法是使用配置文件。
invoke_static 命令并返回NULL。在那之后，我似乎仍然在 EST 中，因为运行类似 unix_t = from_utc_timestamp(timestamp(t) ,'UTC'), myday = as.character(to_date(unix_t)) 的东西，然后 myday 显示转换为 EST 而不是 GMT ......我在这里真的很困惑。一个可能的解决方案是使用spark_apply，但这太慢了stackoverflow.com/questions/49355077/…
spark_conf_dir 中输入什么？假设我不能修改主要的 conf 文件？