在 Spark 的 WebUI（端口 8080）和环境选项卡上，有以下设置：
user.timezone Zulu
您知道如何/在哪里可以将其覆盖为 UTC 吗？
环境细节：
编辑（有人回答以下然后删除）： https://www.timeanddate.com/time/zones/z
【问题讨论】：
标签： java apache-spark pyspark apache-spark-sql jvm
现在你可以使用了：
spark.conf.set("spark.sql.session.timeZone", "UTC")
因为https://issues.apache.org/jira/browse/SPARK-18936 在 2.2.0
编辑：
另外，我将默认时区设置为 UTC 以避免隐式转换
TimeZone.setDefault(TimeZone.getTimeZone("UTC"))
否则，当您要转换的时间戳中不存在时区信息时，您将获得从默认时区到 UTC 的隐式转换
例子：
val rawJson = """ {"some_date_field": "2018-09-14 16:05:37"} """
val dsRaw = sparkJob.spark.createDataset(Seq(rawJson))
val output =
dsRaw
.select(
from_json(
col("value"),
new StructType(
Array(
StructField("some_date_field", DataTypes.TimestampType)
)
)
).as("parsed")
).select("parsed.*")
如果我的默认时区是欧洲/都柏林，即 GMT+1，并且 Spark sql 会话时区设置为 UTC，Spark 将假定“2018-09-14 16:05:37”在欧洲/都柏林时区并执行一次转换（结果将是“2018-09-14 15:05:37”）
【讨论】：
在某些情况下，您还需要设置 JVM 时区。例如，当将数据加载到 TimestampType 列时，它将解释本地 JVM 时区中的字符串。要设置 JVM 时区，您需要为驱动程序和执行程序添加额外的 JVM options：
spark = pyspark.sql.SparkSession \
.Builder()\
.appName('test') \
.master('local') \
.config('spark.driver.extraJavaOptions', '-Duser.timezone=GMT') \
.config('spark.executor.extraJavaOptions', '-Duser.timezone=GMT') \
.config('spark.sql.session.timeZone', 'UTC') \
.getOrCreate()
我们在本地单元测试环境中执行此操作，因为我们的本地时间不是 GMT。
有用的参考： https://en.wikipedia.org/wiki/List_of_tz_database_time_zones
【讨论】：
如这些 SPARK 错误报告（link、link）中所述，最新的 SPARK 版本（撰写本文时为 3.0.0 和 2.4.6）不完全/正确支持为所有操作设置时区，尽管@Moemars 和@Daniel 给出了答案。
我建议尽可能避免在 SPARK 中进行时间操作，要么在从 SPARK 中提取后自己执行它们，要么使用 this question 中使用的 UDF。
【讨论】：
您可以使用下面将时区设置为您想要的任何区域，并且您的笔记本或会话将为 current_time() 或 current_timestamp() 保留该值。
%sql
SET TIME ZONE 'America/Los_Angeles' -> 获取 PST
SET TIME ZONE '美国/芝加哥'; -> 获取 CST
最后一部分应该是一个城市，它不允许我尝试的所有城市。
参考：https://spark.apache.org/docs/latest/sql-ref-syntax-aux-conf-mgmt-set-timezone.html
【讨论】：
更改您的系统时区并检查它，我希望它会工作
【讨论】：