Spark数据框将时间戳数据加载到配置单元表的问题答案

【问题标题】：Issue with Spark dataframe loading timestamp data to hive tableSpark数据框将时间戳数据加载到配置单元表的问题
【发布时间】：2020-12-20 11:13:24
【问题描述】：

我正在尝试将数据框加载到配置单元表。但它增加了额外的 30 分钟。我已经尝试了以下

从 pyspark 导入 SparkContext,HiveContext

sc = SparkContext()

hive_context = HiveContext(sc)

df_load.write.mode("append").saveAsTable("default.DATA_LOAD")

df_load 有一列“currenthour”，值为“2020-09-01 09:00:00”。但在表格中，加载为“2020-09-01 09:30:00”。

如何解决此问题。

【问题讨论】：

【解决方案1】：

由于时区的原因，这是 Timestamp 数据类型的常见问题。参考这个：

【讨论】：