如何使用 spark 读取时间戳、保存到 hive 并让它们正确显示？

Question

我有一堆带有时间戳列的记录，字符串形式如下所示：

+---------------------+
|         raw         |
+---------------------+
| 2019-07-14 00:00:00 |
| 2019-07-04 00:00:00 |
| 2019-01-26 00:00:00 |
+---------------------+

如果我使用.withColumn("timestamp", to_timestamp(Col("raw")))，并使用STRING, TIMESTAMP 模式写入配置单元，那么我们会看到：

+---------------------+---------------------+
|         raw         |      timestamp      |
+---------------------+---------------------+
| 2019-07-14 00:00:00 | 2019-07-14 00:00:00 |
| 2019-07-04 00:00:00 | 2019-07-04 00:00:00 |
| 2019-01-26 00:00:00 | 2019-01-26 00:00:00 |
+---------------------+---------------------+

但是我们想要指定源时区的选项，所以如果我们将 to_timestamp 替换为 to_utc_timestamp （如.withColumn("timestamp", to_utc_timestamp(Col("raw"), "America/New_York"))），那么我们会得到一个这样的表，有 5 小时的差异：

+---------------------+---------------------+
|         raw         |      timestamp      |
+---------------------+---------------------+
| 2019-07-14 00:00:00 | 2019-07-14 05:00:00 |
| 2019-07-04 00:00:00 | 2019-07-04 05:00:00 |
| 2019-01-26 00:00:00 | 2019-01-26 05:00:00 |
+---------------------+---------------------+

但是有数据的服务器和hive服务器在东部时区，所以我们不应该看到0小时差的时间戳吗？
我的问题是，如何将时间戳从字符串加载到具有特定时区的配置单元，并让它在配置单元中正确显示？

Answer 1

代码不会引用您的数据/配置单元服务器所在的位置。 在您制作的示例中：

 .withColumn("timestamp", to_utc_timestamp(Col("raw"), "America/New_York"))

这实际上意味着我有时间戳列，我想将它转换为 UTC， 然后你指定你的时间戳列应该引用的时区。

让我们以 2019-07-14 00:00:00 为例，如果时间戳列 areazone 是 America/New_York，你实际上是说给我这个 UTC 时间戳列，所以如果纽约的时间现在是 00:00，UTC 时间是 05:00（因为纽约是 UTC -5）。