使用 spark 和 scala 将 TZ 时间戳字符串转换为 UTC 中的给定格式

Question

我有一个名为 lastModified 的列，其字符串如下所示，表示 GMT 时间。 “2019-06-24T15:36:16.000Z”

我想使用 scala 在 spark 中将此字符串格式化为 yyyy-MM-dd HH:mm:ss 格式。为此，我创建了一个带有新列 "ConvertedTS" 的数据框。 这给出了错误的时间。

我运行它的机器位于美国/纽约时区。

df.withColumn("ConvertedTS", date_format(to_utc_timestamp(to_timestamp(col("lastModified"), "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"), "America/New_York"), "yyyy-MM-dd HH:MM:SS").cast(StringType))

我基本上是在 yyyy-MM-dd HH:mm:ss 中寻找格式化以下语句的结果

df.withColumn("LastModifiedTS", col("lastModified"))

目前对我有用的一种方法是 udf，但由于不推荐使用 udf，我一直在寻找更多可以使用的直接表达式。

val convertToTimestamp = (logTimestamp: String) => {
    println("logTimeStamp: " + logTimestamp)
    var newDate = ""
    try {
      val sourceFormat = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSSXXX")
      sourceFormat.setTimeZone(TimeZone.getTimeZone("GMT"))
      val convertedDate = sourceFormat.parse(logTimestamp)
      val destFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")
      destFormat.setTimeZone(TimeZone.getTimeZone("GMT"))
      newDate = destFormat.format(convertedDate)
      println("newDate: " + newDate)
    } catch {
      case e: Exception => e.printStackTrace()
    }
    newDate
  }

  //register for sql
  EdlSparkObjects.sparkSession.sqlContext.udf.register("convertToTimestamp", convertToTimestamp)

  // register for scala
  def convertToTimestampUDF = udf(convertToTimestamp)
  df.withColumn("LastModifiedTS", convertToTimestampUDF(col("lastModified")))

感谢您的帮助和指导。

Answer 1

您的第一次withColumn 尝试即将完成。它只包含不正确的日期格式字符串yyyy-MM-dd HH:MM:SS。此外，cast(StringType) 是不必要的，因为date_format 已经返回一个 StringType 列。以下是更正日期格式的示例代码：

import org.apache.spark.sql.functions._
import spark.implicits._

val df = Seq(
  (1, "2019-06-24T15:36:16.000Z"),
  (2, "2019-07-13T16:25:27.000Z")
).toDF("id", "lastModified")

df.withColumn("ConvertedTS", date_format(to_utc_timestamp(to_timestamp(
  $"lastModified", "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"), "America/New_York"), "yyyy-MM-dd HH:mm:ss")
).
show(false)
// +---+------------------------+-------------------+
// |id |lastModified            |ConvertedTS        |
// +---+------------------------+-------------------+
// |1  |2019-06-24T15:36:16.000Z|2019-06-24 19:36:16|
// |2  |2019-07-13T16:25:27.000Z|2019-07-13 20:25:27|
// +---+------------------------+-------------------+