时间戳 StructField 中的空值

Question

如何处理时间戳列中的空值？

我在 List 中保存了源数据（sql 的结果）

List([222,1,222,222,2012-01-28 23:37:06.0,()], 
     [220,1,220,220,2012-04-24 23:37:08.0,()], 
     [220,1,220,220,2008-03-18 15:06:09.0,()],
     ... 

最后一列是空值和时间戳。

但是当我尝试将其加载为 RDD 时

//Create RDD
val rdd = spark.sparkContext.makeRDD(res.toList)

// Create schema fields
val fields = List (StructField("value", StringType, nullable = true)
                  ,StructField("hit_count", IntegerType, nullable = true)
                  ,StructField("range_start", StringType, nullable = true)
                  ,StructField("range_end", StringType, nullable = true)
                  ,StructField("valid_from", TimestampType, nullable = true)
                  ,StructField("valid_to", TimestampType, nullable = true))

// Create DataFrame
val dataFrame = spark.createDataFrame(rdd, StructType(fields))

我遇到了异常

原因：java.lang.RuntimeException：scala.runtime.BoxedUnit 不是 时间戳模式的有效外部类型

因此，Null 值被包装为 BoxedUnit，其类型与 TimestampType 不同。

我该如何处理？是否可以在一列中混合数据类型，还是必须将所有空值映射到“空时间戳”？

Answer 1

您的res 数据中有scala.runtime.BoxedUnit 数据类型（[222,1,222,222,2012-01-28 23:37:06.0,()])

当您将时间戳模式应用于 BoxedUnit

时，这就是您面临的异常的主要原因

原因：java.lang.RuntimeException：scala.runtime.BoxedUnit 不是时间戳模式的有效外部类型

所以你可以做的是在rdd 中类型检查，如果找到BoxedUnit，那么你可以用有效的timestamp 替换。为了测试，我使用了valid_from 时间戳

//Create RDD
val rdd = spark.sparkContext.makeRDD(res)
  .map(row => Row(row(0), row(1), row(2), row(3), row(4), if(row(5).isInstanceOf[BoxedUnit]) row(4) else row(5)))

我所做的只是添加了一个 类型检查 已完成的地图

希望回答对你有帮助