spark 2 自定义数据源 - 如何将数组列设置为空？

Question

我有一个自定义 spark 数据源，数据来自 java 库。有些字段是 ArrayType，偶尔是 NULL。我尝试将数组字段设置为 None、null、lit(null)、Option(null)，可能还有其他几个变体，并且在每种情况下，催化剂在尝试解析数组字段时都会抛出 NPE。

据我所知，Catalyst 不会在 ArrayConverter（来自 CatalystTypeConverters.scala）的 toCatalystImpl() 方法中检查 null。这是一个 Catalyst 错误，还是数据帧 ArrayType 字段有其他一些空编码？

Answer 1

我的错，我发现了问题（破解了错误的代码）。最后的答案似乎是“Option(null)”。我试过 None 和 lit(null: )，但都抛出了异常。