当RDD行之间没有值时如何用逗号分割它们？

Question

我正在尝试将下面的 RDD 行分成五列

val test = [hello,one,,,]

val rddTest = test.rdd
val Content = rddTest.map(_.toString().replace("[", "").replace("]", ""))
      .map(_.split(","))
      .map(e ⇒ Row(e(0), e(1), e(2), e(3), e(4), e(5)))

当我执行时，我得到“java.lang.ArrayIndexOutOfBoundsException”，因为最后三个逗号之间没有值。

关于如何拆分数据现在有什么想法吗？

Answer 1

太脏了，换了好几次。

val test = sc.parallelize(List("[hello,one,,,]"))

test.map(_.replace("[", "").replace("]", "").replaceAll(",", " , "))
    .map(_.split(",").map(_.replace(" ", "")))
    .toDF().show(false)

+------------------+
|value             |
+------------------+
|[hello, one, , , ]|
+------------------+

Answer 2

您的代码是正确的，但拆分后您尝试访问 6 个元素而不是 5 个。

改变

.map(e ⇒ Row(e(0), e(1), e(2), e(3), e(4), e(5)))

到

.map(e ⇒ Row(e(0), e(1), e(2), e(3), e(4)))

更新

默认情况下，我们在进行字符串拆分时会省略空值。这就是为什么您的数组只有 2 个元素的原因。要实现您的目标，请尝试以下操作：

val Content = rddTest.map(_.toString().replace("[", "").replace("]", ""))
      .map(_.split(",",-1))
      .map(e ⇒ Row(e(0), e(1), e(2), e(3), e(4)))

观察 split 函数，这样使用它可以确保所有字段都被保留。