访问 RDD 元素时出现 ArrayIndexOutOfBounds 异常

Question

我有一个文件如下：

dept.txt:
1,It,pune,2017-03-12
2,CS,delhi,2017-03-21
3,mech,mum,
4,fin,pune,2017-04-15
5,It,delhi,

我需要做的是：

1. 从 2 个 RDD 中的 2 个文件中读取数据（我已经完成了）

2. 对 dept 文件中的日期列应用过滤器并获取两个基于输出的文件 关于 null 而不是 null 值（我无法做到）

我能走多远：

val loadDept = sc.textFile("/path/to/file/dept.txt")
val cleanDept = loadDept.map(_.split(","))
val dateCol = cleanDept.filter(i => i(3) != "") 

最后一行出现错误：

java.lang.ArrayIndexOutOfBoundsException: 3

我知道，由于有一个空字符串/null，我得到了一个超出范围的异常（如果我错了，请纠正我），但是如何解决它呢？

注意：我只需要在 Scala 中使用 RDD

Answer 1

来自split(String regex, int limit)方法的描述：

limit 参数控制应用模式的次数，因此会影响结果数组的长度。如果限制 n 大于零，则模式将最多应用 n - 1 次，数组的长度将不大于 n，并且数组的最后一个条目将包含最后一个匹配分隔符之外的所有输入。 如果 n 为非正数，则该模式将被应用尽可能多的次数，并且数组可以具有任意长度。 如果 n 为零，则该模式将被应用尽可能多的次数，数组可以有任意长度，并且尾随的空字符串将被丢弃。

由于split(String regex) 的工作方式好像是通过使用给定表达式和 zero 限制参数调用双参数拆分方法，因此您的空字符串将被丢弃。

解决方案，在 Natalia 的answer 中也提到过：

// collect each and every string
val cleanDept = loadDept.map(_.split(",", -1))  
// filter arrays with empty last string
val filledDateDept = cleanDept.filter(_.last.nonEmpty)  

Answer 2

1. 在访问其元素之前检查数组的大小

   sc.textFile("/file/path/dept.txt")
   .map(_.split(","))
   .filter(a => a.length > 3 && a(3) != null && !a(3).equals(""))
   

2. 您可以使用groupBy对结果进行分组

   sc.textFile("/file/path/dept.txt")
   .map(_.split(","))
   .groupBy(a => a.length > 3 && a(3) != null && !a(3).equals(""))
   

这将按groupBy 键对结果进行分组，在这种情况下它将是true 或false

false 键将在 Buffer 中保存所有 null 和不存在的结果。

true 键会将所有非空结果保存在缓冲区中。

输出

(false,CompactBuffer([Ljava.lang.String;@5bef517c, [Ljava.lang.String;@51ec0ad3))
(true,CompactBuffer([Ljava.lang.String;@44a4871, [Ljava.lang.String;@16a375ad, [Ljava.lang.String;@37703dfd))

Answer 3

拆分操作中的问题。

"ab,dfd,".split(",") --> Array(ab, dfd)
"ab,dfd,".split(",", -1) --> Array(ab, dfd, )

如果您只使用一个参数调用 split，则使用默认限制。它等于0。

用于拆分的 Java 文档

limit 参数控制应用模式的次数，因此会影响结果数组的长度。如果限制 n 大于零，则模式将最多应用 n - 1 次，数组的长度将不大于 n，并且数组的最后一个条目将包含最后一个匹配分隔符之外的所有输入。如果 n 为非正数，则该模式将尽可能多地应用，并且数组可以具有任意长度。如果 n 为零，则该模式将被应用尽可能多的次数，数组可以有任意长度，并且尾随的空字符串将被丢弃。

如您所见，如果为 0，则全部为 trailing empty strings will be discarded。