如何在火花中测试功能

Question

假设我有一个 spark rdd 并且需要处理它。

rdd.mapPartitionsWithIndex{(index, iter)=>
  def someFunc(){}
  def anotherFunc(){}

  val x = someFunc(iter)
  val y = anotherFunc(index, iter, x)
  x zip y
}

我在 mapParititions 中定义了 someFunc 和 anotherFunc，因为我不想在驱动程序中定义它们，然后将它们序列化给工作人员。它可以工作，但我无法测试它，因为它是一个嵌套函数。如何测试这个？需要为这些功能编写测试用例。目前我可以序列化它。但是如果函数不可序列化并且不能从驱动程序发送到工作程序怎么办？

Answer 1

整个 lambda 将被序列化，内部函数也是如此；)

你可以：

• 创建辅助对象来保存这些函数并为此对象创建测试
• 创建静态嵌套类

记住：

1. 用@transient标记所有不可序列化的字段
2. 用implements Serializable标记你的对象/类

您还可以创建一个集成测试，它将创建 Spark 上下文并在本地模式下运行计算

可以找到更多信息，即here