Kryos/Java 序列化程序的 Spark-shell --conf 选项答案

【问题标题】：Spark-shell --conf option for Kryos/Java serializerKryos/Java 序列化程序的 Spark-shell --conf 选项
【发布时间】：2017-11-07 13:52:57
【问题描述】：

我需要使用spark help page 中提到的 registerKryoClasses 方法启动带有自定义类的 spark shell。

现在如页面中所述，我无法在启动 spark shell 后重新创建 sc 变量，因此需要在启动 spark-shell 命令时提供选项 --conf。

--conf 的选项值应该是什么，以便它等效于以下更新：

conf.registerKryoClasses(Array(classOf[ArrayBuffer[String]], classOf[ListBuffer[String]]))

【问题讨论】：

【解决方案1】：

使用 Javaserializer 而不是 Kryos 序列化程序的选项对我有用：

spark-shell --conf 'spark.serializer=org.apache.spark.serializer.JavaSerializer'

编辑：刚刚弄清楚如何使用这些选项。我们可以做到以下几点：

--conf 'spark.kryo.classesToRegister=scala.collection.mutable.ArrayBuffer,scala.collection.mutable.ListBuffer'

【讨论】：