NoSuchMethodException : RDDMultipleTextOutpu‌tFormat.<init>()，同时在 Apache Spark 中使用 MultipleTextOutputFormat答案

【问题标题】：NoSuchMethodException : RDDMultipleTextOutpu‌tFormat.<init>(), while using MultipleTextOutputFormat in Apache SparkNoSuchMethodException : RDDMultipleTextOutpu‌tFormat.<init>()，同时在 Apache Spark 中使用 MultipleTextOutputFormat
【发布时间】：2017-07-18 21:58:49
【问题描述】：

我正在尝试使用 MultipleTextOutputFormat 以自定义方式写入数据，这是我所指的示例：https://stackoverflow.com/a/26051042/2485454

但是，执行上述代码后出现错误：

java.lang.RuntimeException：java.lang.NoSuchMethodException： $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$RDDMultipleTextOutpu‌tFormat.()

【问题讨论】：

RDDMultipleTextOutpu‌tFormat 中的 u 和 t 之间有一个不可见的空格

标签： apache-spark

【解决方案1】：

如果没有项目，实际上不可能完全诊断，但是当您遇到NoSuchMethodExceptions 时，您可以很确定问题是编译时与运行时依赖项冲突。也许您正在使用一个库，该库引入了不匹配的 spark 或 hadoop 库。或者，您可能只是针对不同的 spark 版本进行编译，而不是您正在运行的版本。

尝试删除所有额外的库和/或在纯 spark REPL 中运行代码并从那里重新构建。

【讨论】：