【发布时间】:2019-08-26 15:11:55
【问题描述】:
Spark json4s[java.lang.NoSuchMethodError:
org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/Js]
在 aws emr 上运行 spark scala 结构化流应用程序时解析复杂 json 时出现上述错误。
【问题讨论】:
标签: scala apache-spark amazon-emr json4s
Spark json4s[java.lang.NoSuchMethodError:
org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/Js]
在 aws emr 上运行 spark scala 结构化流应用程序时解析复杂 json 时出现上述错误。
【问题讨论】:
标签: scala apache-spark amazon-emr json4s
看起来像二进制兼容性错误...请检查依赖关系树以查找不兼容版本的 json4s 工件吗?
如果您无法将它们升级为使用相同的版本,那么您可以通过使用像 these 这样的规则使用 sbt-assembly 插件对其中一些进行着色来解决问题。
在任何情况下,我都建议使用更安全、更高效的解析器,例如jsoniter-scala(或基于它的dijon)。
【讨论】: