【问题标题】:is JSON4S compatible with spark 2.4.0 and EMR 5.26.0JSON4S 与 spark 2.4.0 和 EMR 5.26.0 兼容
【发布时间】:2019-08-26 15:11:55
【问题描述】:
Spark json4s[java.lang.NoSuchMethodError: 
org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/Js]

在 aws emr 上运行 spark scala 结构化流应用程序时解析复杂 json 时出现上述错误。

【问题讨论】:

    标签: scala apache-spark amazon-emr json4s


    【解决方案1】:

    看起来像二进制兼容性错误...请检查依赖关系树以查找不兼容版本的 json4s 工件吗?

    如果您无法将它们升级为使用相同的版本,那么您可以通过使用像 these 这样的规则使用 sbt-assembly 插件对其中一些进行着色来解决问题。

    在任何情况下,我都建议使用更安全、更高效的解析器,例如jsoniter-scala(或基于它的dijon)。

    【讨论】:

    • 谢谢。我使用了 play-json 和 spary-json 而不是 json4s。
    猜你喜欢
    • 1970-01-01
    • 2023-04-01
    • 1970-01-01
    • 2019-07-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-02-17
    • 1970-01-01
    相关资源
    最近更新 更多