Spark json4s[java.lang.NoSuchMethodError: org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/Js]

Question

团队，

在 AWS EMR 上使用 spark 2.4.0 时出现错误。在 spark 版本 2.4.0 和 scala 2.11.8 上解析 Json 字符串时出现以下错误

Spark json4s[java.lang.NoSuchMethodError:     
org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/Js]

但是 Parse 方法适用于 spark 2.3..x 版本。您能否帮助我解决 maven 依赖问题。

Answer 1

我在 emr 4.3.0 和 spark 1.6 上遇到了同样的问题 通过在引导操作中安装 json4s 解决了这个问题：

1. 下载json4s jar并放入s3中

2. 创建以下shell脚本并将其放入s3

    #!/bin/bash
    set -e
    wget -S -T 10 -t 5 https://s3.amazonaws.com/your-bucketname/json4s-native_2.10-3.2.4.jar
    mkdir -p /home/hadoop/lib
    mv json4s-native_2.10-3.2.4.jar /home/hadoop/lib/   
   

3. 将其添加为 emr 启动步骤中的引导步骤

来源：https://stackoverflow.com/a/35464362/9147332