即使在将库添加到 hadoop 文件夹后也找不到 BSONFileInputFormat

Question

我正在使用 crcmnky 的存储库处理电影推荐工作。 https://github.com/crcsmnky/mongodb-spark-demo 我已经编译了 mongo-hadoop 和 mongo-java-driver 并存储了 jar：mongo-hadoop-core-1.3.2-SNAPSHOT 和 mongo-java-driver-2.13.3.jar 在 $HADOOP_HOME/lib 文件夹中。 完成所有这些之后，我构建了项目并按照 README 文件中的说明运行它。 我得到错误：

Exception in thread "main" java.lang.NoClassDefFoundError: com/mongodb/hadoop/BSONFileInputFormat
at com.mongodb.spark.demo.Recommender.main(Recommender.java:59)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:483)
at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:358)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: com.mongodb.hadoop.BSONFileInputFormat
at java.net.URLClassLoader$1.run(URLClassLoader.java:372)
at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:360)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

可能出了什么问题？我正确地遵循了所有说明。

Answer 1

我也遇到了同样的问题，宙斯之子带我去解决。试试这个：

• 找到您的 mongo-hadoop-core-1.4.1-SNAPSHOT.jar 和 mongo-java-driver-2.12.3.jar

• 将它们添加到 --master 和应用程序 jar 位置“之前”的 spark-submit 命令中的 --jars。这是关键的一步。如果您在两者之后提到 --jars，那么您将出于某种疯狂的原因不断收到 BSONFileInputFormat 异常。所以有效地你的 spark-submit 命令将是 -

  ./bin/spark-submit --class "com.mongodb.spark.demo.Recommender" --jars /home/killshot/Downloads/mongo-hadoop/core/build/libs/mongo-hadoop-core- 1.4.1-SNAPSHOT.jar,/home/killshot/Downloads/mongo-hadoop/work/mongodb-spark-demo/target/lib/mongo-java-driver-2.12.3.jar --master local[4]