spark2.0错误读取json文件时发现json的多个来源答案

【问题标题】：spark2.0 error Multiple sources found for json when read json filespark2.0错误读取json文件时发现json的多个来源
【发布时间】：2020-12-09 19:19:19
【问题描述】：

当我使用 spark2.0 读取 json 文件时：

Dataset<Row> logDF = spark.read().json(path);
logDF.show();

但它失败了：

 16/08/04 15:35:05 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.RuntimeException: Multiple sources found for json (org.apache.spark.sql.execution.datasources.json.JsonFileFormat, org.apache.spark.sql.execution.datasources.json.DefaultSource), please specify the fully qualified class name.
 java.lang.RuntimeException: Multiple sources found for json (org.apache.spark.sql.execution.datasources.json.JsonFileFormat, org.apache.spark.sql.execution.datasources.json.DefaultSource), please specify the fully qualified class name.
  at scala.sys.package$.error(package.scala:27)
at org.apache.spark.sql.execution.datasources.DataSource.lookupDataSource(DataSource.scala:167)
at org.apache.spark.sql.execution.datasources.DataSource.providingClass$lzycompute(DataSource.scala:78)
at org.apache.spark.sql.execution.datasources.DataSource.providingClass(DataSource.scala:78)
at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:310)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:149)
at org.apache.spark.sql.DataFrameReader.json(DataFrameReader.scala:287)
at org.apache.spark.sql.DataFrameReader.json(DataFrameReader.scala:249)

当我使用 spark 1.6 时，它运行正确。错误告诉指定完全限定的类名，但我找不到哪个类冲突。

非常感谢！

【问题讨论】：

我不知道如何解决这个问题，但是除非您应该在此处添加您的依赖文件，否则没有人能够做到这一点。
试试spark.read().format("json").json(path);。我遇到了类似的 csv 并找到了 github.com/databricks/spark-csv/issues/367
你有多个版本的 spark sql 依赖
你是如何解决这个问题的？同样的问题

标签： apache-spark apache-spark-sql

【解决方案1】：

我遇到了这个，发现下面为我工作。

df = spark.read.format("org.apache.spark.sql.execution.datasources.json.JsonFileFormat").load(path)

更多细节可以在这里找到https://github.com/AbsaOSS/ABRiS/issues/147

【讨论】：