Apache Spark 为 csv 错误找到多个来源答案

【问题标题】：Apache Spark Multiple sources found for csv ErrorApache Spark 为 csv 错误找到多个来源
【发布时间】：2021-04-09 10:00:00
【问题描述】：

我正在尝试使用 spark-submit 命令运行我的 spark 程序（我正在使用 scala），我指定了主地址、类名、包含所有依赖项的 jar 文件、输入文件，然后是输出文件，但我有错误：

线程“主”org.apache.spark.sql.AnalysisException 中的异常：为 csv 找到多个来源 (org.apache.spark.sql.execution.datasources.v2.csv.CSVDataSourceV2, org.apache.spark.sql.execution.datasources.csv.CSVFileFormat），请指定完全限定的类名。;

这是此错误的屏幕截图，它是关于什么的？我该如何解决？

谢谢

【问题讨论】：

你是如何运行你的工作的，你能分享一下依赖或 pom.xml 文件吗？
你是在运行胖 jar 文件吗？还要提到你是在 windows 还是 linux 环境中运行它。因此，如果是，它将像这样 ./spark-submit your-fat-jarfile,jar 。还要检查您的文件夹是否具有文件写入或读取的适当权限。
是的，我在正确的文件夹中，是的，我在 spark-submit 命令中提到了 jar 文件
我的 pom.xml 太长我无法通过评论分享它
检查 jar 列表，您可能在类路径中有不同版本的 spark-csv jar

标签： scala csv apache-spark apache-spark-sql

【解决方案1】：

这里还有一些警告，

如果您以正确的权限正确运行 fat-jar 文件，则可以得到类似 ./spark-submit 的输出

检查是否正确设置了spark的环境变量（~/.bashrc）。还要检查源 CSV 文件权限。可能这就是问题所在。

如果您是在 linux 环境下运行，请将源 CSV 文件夹的文件夹权限设置为

sudo chmod -R 777 /source_folder

之后再次尝试使用您的 fat-jar 文件运行 ./spark-submit。

【讨论】：