hadoop 没有用于方案的文件系统：文件

Question

我正在尝试使用 hadoop 运行一个简单的NaiveBayesClassifer，出现此错误

Exception in thread "main" java.io.IOException: No FileSystem for scheme: file
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175)
    at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100)

代码：

    Configuration configuration = new Configuration();
    NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error in this line..

modelPath指向NaiveBayes.bin文件，配置对象正在打印-Configuration: core-default.xml, core-site.xml

我认为是因为罐子，有什么想法吗？

Answer 1

如果您使用的是 Gradle Shadow 插件，那么这是您必须添加的配置：

shadowJar {
    mergeServiceFiles()
}

Answer 2

这个问题很老，但我最近遇到了同样的问题，错误的根源与这里的答案不同。

在我这边，根本原因是 hdfs 在路径开头遇到// 时试图解析权威：

$ hdfs dfs -ls //dev
ls: No FileSystem for scheme: null

因此，请尝试在代码的路径构建部分中查找双斜杠或空变量。

相关 Hadoop 票证：https://issues.apache.org/jira/browse/HADOOP-8087

Answer 3

这是maven-assembly插件破坏事物的典型案例。

为什么这会发生在我们身上

不同的 JAR（hadoop-commons 用于 LocalFileSystem，hadoop-hdfs 用于 DistributedFileSystem）每个都在其 META-INFO/services 目录中包含一个名为 org.apache.hadoop.fs.FileSystem 的不同文件。该文件列出了他们想要声明的文件系统实现的规范类名（这称为通过java.util.ServiceLoader 实现的服务提供者接口，参见org.apache.hadoop.FileSystem#loadFileSystems）。

当我们使用maven-assembly-plugin 时，它会将我们所有的JAR 合并为一个，并且所有META-INFO/services/org.apache.hadoop.fs.FileSystem 会相互覆盖。这些文件中只剩下一个（最后一个添加的文件）。在这种情况下，hadoop-commons 中的 FileSystem 列表会覆盖 hadoop-hdfs 中的列表，因此不再声明 DistributedFileSystem。

我们如何修复它

在加载 Hadoop 配置之后，但在做任何与FileSystem 相关的事情之前，我们称之为：

    hadoopConfig.set("fs.hdfs.impl", 
        org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()
    );
    hadoopConfig.set("fs.file.impl",
        org.apache.hadoop.fs.LocalFileSystem.class.getName()
    );

更新：正确修复

krookedking 引起我的注意，有一种基于配置的方法可以使maven-assembly 使用所有FileSystem 服务声明的合并版本，请查看下面的his answer。

Answer 4

这与 Flink 无关，但我在 Flink 中也发现了这个问题。

对于使用 Flink 的人，需要下载Pre-bundled Hadoop 并放入/opt/flink/lib。

Answer 5

我遇到了同样的问题。我找到了两个解决方案： (1) 手动编辑jar文件：

使用 WinRar（或类似工具）打开 jar 文件。转到 Meta-info > services ，并通过追加编辑“org.apache.hadoop.fs.FileSystem”：

org.apache.hadoop.fs.LocalFileSystem

(2) 改变我的依赖顺序如下

<dependencies>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-hdfs</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-mapreduce-client-core</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>3.2.1</version>
</dependency>



</dependencies>

Answer 6

对于 SBT，在 build.sbt 中的 mergeStrategy 下面使用

mergeStrategy in assembly <<= (mergeStrategy in assembly) { (old) => {
    case PathList("META-INF", "services", "org.apache.hadoop.fs.FileSystem") => MergeStrategy.filterDistinctLines
    case s => old(s)
  }
}

Answer 7

我也遇到过类似的问题。 添加 core-site.xml 和 hdfs-site.xml 作为 conf (object) 的资源

Configuration conf = new Configuration(true);    
conf.addResource(new Path("<path to>/core-site.xml"));
conf.addResource(new Path("<path to>/hdfs-site.xml"));

还在 pom.xml 中编辑了版本冲突。 （例如，如果配置的 hadoop 版本是 2.8.1，但在 pom.xml 文件中，依赖项的版本为 2.7.1，则将其更改为 2.8.1） 再次运行 Maven 安装。

这为我解决了错误。

Answer 8

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://nameNode:9000");
FileSystem fs = FileSystem.get(conf);

set fs.defaultFS 对我有用！ Hadoop-2.8.1

Answer 9

如果您使用的是 sbt：

//hadoop
lazy val HADOOP_VERSION = "2.8.0"

lazy val dependenceList = Seq(

//hadoop
//The order is important: "hadoop-hdfs" and then "hadoop-common"
"org.apache.hadoop" % "hadoop-hdfs" % HADOOP_VERSION

,"org.apache.hadoop" % "hadoop-common" % HADOOP_VERSION
)

Answer 10

由于我是新手，我花了一些时间从给出的答案中找出解决办法。如果其他人从一开始就需要帮助，这就是我的想法：

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object MyObject {
  def main(args: Array[String]): Unit = {

    val mySparkConf = new SparkConf().setAppName("SparkApp").setMaster("local[*]").set("spark.executor.memory","5g");
    val sc = new SparkContext(mySparkConf)

    val conf = sc.hadoopConfiguration

    conf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)
    conf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)

我使用的是 Spark 2.1

我的build.sbt中有这部分

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case x => MergeStrategy.first
}

Answer 11

我花了很长时间才用 Spark 2.0.2 弄明白，但这是我的一点：

val sparkBuilder = SparkSession.builder
.appName("app_name")
.master("local")
// Various Params
.getOrCreate()

val hadoopConfig: Configuration = sparkBuilder.sparkContext.hadoopConfiguration

hadoopConfig.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)

hadoopConfig.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)

还有我build.sbt的相关部分：

scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.2"

希望对你有帮助！

Answer 12

另一个可能的原因（尽管 OPs 问题本身并没有受到此影响）是如果您创建了一个不加载默认值的配置实例：

Configuration config = new Configuration(false);

如果您不加载默认值，那么您将无法获得诸如 FileSystem 实现之类的默认设置，这会在尝试访问 HDFS 时导致类似的错误。切换到传入true 以加载默认值的无参数构造函数可能会解决此问题。

此外，如果您将自定义配置位置（例如在文件系统上）添加到 Configuration 对象，请注意您使用的 addResource() 的重载。例如，如果您使用addResource(String)，则 Hadoop 假定该字符串是类路径资源，如果您需要指定本地文件，请尝试以下操作：

File configFile = new File("example/config.xml");
config.addResource(new Path("file://" + configFile.getAbsolutePath()));

Answer 13

使用这个插件

<plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>1.5</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>

                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <shadedArtifactAttached>true</shadedArtifactAttached>
                            <shadedClassifierName>allinone</shadedClassifierName>
                            <artifactSet>
                                <includes>
                                    <include>*:*</include>
                                </includes>
                            </artifactSet>
                            <transformers>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>reference.conf</resource>
                                </transformer>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                </transformer>
                                <transformer 
                                implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer">
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

Answer 14

对于 maven，只需添加 hadoop-hdfs 的 maven 依赖项（参考下面的链接）即可解决问题。

http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs/2.7.1

Answer 15

对于那些使用 shade 插件的人，按照 david_p 的建议，您可以通过将 ServicesResourceTransformer 添加到插件配置中来合并 shaded jar 中的服务：

  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>2.3</version>
    <executions>
      <execution>
        <phase>package</phase>
        <goals>
          <goal>shade</goal>
        </goals>
        <configuration>
          <transformers>
            <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
          </transformers>
        </configuration>
      </execution>
    </executions>
  </plugin>

这会将所有 org.apache.hadoop.fs.FileSystem 服务合并到一个文件中

Answer 16

感谢 david_p,scala

conf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName);
conf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName);

或

<property>
 <name>fs.hdfs.impl</name>
 <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
</property>

Answer 17

为了记录，这仍然发生在 hadoop 2.4.0 中。好郁闷……

我能够按照此链接中的说明进行操作：http://grokbase.com/t/cloudera/scm-users/1288xszz7r/no-filesystem-for-scheme-hdfs

我将以下内容添加到我的 core-site.xml 中并且它起作用了：

<property>
   <name>fs.file.impl</name>
   <value>org.apache.hadoop.fs.LocalFileSystem</value>
   <description>The FileSystem for file: uris.</description>
</property>

<property>
   <name>fs.hdfs.impl</name>
   <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
   <description>The FileSystem for hdfs: uris.</description>
</property>

Answer 18

我使用 sbt 程序集来打包我的项目。我也遇到这个问题。我的解决方案在这里。 Step1：在你的 build.sbt 中添加 META-INF 合并策略

case PathList("META-INF", "MANIFEST.MF") => MergeStrategy.discard
case PathList("META-INF", ps @ _*) => MergeStrategy.first

Step2：将 hadoop-hdfs lib 添加到 build.sbt

"org.apache.hadoop" % "hadoop-hdfs" % "2.4.0"

第三步：sbt clean; sbt 汇编

希望以上信息对您有所帮助。

Answer 19

假设您正在使用 mvn 和 cloudera 分发的 hadoop。我正在使用 cdh4.6 并添加这些依赖项对我有用。我认为您应该检查 hadoop 和 mvn 依赖项的版本。

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>2.0.0-mr1-cdh4.6.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.0.0-cdh4.6.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.0.0-cdh4.6.0</version>
    </dependency>

不要忘记添加 cloudera mvn 存储库。

<repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>

Answer 20

我假设您使用 maven 构建示例。

请检查您尝试运行的 JAR 的内容。尤其是META-INFO/services目录，文件org.apache.hadoop.fs.FileSystem。应该有 filsystem 实现类的列表。检查行 org.apache.hadoop.hdfs.DistributedFileSystem 是否存在于 HDFS 列表中，org.apache.hadoop.fs.LocalFileSystem 用于本地文件方案。

如果是这种情况，您必须在构建期间覆盖引用的资源。

另一种可能性是您的类路径中根本没有hadoop-hdfs.jar，但这可能性很小。通常，如果您有正确的 hadoop-client 依赖项，则它不是一个选项。