多个 Hadoop 文件系统实例

Question

我有一个类（为了便于阅读，我删除了 try/catch）：

public class HadoopFileSystem {

    private FileSystem m_fileSystem = null;

    public HadoopFileSystem() {
        Configuration l_configuration = new Configuration();
        l_configuration .set("fs.default.name", "hdfs://localhost:9100");
        l_configuration .set("mapred.job.tracker", "localhost:9101");

        m_fileSystem = FileSystem.get(l_configuration );

    }

    public void close() {
        m_fileSystem.close();
    }

    public void createFile(String a_pathDFS) {
        m_fileSystem.create(new Path(a_pathDFS));
    }

}

在我的程序中，我是第一个 HadoopFileSysem 对象，我没有关闭它。

然后我创建第二个HadoopFileSysem 对象，然后关闭它。

最后，当我想在我的第一个对象中使用m_fileSystem 上的函数时，我遇到了错误：java.io.IOException: Filesystem closed

但我没有关闭它！

这里有一个小代码来说明我的问题：

HadoopFileSystem h1 = new HadoopFileSystem();
HadoopFileSystem h2 = new HadoopFileSystem();

if(h1 == h2)
    System.out.println("=="); // No print
if(h1.equals(h2))
    System.out.println("equals"); // No print

h2.close();
h1.createFile("test.test"); // ERROR : java.io.IOException: Filesystem closed
h1.close();

为什么？

Answer 1

m_fileSystem = FileSystem.get(l_configuration ); 是静态调用，即使您创建了两个不同的对象。您需要找到一种方法来不将此调用静态化为两个不同的对象。

试试这个来解决这个问题，

conf.setBoolean("fs.hdfs.impl.disable.cache", true);

Answer 2

您正在基于硬编码的配置创建对象。这基本上意味着您正在创建 2 个相同的对象。因为这些对象是相同的，JVM 将引用同一个对象。所以 h1 和 h2 引用的是同一个对象。

这样做的原因是因为您正在获取基于配置文件的对象的现有实例。如果 h1 和 h2 的配置不同，则不再是同一个实例。