Hadoop 2.6.0 浏览文件系统 Java答案

【问题标题】：Hadoop 2.6.0 Browsing filesystem JavaHadoop 2.6.0 浏览文件系统 Java
【发布时间】：2015-06-14 20:13:59
【问题描述】：

我在 CentOS 6.6 上安装了一个基本的 hadoop 集群，并想编写一些基本程序（浏览文件系统、删除/添加文件等），但我什至连最基本的应用程序都无法正常工作。

在运行一些基本代码以将目录的内容列出到控制台时，我收到以下错误：

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.ipc.RPC.getProxy(Ljava/lang/Class;JLjava/net/InetSocketAddress;Lorg/apache/hadoop/security/UserGroupInformation;Lorg/apache/hadoop/conf/Configuration;Ljavax/net/SocketFactory;ILorg/apache/hadoop/io/retry/RetryPolicy;Z)Lorg/apache/hadoop/ipc/VersionedProtocol;
    at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:135)
    at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:280)
    at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:245)
    at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:100)
    at mapreducetest.MapreduceTest.App.main(App.java:36)

我的 pom.xml 依赖项

          <dependencies>    
            <dependency>                                                                                                                                       
                <groupId>org.apache.hadoop</groupId>                                                                                                           
                <artifactId>hadoop-common</artifactId>                                                                                                         
                <version>2.6.0</version>                                                                                            
            </dependency>  

            <dependency>
              <groupId>org.apache.hadoop</groupId>
              <artifactId>hadoop-core</artifactId>
              <version>1.2.1</version>
            </dependency>       
          </dependencies>

代码：

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.DistributedFileSystem;

public class App 
{   
    public static void main( String[] args ) throws IOException, URISyntaxException
    {


        Configuration conf = new Configuration();
        FileSystem fs = new DistributedFileSystem();
        fs.initialize(new URI("hdfs://localhost:9000/"), conf);


        for (FileStatus f :fs.listStatus(new Path("/")))
        {
            System.out.println(f.getPath().getName());                  
        }

        fs.close();

    }
}

调用 fs.initialize() 后抛出错误。我真的不确定这里有什么问题。我是否缺少依赖项？他们是错误的版本吗？

【问题讨论】：

标签： java hadoop directory centos filesystems

【解决方案1】：

我通过调用“java -jar app.jar .... etc”来运行它我应该一直在使用“hadoop jar app.jar”。

当我正确运行它时按预期工作。

【讨论】：