如何在 Windows 中访问 Ubuntu VM HDFS？

Question

我正在尝试在 Windows 上从 Eclipse 运行 SPARK 应用程序。我必须使用 Hadoop 集群。我的 hadoop hdfs 在 Ubuntu 虚拟机上运行。

每当我尝试将 hdfs 路径传递给 windows eclipse（在我的例子中是 hdfs://localhost:9000）时，它都会给出一个 java.net.ConnectException，并显示一条消息说与 localhost:9000 的连接失败。

我在 ubuntu 上安装了 SSH。我尝试传递 ubuntu 机器的 ip 而不是“localhost”，但它也没有用。我尝试使用 core-site.xml 更改默认 fs 的名称（我尝试了机器的名称以及 ip 地址），但没有成功。

如何让我的 windows 机器能够访问我的 ubuntu 虚拟机中的 hdfs 集群？

Answer 1

我不知道您为什么无法工作。但是如果你想通过 windows 连接到你的 ubuntu，那么你可以使用免费的 PUTTY 软件。您需要将您机器的 IP 地址传递给 putty，然后就可以开始了。

谈到 Spark 作业，请确保您的集群已启动并正常工作。为此，请尝试运行“jps”命令并查看所有服务是否都已启动。主要是Namenode、Datanode、yarn、MapReduce、spark、hive。

如果所有这些服务都启动了，那么请确保您的命令是正确的。如果您仍然遇到任何问题，请在评论中发布，我会为您解决。