使用 Spark 写入外部 Hadoop

Question

我正在使用 Java-Spark。

我正在尝试写入外部 HDFS 目录，如下所示：

df.write().mode(mode).save("hdfs://myservername:8020/user/path/to/hdfs");

遇到了异常

主机详细信息：本地主机是：...目标主机是：...

如何从 Spark 写入“外部”hdfs 目录而不是本地 Hadoop/HDFS？

谢谢

Answer 1

检查 HDFS Namenode 主机名是否可以从 Spark 集群访问，您也可以使用 ip 地址。

hdfs://<HDFS_NAMENODE_IP>:8020/user/path/to/hdfs

您还可以使用以下命令更新 spark 应用程序中的 spark 配置：

spark.conf.set("fs.defaultFS", "hdfs://<HDFS_NAMENODE_IP>:8020/").