使用 HDFS 中的文件到 Apache Spark

【问题标题】：Using files from HDFS into Apache Spark使用 HDFS 中的文件到 Apache Spark
【发布时间】：2016-06-26 13:15:17
【问题描述】：

我的 hdfs 中的文件很少，我想在 Spark 中使用它们。当我发出以下命令时，我可以看到我的文件：

bin/hadoop dfs -ls /input

我应该如何在 spark 中给出这个文件的路径来创建一个 RDD：

val input=sc.textFile("???")

【问题讨论】：

标签： ubuntu hadoop apache-spark hdfs

【解决方案1】：

如果您的 Spark 安装配置正确，那么您的普通 HDFS 路径也应该在 Spark 中原封不动地工作：

val input = sc.textFile("/input")

如果这不起作用，那么您可能需要确保您的 Spark 配置为 properly picking up your Hadoop conf dir。

您可能还想尝试直接从 Spark 代码中检查文件列表，以确保正确导入配置：

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs._

val path = new Path("/input")
path.getFileSystem(new Configuration()).listStatus(path)

【讨论】：

我收到错误输入路径不存在。我无法弄清楚如何给出在 hdfs 中创建的输入文件的路径。