在 AWS 上使用 Apache-Spark 加载数据

Question

我在 Amazon Web Service (AWS)-EC2 上使用 Apache-Spark 来加载和处理数据。我创建了一个主节点和两个从节点。在主节点上，我有一个目录data，其中包含要处理的所有 csv 格式的数据文件。

现在在我们提交驱动程序（这是我的python代码）运行之前，我们需要将数据目录data从主节点复制到所有从节点。根据我的理解，我认为这是因为每个从节点都需要知道数据文件在自己的本地文件系统中的位置，以便它可以加载数据文件。例如，

from pyspark import SparkConf, SparkContext

### Initialize the SparkContext
conf = SparkConf().setAppName("ruofan").setMaster("local")
sc = SparkContext(conf = conf)

### Create a RDD containing metadata about files in directory "data"
datafile = sc.wholeTextFiles("/root/data")  ### Read data directory 

### Collect files from the RDD
datafile.collect() 

每个从节点运行任务时，会从本地文件系统中加载数据文件。

但是，在我们提交我的应用程序以运行之前，我们还必须使用 $ ./ephemeral-hdfs/bin/hadoop fs -put /root/data/ ~ 将目录 data 放入 Hadoop 分布式文件系统 (HDFS)。

现在我对这个过程感到困惑。每个从节点是否从自己的本地文件系统或 HDFS 加载数据文件？如果它从本地文件系统加载数据，为什么我们需要将data放入HDFS？如果有人可以帮助我，我将不胜感激。

Answer 1

只是为了澄清可能会看到这篇文章的其他人。

我相信您的困惑是由于没有在文件位置提供协议。当您执行以下行时：

### Create a RDD containing metadata about files in directory "data"
datafile = sc.wholeTextFiles("/root/data")  ### Read data directory 

Spark 假定文件路径 /root/data 位于 HDFS 中。换句话说，它会在 hdfs:///root/data 中查找文件。

您只需要将文件放在一个位置，可以是每个节点本地（在存储方面不是最有效的），也可以是分布在节点间的 HDFS。

如果您想从本地读取文件，请使用 file:///path/to/local/file。如果您想使用 HDFS，请使用 hdfs:///path/to/hdfs/file。

希望这会有所帮助。

Answer 2

一个快速的建议是从 S3 加载 csv，而不是在本地加载。

这是一个示例 scala sn-p，可用于从 S3 加载存储桶

val csvs3Path = "s3n://REPLACE_WITH_YOUR_ACCESS_KEY:REPLACE_WITH_YOUR_SECRET_KEY@REPLACE_WITH_YOUR_S3_BUCKET"
val dataframe = sqlContext.
                    read.
                    format("com.databricks.spark.csv").
                    option("header", "true").
                    load(leadsS3Path)