Spark：使用scala从s3读取csv文件

Question

我正在编写一个 spark 作业，尝试使用 scala 读取文本文件，以下在我的本地计算机上运行良好。

  val myFile = "myLocalPath/myFile.csv"
  for (line <- Source.fromFile(myFile).getLines()) {
    val data = line.split(",")
    myHashMap.put(data(0), data(1).toDouble)
  }

然后我尝试让它在 AWS 上运行，我做了以下操作，但它似乎没有正确读取整个文件。在 s3 上读取此类文本文件的正确方法应该是什么？非常感谢！

val credentials = new BasicAWSCredentials("myKey", "mySecretKey");
val s3Client = new AmazonS3Client(credentials);
val s3Object = s3Client.getObject(new GetObjectRequest("myBucket", "myFile.csv"));

val reader = new BufferedReader(new InputStreamReader(s3Object.getObjectContent()));

var line = ""
while ((line = reader.readLine()) != null) {
      val data = line.split(",")
      myHashMap.put(data(0), data(1).toDouble)
      println(line);
}

Answer 1

我想我得到了它的工作方式如下：

    val s3Object= s3Client.getObject(new GetObjectRequest("myBucket", "myPath/myFile.csv"));

    val myData = Source.fromInputStream(s3Object.getObjectContent()).getLines()
    for (line <- myData) {
        val data = line.split(",")
        myMap.put(data(0), data(1).toDouble)
    }

    println(" my map : " + myMap.toString())

Answer 2

使用sc.textFile("s3://myBucket/myFile.csv") 读取 csv 文件。这会给你一个 RDD[String]。把它放到地图中

val myHashMap = data.collect
                    .map(line => {
                      val substrings = line.split(" ")
                      (substrings(0), substrings(1).toDouble)})
                    .toMap

您可以使用sc.broadcast 广播您的地图，以便在您的所有工作节点上随时可用。

（请注意，如果您愿意，当然也可以使用 Databricks “spark-csv” 包来读取 csv 文件。）

Answer 3

即使不使用SparkContext textfile 导入 amazons3 库，也可以实现这一点。使用下面的代码

import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.hadoop.conf.Configuration
val s3Login = "s3://AccessKey:Securitykey@Externalbucket"
val filePath = s3Login + "/Myfolder/myscv.csv"
for (line <- sc.textFile(filePath).collect())
{
    var data = line.split(",")
    var value1 = data(0)
    var value2 = data(1).toDouble
}

在上面的代码中，sc.textFile 将从您的文件中读取数据并存储在line RDD 中。然后它将带有, 的每一行拆分为循环内的不同RDD data。然后，您可以使用索引访问此 RDD 中的值。