如何从 csv 读取到 ListMap

Question

我被分配了读取 csv 并创建 ListMap 变量的任务。使用这个特定类的原因是，对于其他一些用例，他们已经使用了许多以 ListMap 作为输入参数的方法，而且他们还想要一个。

到目前为止我所做的是：从 csv 中读取，并创建一个 rdd。 csv的格式是

"field1,field2"
"value1,value2"
"value3,value4"

在这个 rdd 中，我有字符串元组。我现在想要将其转换为 ListMap 类。所以我有一个类型为 Array[(value1,value2),(value3,value4)] 的变量。

我这样做是因为我发现从 csv 到元组很容易。问题是我找不到从这里到 ListMap 的任何方法。获得一个普通的 Map 类似乎更容易，但正如我所说，最终结果必须是 ListMap 类型的对象。

我一直在阅读，但我不太了解this answer 也不是this one

Answer 1

根据您提供的样本数据，您可以使用collectAsMap api 获取最终的ListMap

val rdd  = sparkSession.sparkContext.textFile("path to the text file")
  .map(line => line.split(","))
  .map(array => array(0) -> array(1))
  .collectAsMap()

就是这样。

现在如果你想更进一步，你可以做额外的步骤

  var listMap : ListMap[String, String] = ListMap.empty[String, String]
  for(map <- rdd) {
    listMap += map
  }

Answer 2

Array("foo" -> "bar", "baz" -> "bat").toMap 给你一个Map。 如果您正在寻找一个ListMap 专门（对于我的生活，想不出你为什么会这样），那么您需要一个breakOut：

 val map: ListMap[String, String] = 
    Array("foo" -> "bar", "baz" -> "bat")
     .toMap
     .map(identity)(scala.collection.breakOut)

breakOut 是一种“集合工厂”，可让您在不同的集合类型之间进行隐式转换。你可以在这里阅读更多信息：https://docs.scala-lang.org/tutorials/FAQ/breakout.html