ScalaSpark - 使用键和值列表创建对 RDD

Question

我有一个日志文件，其数据如下：

1,2008-10-23 16:05:05.0,\N,Donald,Becton,2275 Washburn Street,Oakland,CA,94660,5100032418,2014-03-18 13:29:47.0,2014-03-18 13:29:47.0
2,2008-11-12 03:00:01.0,\N,Donna,Jones,3885 Elliott Street,San Francisco,CA,94171,4150835799,2014-03-18 13:29:47.0,2014-03-18 13:29:47.0

我需要创建一个以邮政编码为键的 RDD 对，并在该邮政编码中创建一个名称列表 (Last Name,First Name) 作为值。

我需要使用mapValues，我做了以下操作：

val namesByPCode = accountsdata.keyBy(line => line.split(',')(8)).mapValues(fields => (fields(0), (fields(4), fields(5)))).collect()

但我遇到了一个错误。谁能告诉我我的陈述有什么问题？

Answer 1

keyBy 不会更改该值，因此该值保持为单个“未拆分”字符串。您想首先使用map 执行拆分（以获得RDD[Array[String]]），然后像拆分结果一样使用keyBy 和mapValues：

val namesByPCode = accountsdata.map(_.split(","))
  .keyBy(_(8))
  .mapValues(fields => (fields(0), (fields(4), fields(5))))
  .collect()

顺便说一句 - 根据您的描述，如果您希望每个邮政编码评估为带有名称列表的单个记录，听起来您还想在此结果上调用 groupByKey（在调用 collect 之前）。 keyBy 不执行分组，它只是将 RDD[V] 转换为 RDD[(K, V)] 留下一条记录（可能有许多具有相同“键”的记录）。