【发布时间】:2018-08-20 09:49:58
【问题描述】:
我有一个名为 DF1 的数据框,如下所示。
DF1:
srcColumnZ|srcCoulmnY|srcCoulmnR|
+---------+----------+----------+
|John |Non Hf |New york |
|Steav |Non Hf |Mumbai |
|Ram |HF |Boston |
还有一个映射列表,其中包含源到目标列的映射,如下所示。
List(Map(targetColumn -> columnNameX, sourceColumn -> List(srcColumnX, srcColumnY, srcColumnZ, srcColumnP, srcColumnQ, srcColumnR)), Map(targetColumn -> columnNameY, sourceColumn -> List(srcColumnY)), Map(targetColumn -> columnNameZ, selectvalue -> 5))
我想根据上面的 Map 列表创建一个数据框,在该数据框中我需要 columnNameX、columnNameY、columnNameZ 作为列(根据上面的列表),这些列的值将基于 sourceColumn 即如果sourceColumn 像 List(srcColumnX, srcColumnY, srcColumnZ, srcColumnP, srcColumnQ, srcColumnR)) 一样存在,然后它将一一检查 DF1 中的所有列,并且每当第一列匹配时,它将将该列的所有值移动到目标列和下一个目标列相同。如果存在 selectvalue 而不是源列,它将将该值硬编码到整个列中。即:在上面的目标列列表中(columnNameZ)选择值存在 5
下面是预期的输出。
columnNameX|columnNameY|columnNameZ|
+----------+-----------+-----------+
|John |Non Hf |5 |
|Steav |Non Hf |5 |
|Ram |HF |5 |
【问题讨论】:
标签: scala apache-spark apache-spark-sql scala-collections