【问题标题】:How to create dataframe from list[Map] based on condition如何根据条件从列表 [Map] 创建数据框
【发布时间】:2018-08-20 09:49:58
【问题描述】:

我有一个名为 DF1 的数据框,如下所示。

DF1:

srcColumnZ|srcCoulmnY|srcCoulmnR| 
+---------+----------+----------+
|John     |Non Hf    |New york  |
|Steav    |Non Hf    |Mumbai    |
|Ram      |HF        |Boston    |

还有一个映射列表,其中包含源到目标列的映射,如下所示。

List(Map(targetColumn -> columnNameX, sourceColumn -> List(srcColumnX, srcColumnY, srcColumnZ, srcColumnP, srcColumnQ, srcColumnR)), Map(targetColumn -> columnNameY, sourceColumn -> List(srcColumnY)), Map(targetColumn -> columnNameZ, selectvalue -> 5))

我想根据上面的 Map 列表创建一个数据框,在该数据框中我需要 columnNameX、columnNameY、columnNameZ 作为列(根据上面的列表),这些列的值将基于 sourceColumn 即如果sourceColumn 像 List(srcColumnX, srcColumnY, srcColumnZ, srcColumnP, srcColumnQ, srcColumnR)) 一样存在,然后它将一一检查 DF1 中的所有列,并且每当第一列匹配时,它将将该列的所有值移动到目标列和下一个目标列相同。如果存在 selectvalue 而不是源列,它将将该值硬编码到整个列中。即:在上面的目标列列表中(columnNameZ)选择值存在 5

下面是预期的输出。

columnNameX|columnNameY|columnNameZ| 
+----------+-----------+-----------+
|John      |Non Hf     |5          |
|Steav     |Non Hf     |5          |
|Ram       |HF         |5          |

【问题讨论】:

    标签: scala apache-spark apache-spark-sql scala-collections


    【解决方案1】:

    这里的主要内容是从给定的map 生成一个query list,你可以像下面那样做

    //Input DF
    val df=Seq(("John","Non Hf","New york"),("Steav","Non Hf","Mumbai"),("Ram","HF","Boston")).toDF("srcColumnZ", "srcColumnY", "srcColumnR")
    
    //Input List
    
    val mapList=List(Map("targetColumn" -> "columnNameX", "sourceColumn" -> List("srcColumnX", "srcColumnY", "srcColumnZ", "srcColumnP", "srcColumnQ", "srcColumnR")), Map("targetColumn" -> "columnNameY", "sourceColumn" -> List("srcColumnY")), Map("targetColumn" -> "columnNameZ", "selectvalue" -> 5))
    
    //Get all the columns of df as list
    
    val dfCols=df.columns.toList
    
    //Then generate query list like below
    
    val query = mapList.map { mp =>
                if (mp.contains("sourceColumn")) {
                    val srcColumn = mp.getOrElse("sourceColumn", "sourceColumn key not found").toString.replace("List(", "").replace(")", "").split(",").map(_.trim).toList
                    val srcCol = srcColumn.filter(dfCols.contains(_)).head
                    df.col(srcCol.toString).alias(mp.getOrElse("targetColumn", "No Target column found").toString)
                } else {
                    lit(mp.getOrElse("selectvalue", "No Target column found").toString.replace("(", "").replace(")", "").trim).alias(mp.getOrElse("targetColumn", "No Target column found").toString)
                }
            }
    
    //Finally , fire the query
    
    df.select(query:_*).show
    
    //Sample output:
    
    +-----------+-----------+-----------+
    |columnNameX|columnNameY|columnNameZ|
    +-----------+-----------+-----------+
    |     Non Hf|     Non Hf|          5|
    |     Non Hf|     Non Hf|          5|
    |         HF|         HF|          5|
    +-----------+-----------+-----------+
    

    【讨论】:

    • 非常感谢您的回答。我在这里有一个疑问,它没有处理如果没有源列与源数据框中的 sourceColumn 列表匹配的情况,那么它将在整个列中放置 null。
    • 留下上面的评论,因为我通过应用以下条件来解决这个问题 if((srcColumn.filter(sourceDFCols.contains(_))).isEmpty) { lit(null).alias(mp.getOrElse(" targetColumn", "No Target column found").toString) 非常感谢您的帮助。我接受你的回答
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-07-21
    • 2021-12-09
    • 2021-11-04
    • 2022-07-18
    • 2018-07-10
    • 2022-01-18
    • 1970-01-01
    相关资源
    最近更新 更多