【问题标题】:How to convert each column in a dataframe to a row with ColumnName and ColumnValue如何将数据框中的每一列转换为具有列名和列值的行
【发布时间】:2019-08-15 13:10:57
【问题描述】:

我需要转换以下数据框:

╔══════╦════════╦════════╦════════╗
║ Year ║  ColA  ║  ColB  ║  ColC  ║
╠══════╬════════╬════════╬════════╣
║ 2017 ║      1 ║      2 ║      3 ║
║ 2018 ║      4 ║      5 ║      6 ║
║ 2019 ║      7 ║      8 ║      9 ║
╚══════╩════════╩════════╩════════╝

进入这个:

╔══════╦════════╦═══════╗
║ Year ║ColName ║ Value ║
╠══════╬════════╬═══════╣
║ 2017 ║  ColA  ║     1 ║
║ 2017 ║  ColB  ║     2 ║
║ 2017 ║  ColC  ║     3 ║
║ 2018 ║  ColA  ║     4 ║
║ 2018 ║  ColB  ║     5 ║
║ 2018 ║  ColC  ║     6 ║
║ 2019 ║  ColA  ║     7 ║
║ 2019 ║  ColB  ║     8 ║
║ 2019 ║  ColC  ║     9 ║
╚══════╩════════╩═══════╝

这需要支持除第一个“年份”之外的任意数量的列,可以是 1 或多个。它应该是一个通用的解决方案,这意味着它不应该在任何地方使用硬编码的列名,而应该直接从原始数据帧中读取列名。

我正在使用带有 Scala 编写的笔记本的 Databricks。对 Spark 和 Scala 来说都是新手。

更新

我在 Python 中找到了这个运行良好的解决方案,但我很难将它转换为 Scala。

def columnsToRows(df, by):
  # Filter dtypes and split into column names and type description.
  # Only get columns not in "by".
  cols, dtypes = zip(*((c, t) for (c, t) in df.dtypes if c not in by))

  # Create and explode an array of (column_name, column_value) structs
  kvs = F.explode(F.array([
    F.struct(F.lit(c.strip()).alias("ColName"), F.col(c).alias("Value")) for c in cols
  ])).alias("kvs")

  return df.select(by + [kvs]).select(by + ["kvs.ColName", "kvs.Value"])

【问题讨论】:

标签: scala apache-spark apache-spark-sql databricks


【解决方案1】:

你可以使用stack转置数据

val fixedColumns = Seq("Year", "FixedColumn")

val cols = df.columns
  .filter(c => !(fixedColumns.contains(c)))
  .map(c => (s"'${c}', ${c}" ))

val exp= cols.mkString(s"stack(${cols.size}, ", "," , ") as (Point, Value)")


df.select($"Year", expr(exp))

输出:

  +----+------+-----+
  |Year|Point |Value|
  +----+------+-----+
  |2017|PointA|1    |
  |2017|PointB|2    |
  |2017|PointC|3    |
  |2018|PointA|4    |
  |2018|PointB|5    |
  |2018|PointC|6    |
  |2019|PointA|7    |
  |2019|PointB|8    |
  |2019|PointC|9    |
  +----+------+-----+

【讨论】:

  • 嗯,好的,但我需要一个如上所述的通用解决方案,它适用于任意数量的列(第一个总是“年”)并且不使用硬编码的列名,因为这些可以随便吧。
  • 太好了,谢谢。还有一件事。假设我有一个数据框,除了 Year 之外,还有一些不需要“转换”为行的额外列?有没有办法列出我想保留为列的列?类似于使用Seq("Year", "Another Fixed Column", "Another one") 来避免将这些转换为行?
  • 我已编辑您的答案以符合我的需要。谢谢!
  • 感谢更新,希望回答对您有所帮助!
【解决方案2】:

您的 python 代码翻译如下:

val colsToKeep = Seq("year").map(col) 
val colsToTransform = Seq("colA","colB","colC")

df.select((colsToKeep :+
  explode(
    array(colsToTransform.map(c => struct(lit(c).alias("colName"),col(c).alias("colValue"))):_*)
  ).as("NameValue")):_*)
  .select((colsToKeep :+ $"nameValue.colName":+$"nameValue.colValue"):_*)
  .show()

【讨论】:

    猜你喜欢
    • 2017-01-20
    • 1970-01-01
    • 1970-01-01
    • 2014-04-04
    • 1970-01-01
    • 2023-03-21
    • 2020-06-03
    • 2011-07-30
    相关资源
    最近更新 更多