【问题标题】:Cast Spark dataframe existing schema at once一次投射 Spark 数据框现有模式
【发布时间】:2021-12-15 19:12:40
【问题描述】:

我有一个数据框,它的所有列都是字符串类型,并且我有一个包含每列所需类型的架构。有没有办法将转换插入一个大的 try/catch 子句并一次动态地隐藏整个模式?我见过的唯一解决方案是专门处理每一列并转换其类型。

【问题讨论】:

  • 目标模式如何表示?作为地图还是别的什么?
  • 作为结构类型

标签: java scala apache-spark apache-spark-sql apache-spark-dataset


【解决方案1】:

试试:

val newDf = sparkSession.createDataFrame(oldDf.rdd, schema)

【讨论】:

    猜你喜欢
    • 2017-06-19
    • 1970-01-01
    • 2017-04-18
    • 2017-12-13
    • 1970-01-01
    • 2018-11-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多