【问题标题】:How to check if schema of two dataframes are same in pyspark?如何检查 pyspark 中两个数据帧的模式是否相同?
【发布时间】:2022-12-12 16:04:21
【问题描述】:

我有数据帧 df1,它有列 a、b、c、d 和 int、int、int、int 作为相应的数据类型

我有数据框 df2,其中包含 a、b 列,电子, c, d 对应数据类型为 int, int, string, int, int

我应该能够找到这两个数据框是否拥有相同的模式,在这种情况下是不一样的。我如何在 pyspark 中以更简单的方式做到这一点?

【问题讨论】:

    标签: apache-spark pyspark azure-databricks


    【解决方案1】:

    将地图数据类型放入集合并找到交集或差异

    len(set(df.dtypes).difference(set(df1.dtypes)))==0
    

    【讨论】:

      猜你喜欢
      • 2013-10-07
      • 1970-01-01
      • 2022-12-18
      • 1970-01-01
      • 2017-07-08
      • 2012-11-16
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多