【问题标题】:Is there a way to get the column data type in pyspark?有没有办法在 pyspark 中获取列数据类型?
【发布时间】:2018-08-01 23:12:23
【问题描述】:

已经讨论过在 pyspark 中查找列数据类型的方法是使用 df.dtypes get datatype of column using pyspark。这样做的问题是,对于像数组或结构这样的数据类型,您会得到类似 array<string>array<integer> 的内容。

问题:是否有获取 pyspark 数据类型的本地方法?赞ArrayType(StringType,true)

【问题讨论】:

    标签: apache-spark pyspark


    【解决方案1】:

    只需使用schema:

    df.schema[column_name].dataType
    

    【讨论】:

    • dict(df.dtypes)[column_name] 也有效(感谢@RobinL)。但请注意,您将获得作为字符串名称而不是正式类型名称的数据类型;例如,timestampTimestampType
    猜你喜欢
    • 1970-01-01
    • 2018-07-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-07-07
    • 2021-01-12
    • 2021-04-11
    • 1970-01-01
    相关资源
    最近更新 更多