【问题标题】:How to cast a column in dataframe? [duplicate]如何在数据框中转换列? [复制]
【发布时间】:2018-07-12 18:40:06
【问题描述】:

我正在从 hbase 获取数据并将其转换为数据帧。现在,我在数据框中有一列 string 数据类型。但我需要将其数据类型转换为 Int

尝试了下面的代码,但它给我一个错误

df.withColumn("order", 'order.cast(int)')

我面临的错误如下

error:col should be column

我在这里给出了正确的列名,我需要在pyspark中更改上述代码的语法吗?

【问题讨论】:

    标签: apache-spark dataframe pyspark apache-spark-sql


    【解决方案1】:

    要么:

    df.withColumn("order", df.order.cast("int"))
    

    from pyspark.sql.functions import expr
    
    df.withColumn("order", expr("CAST(order AS INTEGER)"))
    

    【讨论】:

    • 我收到这个错误 notebook:1: error: value cast is not a member of org.apache.spark.sql.DataFrame
    猜你喜欢
    • 2017-03-11
    • 2020-08-31
    • 1970-01-01
    • 2016-06-12
    • 2014-04-04
    • 2018-03-02
    • 2012-11-16
    • 2022-11-15
    • 2015-04-04
    相关资源
    最近更新 更多