【问题标题】:convert columns of pyspark data frame to lowercase将pyspark数据框的列转换为小写
【发布时间】:2017-03-24 17:32:17
【问题描述】:

我在 pyspark 中有一个数据框,其中有大写的列,如 IDCOMPANY

我想将这些列名称设为idcompany 等等。根据需要将所有列转换为小写或大写。

我希望列的数据类型保持不变。

我们该怎么做?

【问题讨论】:

    标签: python apache-spark pyspark spark-dataframe


    【解决方案1】:

    使用来自 DataFrame 的 columns 字段

    df = // load
    for col in df.columns:
        df = df.withColumnRenamed(col, col.lower())
    

    或者,正如@zero323 建议的那样:

    df.toDF(*[c.lower() for c in df.columns])
    

    【讨论】:

    • df.toDF(*[c.lower() for c in df.columns]) 会更便宜且(可以说更优雅)
    • @zero323 - 谢谢,我已经编辑了答案。我必须更多地学习 Python ;)
    • 您也可以使用生成器理解而不是构建列表,即执行df.toDF(*(c.lower() for c in df.columns))
    猜你喜欢
    • 2018-04-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-11-03
    • 1970-01-01
    • 2020-03-16
    • 1970-01-01
    相关资源
    最近更新 更多