【问题标题】:Adding missing columns to a dataframe pyspark将缺失的列添加到数据框 pyspark
【发布时间】:2022-01-25 05:50:20
【问题描述】:

当使用pyspark 使用以下代码从文本文件中读取数据时,

spark = SparkSession.builder.master("local[*]").getOrCreate()
df = sqlContext.read.option("sep", "|").option("header", "false").csv('D:\\DATA-2021-12-03.txt')

我的数据文本文件看起来像,

col1|cpl2|col3|col4
112 |4344|fn1 | home_a| extras| applied | <null>| <empty>

但我得到的输出是,

col1|cpl2|col3|col4
112 |4344|fn1 | home_a

有没有办法为数据框添加那些缺失的列?

期待,

col1|cpl2|col3|col4|col5|col6|col7|col8
112 |4344|fn1 | home_a| extras| applied | <null>| <empty>

【问题讨论】:

  • 我认为您必须在使用 csv 阅读器读取文件之前修改 CSV 文件标题或将其插入。
  • @codebot 你能更新预期的数据帧吗
  • @Nitish 添加了预期的数据框
  • 如果您不关心现有列的名称,option("header", "true") 并传递自定义模式应该可以,不是吗? (可能会有一些关于标头与架构不匹配的警告)
  • 是的。试过了。但它给了我一个错误。数据帧转换失败

标签: python-3.x apache-spark pyspark


【解决方案1】:

您可以显式指定架构,而不是推断它。


from pyspark.sql.types import StructType,StructField, StringType, IntegerType 
schema = StructType() \
      .add("col1",StringType(),True) \
      .add("col2",StringType(),True) \
      .add("col3",StringType(),True) \
      .add("col4",StringType(),True) \
      .add("col5",StringType(),True) \
      .add("col6",StringType(),True) \
      .add("col7",StringType(),True) \
      .add("col8",StringType(),True) 

df = spark.read.option("sep", "|").option("header", "true").schema(schema).csv('70475571_data.txt')

输出

+----+----+----+-------+-------+---------+-------+--------+
|col1|col2|col3|   col4|   col5|     col6|   col7|    col8|
+----+----+----+-------+-------+---------+-------+--------+
|112 |4344|fn1 | home_a| extras| applied | <null>| <empty>|
+----+----+----+-------+-------+---------+-------+--------+

【讨论】:

    猜你喜欢
    • 2018-03-02
    • 1970-01-01
    • 2023-01-22
    • 1970-01-01
    • 2023-03-21
    • 2021-08-11
    • 2013-10-19
    • 1970-01-01
    • 2023-03-22
    相关资源
    最近更新 更多