【发布时间】:2022-01-25 05:50:20
【问题描述】:
当使用pyspark 使用以下代码从文本文件中读取数据时,
spark = SparkSession.builder.master("local[*]").getOrCreate()
df = sqlContext.read.option("sep", "|").option("header", "false").csv('D:\\DATA-2021-12-03.txt')
我的数据文本文件看起来像,
col1|cpl2|col3|col4
112 |4344|fn1 | home_a| extras| applied | <null>| <empty>
但我得到的输出是,
col1|cpl2|col3|col4
112 |4344|fn1 | home_a
有没有办法为数据框添加那些缺失的列?
期待,
col1|cpl2|col3|col4|col5|col6|col7|col8
112 |4344|fn1 | home_a| extras| applied | <null>| <empty>
【问题讨论】:
-
我认为您必须在使用 csv 阅读器读取文件之前修改 CSV 文件标题或将其插入。
-
@codebot 你能更新预期的数据帧吗
-
@Nitish 添加了预期的数据框
-
如果您不关心现有列的名称,
option("header", "true")并传递自定义模式应该可以,不是吗? (可能会有一些关于标头与架构不匹配的警告) -
是的。试过了。但它给了我一个错误。数据帧转换失败
标签: python-3.x apache-spark pyspark