来自 spark.read.format('csv') 的数据帧不正确

Question

我正在使用以下内容在 pyspark 中读取 csv 文件作为数据帧

DF=spark.read.format('csv').option("header", "true").load("data.csv")

它适用于大多数文件，但我遇到了一些错误。

预期的数据帧

 id    name    code    remarks                 code2       code3
1001   abc     123     1. this is remark 1     12            1
                       2. this is remark 2
1002   def     234     no remarks              23            2

错误的数据框

 id                    name    code    remarks               code2        code3
1001                   abc     123     1.this is remark 1     null         null
2.this is remark 2     12       1      null                   null         null
1002                   def     234     no remarks             23             2

请注意，原始数据有很多列。所以我想避免提供自定义模式。如果我在 MS Excel 中打开文件，则没有此问题。

如何解决此问题以获得预期的数据帧？

Answer 1

这是每个人在使用类似直线的工具时都会遇到的常见问题。

但实际数据帧不受影响。您可以通过 df.count() == 2 而不是 3 进行检查。

你可以试试这个

选择 id, name, code, regexp_replace(remarks, '\\n', ""), code2, 代码 3 来自 ;

这将内联数据。

希望对你有帮助！！！