PySpark 无法使用 utf-8 编码读取多行

Question

在使用 PySpark 选项多行 + utf-8（字符集）时，我们无法读取正确格式的数据。

挖掘后得到this link，它位于类似的线路上，但用于数据块。这适用于 Scala spark，但无法在 PySpark 中读取。

是否缺少或需要以不同的方式实施？

Answer 1

请尝试将其读取为文本文件：

spark.read.text()

使用您的字符集。

比此处解释的其余步骤：https://sparkbyexamples.com/spark/spark-read-multiline-multiple-line-csv-file/

• 用转义字符 + 定界符 + 转义字符“，”替换所有定界符。 - 如果您有逗号分隔的文件，那么它将替换为“,”。
• 在每条记录的末尾添加转义字符（编写逻辑以忽略具有多行的行）。
• 将数据写入另一个临时文件。
• 最后，将此文件读取为带有多行和转义选项的 CSV。