读取 CSV 后具有奇怪值的 Spark 数据帧

Question

来自here，我正在尝试从 Pyspark 中的this dataset 读取正确的值。我使用df = spark.read.csv("hashtag_donaldtrump.csv", header=True, multiLine=True) 取得了不错的进展，但现在我在某些单元格中有一些奇怪的值，正如您在这张图片中看到的（最后几行）：

你知道我怎样才能摆脱它们吗？或者，如何使用其他程序读取格式的 CSV？我很难使用像 Vim 或 Nano 这样的文本编辑器来猜测错误在哪里。谢谢！

Answer 1

Spark 似乎很难读懂这一行：

2020-10-15 00:00:23,1.3165293165079306e+18,"""IS THIS WRONG??!!"" ...

因为有三个双引号。但是 pandas 似乎很了解这一点，因此作为一种解决方法，您可以先使用 pandas 读取 csv 文件，然后转换为 Spark 数据帧。通常不建议这样做，因为涉及的开销很大，但对于这个小的 csv 文件，性能损失应该是可以接受的。

df = spark.createDataFrame(pd.read_csv('hashtag_donaldtrump.csv').replace({float('nan'): None}))

replace 用于将 pandas 数据框中的 nan 替换为 None。 Spark 认为nan 是一个浮点数，当字符串类型列中有nan 时它会感到困惑。

如果文件对于 pandas 来说太大，那么您可以考虑删除那些 Spark 无法使用 mode='DROPMALFORMED' 解析的行：

df = spark.read.csv('hashtag_donaldtrump.csv', header=True, multiLine=True, mode='DROPMALFORMED')