R - 清理损坏的 CSV 文件

Question

前几天我发布了一个问题，并意识到我没有很好地表达我的问题。所以我把它清理了，让它变得更简单了。

"@realdonaldtrump","19301000","19300609","Jody"
"@realdonaldtrump","1350700000","1350725479","Bobby
Fischer"
"@realdonaldtrump","870440000","870442502","Lenny"
Phone</a>"
"@realdonaldtrump","4831200000","4831194209","Tom"
"@realdonaldtrump","4.397e+09","4397021841","Dave"
"@realdonaldtrump", "12345678","9012345678", "Zee
G

Zeek"

我的 CSV 数据存在一些问题。我需要清理它，这样我才能用 R 读取它。

我期望返回 6 个条目，Jody、Bobby Fischer、Lenny、Tom 和 Dave、Zee G Zeek 各一个。

但是，那个讨厌的“电话”神器把事情搞砸了。

所以我的第一个想法是 gsub 出来。问题是，该工件因数百万个条目而异。有时它的电话“。有时它的 Eck”。有时是 Twitter"。各种长度。各种格式。

另一个问题是，在“Bobby Fischer”之类的情况下，上面的一行可能在一个重要字段的中间有一个 \r\n。我不想失去这些台词。

是否存在一种明确的方法来清除这些有问题的线条，同时又不会破坏恰好向下延伸的有益线条？

Answer 1

您需要搜索不以" 开头的行，而最后一行以" 结束。 搜索

\"\r\n[^\"]+\"

替换为

\"\r\n

Answer 2

您可能想尝试 data.table 包中的 fread 函数，该包具有 fill 参数。通过将此参数设置为TRUE，您将为最终要删除的那些讨厌 案例创建单独的行，同时保留内部包含\r\n 的字段。

假设数据在twit.csv:

library(data.table)
twit <- fread('twit.csv', fill=TRUE, header=FALSE)

将给予：

> twit
                 V1         V2         V3             V4
1: @realdonaldtrump   19301000   19300609           Jody
2: @realdonaldtrump 1350700000 1350725479 Bobby\nFischer
3: @realdonaldtrump  870440000  870442502          Lenny
4:       Phone</a>"                                     
5: @realdonaldtrump 4831200000 4831194209            Tom
6: @realdonaldtrump  4.397e+09 4397021841           Dave
7: @realdonaldtrump   12345678 9012345678 Zee\nG\n\nZeek

接下来您可以使用grep 过滤掉想要的值：

twit[grep('^@', V1)]

这会给你：

                 V1         V2         V3             V4
1: @realdonaldtrump   19301000   19300609           Jody
2: @realdonaldtrump 1350700000 1350725479 Bobby\nFischer
3: @realdonaldtrump  870440000  870442502          Lenny
4: @realdonaldtrump 4831200000 4831194209            Tom
5: @realdonaldtrump  4.397e+09 4397021841           Dave
6: @realdonaldtrump   12345678 9012345678 Zee\nG\n\nZeek