如何清理字段包含 csv 分隔符和分隔符的 csv 文件

Question

我目前正在努力清理使用 sed 或 awk 或通过脚本自动生成的包含 csv 分隔符和字段分隔符的字段的 csv 文件。

源软件没有可用于改善情况的设置。

csv 格式：

"111111";"text";"";"text with ; and " sometimes "; or ;" multiple times";"user";

幸运的是，csv 格式“很好”，导出软件不会转义或替换字段中的“禁止”字符。

这几天我试图提高我对正则表达式的了解，并找到表达式来清理文件，但我失败了。

到目前为止我所做的事情：

RegEx 查找字段（我想查找字段并在内部执行替换，但我没有找到方法）

(?:";"|^")(.*?)(?=";"|";\n)

查找分号的正则表达式，如果分号是字段的最后一个字符，则不起作用，每个字段只能找到一个。

(?:^"|";")(?:.*?)(;)(?:[^"\n].*?)(?=";"|";\n)

RegEx 查找双引号，似乎在在线正则表达式测试器中选择该行的第一个双引号

(?:^"|";")(?:.*?)[^;](")(?:[^;].*?)(?=";"|";\n)

我想在字段中的每个字符之间添加空格，然后搜索单独的分号和双引号，然后删除单个空格，但我不知道这是否可行，而且似乎是一个糟糕的解决方案。

Answer 1

如果 CSV 本身没有显式错误，任何标准库都应该能够处理它。这就是我们有引号字符和转义字符的原因。

当您自己创建 CSV 时 - 您可能会忘记处理此类情况并让您的最终输出文件使用这种情况。 AWK 不是 CSV 阅读器，而只是一个文本处理实用程序。

这是您的行应该看起来的样子。

"111111";"text";"";"text with \; and \" sometimes \"; or ;\" multiple times";"user";

因此，如果您仍然可以重新获取数据，请找到一种方法来导出 CSV，或者通过您使用的语言的数据库自身的 csv 库功能。

在 python 中，这看起来像这样：-

mywriter = csv.writer(csvfile, delimiter=';', quotechar='"', escapechar="\\")

但是如果你不能再次创建 csv，唯一的希望是你期望在字段中出现一些模式，就像这个问题一样：- parse a csv file that contains commans in the fields with awk

但这在文本数据中很少出现——尤其是网页上的 cmets 或帖子。在这种情况下，另一个想法是使用 '\t' 作为分隔符。