删除 csv 文件中的换行符

Question

我有一个带有行的 csv 文件，每行以 (@) 开头，一行中的所有字段都用 (;) 分隔。其中一个包含“文本”（“”[]“”）的字段有一些换行符，在将整个 csv 文件导入到 Excel 或访问时会产生错误。换行后的文本被认为是独立的行，不遵循表格的结构。

@4627289301; Lima, Peru; 490; 835551022915420161; Sat Feb 25 18:04:22 +0000 2017; ""[OJO!
la premiacin de los #Oscar, nuestros amigos de @cinencuentro revisan las categoras.
+info: co/plHcfSIfn8]""; 0
@624974422; None; 114; 835551038581137416; Sat Feb 25 18:04:26 +0000 2017; ""[Porque nunca dejamos de amar]""; 0

使用 python 脚本对此有何帮助？或任何其他解决方案...

作为输出，我想要这些行：

@4627289301; Lima, Peru; 490; 835551022915420161; Sat Feb 25 18:04:22 +0000 2017; ""[OJO! la premiacin de los #Oscar, nuestros amigos de @cinencuentro revisan las categoras. +info: co/plHcfSIfn8]""; 0
@624974422; None; 114; 835551038581137416; Sat Feb 25 18:04:26 +0000 2017; ""[Porque nunca dejamos de amar]""; 0

有什么帮助吗？我是一个 csv 文件（54MB），里面有很多带有换行符的行...其他一些行还可以...

Answer 1

您也应该分享您的预期输出。

无论如何，我建议您先清理文件以删除换行符。然后您可以将其读取为 csv。一种解决方案可以是（我相信有人会提出更好的建议:-)）

清理文件（在 linux 上）：

sed ':a;N;$!ba;s/\n/ /g' input_file | sed "s/ @/\n@/g" > output_file

以 csv 格式读取文件（您可以使用任何其他方法读取）

import pandas as pd
df = pd.read_csv('output_file', delimiter=';', header=None)
df.to_csv('your_csv_file_name', index=False)

让我们看看它是否对你有帮助:-)

Answer 2

您可以搜索不以“@”开头的行，例如\r?\n+(?!@\d+;)。

以下内容是从此 regex101 demo 生成的。它用空格替换这样的行结束。您可以将其更改为您喜欢的任何内容。

# coding=utf8
# the above tag defines encoding for this document and is for Python 2.x compatibility

import re

regex = r"\r?\n+(?!@\d+;)"

test_str = ("@4627289301; Lima, Peru; 490; 835551022915420161; Sat Feb 25 18:04:22 +0000 2017; \"\"[OJO!\n"
    "la premiacin de los #Oscar, nuestros amigos de @cinencuentro revisan las categoras.\n"
    "+info: co/plHcfSIfn8]\"\"; 0\n"
    "@624974422; None; 114; 835551038581137416; Sat Feb 25 18:04:26 +0000 2017; \"\"[Porque nunca dejamos de amar]\"\"; 0")

subst = " "

# You can manually specify the number of replacements by changing the 4th argument
result = re.sub(regex, subst, test_str, 0, re.MULTILINE)

if result:
    print (result)

# Note: for Python 2.7 compatibility, use ur"" to prefix the regex and u"" to prefix the test string and substitution.