使用 csv 文件查找单引号中的逗号

Question

我目前有一个 Twitter 用户的 csv 文件，我正在尝试将其转换为 python 数据框 该文件包含用户 ID、背景图片、个人简介以及有关用户配置文件的其他信息。我遇到的问题是我试图在生物描述中去掉逗号，因为这会干扰文件的逗号分隔并在数据框中创建额外的列。

文件中的所有字段都用括号括起来，每个子字段都用引号括起来。大多数时候这些是单引号，但生物描述有时有双引号。请参阅下面的此文件中的一行示例

(19435878, u'http://a3.xxx.com/profile_background_images.jpg', 1232785000000L, u'I have been researching a British Spies life for a few years. My site tells his story. His name's ffrench, Conrad ffrench. ', 0, 753, 837, 0, u'Lincolnshire', u'Joe Bloggs', u'http://a0.xxx.com/profile_images.jpg', 0, u'00bloggs', 10, u'London', 0, u'en', 3, u'http://sample.com')

我要做的是使用正则表达式在生物描述中查找逗号。当描述在双引号中时它可以正常工作，但是当我为单引号编辑正则表达式时，如果其中有像“I'm”这样的缩写，它就不起作用。

这是我的双引号正则表达式，它在双引号中找到逗号（我找到了here）

,(?=[^"]*"(?:[^"]*"[^"]*")*[^"]*$) 

似乎正在发生的事情是“名称”正在抛弃单引号计数，因此它会在引号之外拾取逗号并去掉分隔符，并且某些行的列数较少

我正在尝试提出一个正则表达式，它可以使用u' 作为起点，也可以使用', 作为终点，并且只能在它们之间进行搜索，但我似乎无法接近。我是这个正则表达式的新手，我发现很难理解它的一些更复杂的形式。

非常感谢任何帮助。

Answer 1

我不确定是否是逗号导致了问题；也许更多的是字符串中的单引号，以单引号开头和结尾。你提到双引号也可以在那里，所以我猜你不能将字符串更改为用双引号括起来并希望解决这个问题。

您可以将框架的 sep 参数更改为自定义的参数。请参阅下面的示例代码，该代码使用问题中给出的唯一行来创建 15 列框架。

注意：问题 ATM 中没有显示所需的输出，因此猜测以下是正确的。

代码：

import re

with open('so_69080377.txt', 'r') as f:
    lines = f.readlines()
    
new_lines = []
for line in lines:
    print(line,'#<<- one line in text file\n')
    # see https://regex101.com/r/vwOegA/1 for regex example
    new_lines.append(re.sub(r"(,) u'|('),\s", r',,, ', line))

s = ''.join(new_lines)

from io import StringIO
import pandas as pd

# custom 'sep=' that's looking for the replacement in line 9 above;
# in this case three commas together (if that's not unique...modify line 9 above)
display(pd.read_csv(StringIO(s), sep=',,,', header=None))

输出：

(19435878, u'http://a3.xxx.com/profile_background_images.jpg', 1232785000000L, u'I have been researching a British Spies life for a few years. My site tells his story. His name's ffrench, Conrad ffrench. ', 0, 753, 837, 0, u'Lincolnshire', u'Joe Bloggs', u'http://a0.xxx.com/profile_images.jpg', 0, u'00bloggs', 10, u'London', 0, u'en', 3, u'http://sample.com') #<<- one line in text file