包含 unicode 字符的拆分词

Question

我正在从事一个涉及推文中表情符号的 NLP 项目。

此处给出了推文示例：
"sometimes i wish i wa an octopus so i could slap 8 people at once????"

我的问题是 once???? 被认为是一个词，所以我想把这个唯一的词分成两个，这样我的推文看起来像这样：
"sometimes i wish i wa an octopus so i could slap 8 people at once ????"

请注意，我已经编译了包含每个表情符号的正则表达式！

我正在寻找一种有效的方法，因为我有数十万条推文，但我不知道从哪里开始。

谢谢

Answer 1

您可以使用re.sub 引入空格：

re.sub(r'(\W+)(?= |$)', r' \1', string)

示例：

>>> string
'sometimes i wish i wa an octopus so i could slap 8 people at once\xf0\x9f\x90\x99'
>>> re.sub(r'(\W+)(?= |$)', r' \1', string)
'sometimes i wish i wa an octopus so i could slap 8 people at once \xf0\x9f\x90\x99'

>>> string = 'sometimes i wish i wa an octopus so i could slap 8 people at once?" foobar'
>>> re.sub(r'(\W+)(?= |$)', r' \1', string)
'sometimes i wish i wa an octopus so i could slap 8 people at once \xf0\x9f\x90\x99 foobar'

Answer 2

你就不能这样做吗：

>>> import re
>>> s = "sometimes i wish i wa an octopus so i could slap 8 people at once?"
>>> re.findall("(\w+|[^\w ]+)",s)
['sometimes', 'i', 'wish', 'i', 'wa', 'an', 'octopus', 'so', 'i', 'could', 'slap', '8', 'people', 'at', 'once', '?']

如果您再次需要它们作为单个空格分隔的字符串，只需加入它们：

>>> " ".join(re.findall("(\w+|[^\w ]+)",s))
'sometimes i wish i wa an octopus so i could slap 8 people at once ?'

编辑：已修复。