我正在使用spaCy 来标记一个字符串，并且该字符串很可能包含一个特定的子字符串。如果存在子字符串，我希望spaCy 将子字符串视为令牌，而不管它具有任何其他规则。我想保持所有其他规则不变。这可能吗？
举一个具体的例子，假设感兴趣的子字符串是'banana'；我希望将'I like bananabread.' 标记为['I', 'like', 'banana', 'bread', '.']。
我从这里去哪里（请记住，我希望保持其余的标记器规则不变）？我尝试在前缀、后缀和中缀中添加'banana'，但没有成功。
【问题讨论】：
将字符串添加为前缀、后缀和中缀应该可以，但是根据您使用的 spacy 版本，您可能在测试时遇到了缓存错误。此错误已在 v2.2+ 中修复。
使用 spacy v2.3.2：
import spacy
nlp = spacy.load("en_core_web_sm")
text = "I like bananabread."
assert [t.text for t in nlp(text)] == ['I', 'like', 'bananabread', '.']
prefixes = ("banana",) + nlp.Defaults.prefixes
suffixes = ("banana",) + nlp.Defaults.suffixes
infixes = ("banana",) + nlp.Defaults.infixes
prefix_regex = spacy.util.compile_prefix_regex(prefixes)
suffix_regex = spacy.util.compile_suffix_regex(suffixes)
infix_regex = spacy.util.compile_infix_regex(infixes)
nlp.tokenizer.prefix_search = prefix_regex.search
nlp.tokenizer.suffix_search = suffix_regex.search
nlp.tokenizer.infix_finditer = infix_regex.finditer
assert [t.text for t in nlp(text)] == ['I', 'like', 'banana', 'bread', '.']
（在 v2.1 或更早版本中，tokenizer 自定义仍然适用于新加载的 nlp，但如果您已经使用 nlp 管道处理了一些文本，然后修改设置，那么错误是它将使用缓存中存储的标记化而不是新设置。）
【讨论】：
nlp.tokenizer.explain(text) 来调试正在发生的事情。
标记化发生在 spaCy 管道的开头，因此您应该首先对文本进行预处理。
我写了一个函数，它使用正则表达式来填充复合词中的子字符串：
import re
text = 'I eat bananas and bananabread at the bookstore.'
def separate_compound_toks(text):
anti_compound = sorted(['banana', 'store'])
anti_compound = "|".join(t.lower() for t in anti_compound)
# pad word from end
pattern_a = re.compile(r'(?i)({sub})(?=[a-z]{{3,}})'.format(sub=anti_compound))
text = re.sub(pattern_a, r'\1 ', text)
# pad word from beginning
pattern_b = re.compile(r'(?i)(?<![^a-z])({sub})'.format(sub=anti_compound))
text = re.sub(pattern_b, r' \1', text)
return text
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp(separate_compound_toks(text))
print([tok.text for tok in doc])
# ['I', 'eat', 'bananas', 'and', 'banana', 'bread', 'at', 'the', 'book', 'store', '.']
【讨论】：
bananas 标记为单个标记，而不是 ['banana', 's']