Spacy：创建空或错误令牌实例？

【问题标题】：Spacy: Creating empty or error Token instance?Spacy：创建空或错误令牌实例？
【发布时间】：2019-08-06 17:49:33
【问题描述】：

我正在收集 Dict 中的一些令牌以供进一步使用。问题是我需要一个令牌来扮演 None/NIL 的角色，以防我在文档中找不到我需要的东西来充当无值情况，即仍然具有所有属性（可以说字符串值一些特殊的字符）......即像令牌一样，但不是来自文档的令牌。

有没有办法创建这样的 Token ？或者可能是复制一些但修改 .dep_、.pos_ 等。

【问题讨论】：

在这里搜索相同的东西。我反复使用我不希望在真实文本中找到的奇怪标记（如'XXX&&&XXX^）。我会创建一个规则，在需要打印时不显示/打印它。在某些情况下，当我不需要这些功能并且希望显示简单明了时，我将有一个与 str elems 穿插的标记列表，主要是一个空字符串“”，这将实现该功能。我仍然想要一种无/空令牌。你/有人找到方法了吗？

【解决方案1】：

一种方法是创建一个仅包含一个字符（例如空格或 * 或您选择的任何其他字符）的文档，即 nlp('')，并在索引 0 处获取标记。对于例如，如果您的特殊字符是 #，则如下所示：

empty_token = nlp('#')[0]

empty_token 是一个普通的token，所以它具有所有的属性。运行下面的代码会产生相应的输出：

print('text:', empty_token.text)
print('pos:', empty_token.pos_)
print('dep:', empty_token.dep_)

输出：

text: #
pos: SYM
dep: ROOT

【讨论】：