向 spaCy 添加新语言：引理查找问题

Question

我正在为古希腊语 (grc) 编写一个新的 spacy 语言类，它在标记器级别工作，但无法在我从语料库构建的字典中进行引理查找。当我在 spacy_lookups_data 的相应目录中使用 python -m pytest spacy_lookups_data 并使用我编写的测试文件运行查找表的测试时，出现以下错误：

grc_nlp = , string = 'μοι', lemma = 'ἐγώ'

@pytest.mark.parametrize(
    "string,lemma",
    [
        ("ἄνδρα", " ἀνήρ"),
        ("μοι", " ἐγώ"),
        ("πολύτροπον", "πολύτροπονος"),
        ("ὃς", "ὃς"),
        ("πολλὰ", "πολύς"),
        ("Τροίης", "Τροία"),
    ],
)
def test_grc_lemmatizer_lookup_assigns(grc_nlp, string, lemma):
    tokens = grc_nlp(string)

  assert tokens[0].lemma_ == lemma

E AssertionError: assert 'μοι' == 'ἐγώ' E - ἐγώ E + μοι

test_grc.py:26: AssertionError _ test_grc_lemmatizer_lookup_assigns [\ u03c0 \ u03bf \ u03bb \ u03cd \ u03c4 \ u03c1 \ u03bf \ u03c0 \ u03bf \ u03bd- \ u03c0 \ u03bf \ u03bb \ u03cd \ u03c4 \ u03c1 \ u03bf \ u03c0 \ u03bf \ u03bd \ u03bf \ u03c2] _

我在测试文件中写入的所有 5 个引理都出现了类似的错误。这可能是与 unicode 有关的错误吗？也许空间字符定义中缺少希腊多调字符？我怀疑这是因为古代使用的变音符号可能不被 spacy 支持。或者这个错误是否指向我的引理表的问题？

谢谢。

雅各布

Answer 1

这可能不是 unicode 问题。您是否在setup.cfg 和spacy_lookups_data/__init__.py 中添加了入口点并重新安装了spacy-lookups-data 包？