如何识别缩写/首字母缩略词并在 spaCy 中扩展它们？

Question

我有一个很大的（~50k）术语列表，其中一些关键短语/术语具有相应的首字母缩略词/缩写。我需要一种快速的方法来查找缩写或扩展缩写（即 MS -> Microsoft ），然后将其替换为完整的扩展缩写 + 缩写（即 Microsoft -> Microsoft (MS) 或 MS -> Microsoft (MS) ） .

我对 spaCy 很陌生，所以我的幼稚方法是使用 spacy_lookup 并使用缩写和扩展缩写作为关键字，然后使用某种 pipeline extension 然后进行匹配并将它们替换为完整的扩展缩写 + 缩写。

有没有更好的方法来标记和解析 spaCy 中的首字母缩写词/缩写词？

Answer 1

查看 GitHub 上的 scispacy，它实现了 this paper 中描述的首字母缩写词识别启发式算法，（另请参阅 here）。如果首字母缩略词在文本中以类似

的模式“引入”，则启发式有效

StackOverflow (SO) 是一个面向专业和狂热程序员的问答网站。太棒了！

一种用长格式替换一段文本中所有首字母缩略词的工作方法可能是

import spacy
from scispacy.abbreviation import AbbreviationDetector

nlp = spacy.load("en_core_web_sm")

abbreviation_pipe = AbbreviationDetector(nlp)
nlp.add_pipe(abbreviation_pipe)

text = "StackOverflow (SO) is a question and answer site for professional and enthusiast programmers. SO rocks!"

def replace_acronyms(text):
    doc = nlp(text)
    altered_tok = [tok.text for tok in doc]
    for abrv in doc._.abbreviations:
        altered_tok[abrv.start] = str(abrv._.long_form)

    return(" ".join(altered_tok))

replace_acronyms(text)