如何在 NER 和 QA 模型之间做出决定？

Question

我正在完成一项涉及 NLP 和转换器的任务。我想识别文本语料库中的相关特征。如果我要从工作描述中提取相关特征，例如将在工作中使用的工具（powerpoint、excel、java 等）以及所需的熟练程度，这项任务是否更适合命名实体识别模型或问答模型。

如果我像 NER 任务一样处理它，我会在训练数据中的所有相关工具上附加一个标签，并希望它能够很好地概括。我可以将问题类似地作为一个 QA 模型来处理，并询问诸如“这项工作需要什么工具”之类的问题，并提供一个描述作为上下文。

除非我缺少更好的工具来完成这项任务，否则我计划使用转换器库。我希望提取许多功能，因此并非所有功能都像从列表中获取关键字一样简单（编程语言、Microsoft Office 等...）。

其中一种方法是否更合适，还是我错过了解决问题的更好方法。

任何帮助表示赞赏。谢谢！

Answer 1

从你所说的看来，它似乎是一个实体识别任务。但是，您应该问自己并回答自己的问题是：

• 您的用户将如何与模型交互？

  • 结构化信息 → 实体识别。
  • 聊天机器人 → 质量检查。

• 您是否要从文本中提取一组预定义的实体？

  • 是 → 实体识别。
  • 否 → 质量检查。

• 您用于微调的训练数据是什么样的？

  • 只有少数 → 实体识别。
  • 大量数据，问答对 → QA。