IR 和 QA - 初学者项目范围

Question

我一直在为问答领域的本科项目集思广益。一个包含 IR 和 NLP 组件的项目。

首先出现的当然是事实问答，但这似乎是一个已经解决的问题。 #IBM 沃森！

Non-factoid QA 看起来很有趣，所以我接受了。现在，我们正处于项目描述的范围确定阶段。因此，出于雄心勃勃的目标——回答用户提出的任何问题——我需要确定我们的项目。

所以我做了以下决定：

1. 它将是封闭域 - C++ 编程
2. 语料库将仅包含一个网站。 （cplusplus 或 wikipedia）或仅一份文档（完整参考）
3. 我们将只开发整个 QA 架构的一个模块 - 段落检索或答案提取。

我们的导师坚持从实施一个已经存在的解决方案开始。 我被困在这一点上，以搜索现有的实现。 Here is one。但是当我阅读环境要求时，它是惊人的。有很多库和工具包，但我没有找到任何非事实性的 QA 系统，至少在很小的范围内了解它是件好事。

为项目建议一个好的范围。我希望通过我的主人继续努力，所以这将是一个好的开始吗？我们有大约 4 个月的时间来完成这个项目，重要的是不要最终做一个研究项目。它应该有一个有形的输出。

Answer 1

对于 IR，你有 Lucene/Solr。

对于机器学习和 nlp，有很多可用的库，主要是 python 和 java，至少是用户友好的。

实施 Hoifung 的系统非常雄心勃勃，我会选择更简单的方法。你看过他的代码吗？

你可以在其中找到很多东西是过去几年的 BioNLP 挑战，但这些也是相对复杂的任务。

Twitter 电影评论发现怎么样？即基于X推文，这部电影很烂吗？