在 PDF 文本挖掘中使用 AI/ML [关闭]

Question

我是 NLP 的新手，因为我刚刚开始学习它。所以，如果这个问题看起来很简单，请多多包涵:)

我有一堆 PDF 文件（很多），任务是：每当有人提出问题并在其中一个 PDF 中提供答案时，要么提取包含答案的部分，要么显示该特定 PDF 的页码作为答案。您可以将每个 PDF 视为特定产品的手册；总共有数百个 PDF 文件。

我知道使用 PDF 搜索引擎可以轻松解决这个问题；但是从文本挖掘和 AI/ML 的角度来看，是否有任何潜在的方法可以解决这个问题？我可以在几个 PDF 上训练模型并且它可以在休息时工作吗？

最近我一直在尝试做一些研究，到目前为止我得到的是：每当有人提出问题时，我可以使用 nltk python 从问题中提取关键字（网上有大量资源）。但真正困扰我的是下一部分，即 pdf 文本/信息开始发挥作用。

提前谢谢:)

Answer 1

如果我是你，我会从收集或创建训练机器所需的数据开始。

如：
1.客户查询包含以下关键字housetimbernails。
因此，您在文档中搜索这些关键字，然后向他们发送 house_timber.pdf
2. 然后你会想得到反馈，知道你所做的是对还是错。
比如要求客户就结果给你反馈。
或者你可以自己经历它并在最初的几百/几千次中自己训练它。

然后，我会将所有这些培训查询和结果存储在数据库中，这样每次有新查询进来时，您都可以通过培训并得出最准确的答案。
然后再次请求反馈并将新结果存储在数据库中。 （继续反馈循环！）

您可以通过运行测试自己训练它。

像给它关键字一样，检查这些关键字是否存在于.pdf 中，然后根据结果将结果标记为yes [1] 或no [0]。

我发现你训练得越多，它就会越准确。只要您继续从反馈中训练它，那么您的结果将继续提高准确性。

我还发现，如果你给它太多的训练数据，让它运行多次变化。结果并没有太大改善，只是需要更多时间。因此，尝试找到合适的数据量和合适的训练迭代量也很重要。 （如果您想快速回复）。

开始使用机器学习来寻找模式是一次很酷的冒险。玩得开心！