用于理解非结构化文档的技术

Question

我有多个非结构化文档（PDF 和 HTML）。这些非结构化文档具有可预测的模式。这些模式有“n”个实例。

我需要编写一个程序来从这些文档中提取信息。该程序应该这样一种方式，即一旦针对特定模式进行了训练，它应该自动从相同模式的其他文档中挑选数据点。

使用什么技术来编写这个程序？任何有关特定算法的帮助将不胜感激。

Answer 1

对于这样的非结构化数据，您需要将其转换为结构化数据。尝试查看词袋模型和 TF-IDF 权重
https://en.wikipedia.org/wiki/Bag-of-words_model
https://en.wikipedia.org/wiki/Tf%E2%80%93idf

然后尝试看看像 Scikit Learn 这样的框架及其在文本挖掘中的应用：http://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html