索引html的文本内容

Question

我想从 html 文件中提取文本以进行索引，并尽可能快地完成。我不想从头开始创建东西，而是想看看我能找到多少已经为我完成的事情。

目前我只是通过管道输出 html2text 的输出，这是可行的，但是在成为 python 和尝试美化文本之间，我确信速度可以提高。

那么，优先考虑 Linux/unix，哪些 (c/c++) 库最适合此类任务？

Answer 1

要提取文本，您可以使用 HTML 解析器，例如 htmlcxx 或 libxml。您还可以在tidying up HTML 之后使用任何 XML 库。对于文本索引，您可以使用CLucene。