突出显示 HTML 文档中的词汇表术语

Question

我们有一个包含多达 2000 个术语的词汇表（其中每个词汇表术语可能 由一个、两个或三个单词组成（用空格分隔 或破折号）。

现在我们正在寻找一种解决方案来突出显示 （更长的）HTML 文档（最多 100 KB 的 HTML 标记），以便 生成带有突出显示的术语的静态 HTML 页面。

一个可行的解决方案的限制是：大量的词汇表术语 和长 HTML 文档……高效解决方案的蓝图是什么 （在 Python 中）。

现在我正在考虑使用 lxml 解析 HTML 文档，遍历所有文本节点，然后将每个文本节点中的内容与所有词汇表术语进行匹配。

客户端（浏览器）动态突出显示不是一个选项，因为 IE 会抱怨长时间运行的脚本会出现脚本超时......因此无法用于生产用途。

有更好的主意吗？

Answer 1

我认为使用客户端 javascript 突出显示是最好的选择。它可以节省您的服务器处理时间和带宽，更重要的是，它可以保持 html 的整洁并可供那些不需要不必要标记的人使用，例如，在打印或转换为其他格式时。

为避免超时，只需将作业分成块并在 setTimeout 的线程函数中一一处理。这是这种方法的一个示例

function hilite(terms, chunkSize) {

    // prepare stuff

    var terms = new RegExp("\\b(" + terms.join("|") + ")\\b", "gi");

    // collect all text nodes in the document

    var textNodes = [];
    $("body").find("*").contents().each(function() {
        if (this.nodeType == 3)
            textNodes.push(this)
    });

    // process N text nodes at a time, surround terms with text "markers"

    function step() {
        for (var i = 0; i < chunkSize; i++) {
            if (!textNodes.length)
                return done();
            var node = textNodes.shift();
            node.nodeValue = node.nodeValue.replace(terms, "\x1e$&\x1f");
        }
        setTimeout(step, 100);
    }

    // when done, replace "markers" with html

    function done() {
        $("body").html($("body").html().
            replace(/\x1e/g, "<b>").
            replace(/\x1f/g, "</b>")
        );
    }

    // let's go

    step()
}

像这样使用它：

$(function() {
    hilite(["highlight", "these", "words"], 100)
})

如果您有任何问题，请告诉我。

Answer 2

您可以使用解析器以递归方式导航您的树并仅替换由文本组成的标签。
在这样做时，您仍然需要考虑以下几点：
- 并非所有文本都需要替换（例如内联 javascript）
- 文档的某些元素可能不需要解析（例如标题等）

这是一个快速且非生产就绪的示例，说明如何实现这一目标：

html = """The HTML you need to parse"""
import BeautifulSoup

IGNORE_TAGS = ['script', 'style']

def parse_content(item, replace_what, replace_with, ignore_tags = IGNORE_TAGS):
    for content in item.contents:
        if isinstance(content, BeautifulSoup.NavigableString):
            content.replaceWith(content.replace(replace_what, replace_with, ignore_tags))
        else:
            if content.name not in ignore_tags:
                parse_content(content, replace_what, replace_with, ignore_tags)
    return item

soup = BeautifulSoup.BeautifulSoup(html)
body = soup.html.body
replaced_content = parse_content(body, 'a', 'b')

这应该用“b”替换任何出现的“a”，但留下的内容是：
- 内联 javascript 或 css 内部（尽管内联 JS 或 CSS 不应出现在文档的正文中）。
- 标签中的引用，例如 img、a...
- 标签本身

当然，根据你的词汇表，你需要确保你不会只用其他东西替换单词的一部分；为此，使用 regex insted of content.replace 是有意义的。

Answer 3

如何浏览词汇表中的每个术语，然后对于每个术语，使用正则表达式查找 HTML 中的所有匹配项？您可以将这些事件中的每一个替换为包含在跨度中的术语，该术语具有“突出显示”的类，该类将被设置为具有背景颜色。