Elasticsearch 在不破坏语法的情况下突出显示 HTML 中的匹配项

Question

Elasticsearch 有一个内置的“突出显示”功能，允许您在结果中标记匹配的术语（比乍听起来更复杂，因为查询语法可以包括近似匹配等）。

我有 HTML 字段，当我打开高亮显示时，Elasticsearch 会覆盖整个 HTML 语法。

我可以在以这种方式突出显示时使其支持 HTML/HTML 安全吗？

我希望突出显示应用于 HTML 文档中的文本，而不是突出显示与搜索匹配的任何 HTML 标记，即搜索“p”可能会突出显示 <p>p</p> -> <p><mark>p</mark></p>。

我的字段被索引为“type: string”。

documentation says:

编码器：

编码器参数可用于定义如何突出显示 文本将被编码。它可以是默认（无编码）或 html （如果您使用 html 高亮标签，将转义 html）。

.. 但是 HTML 转义了我已经 HTML 编码的字段，进一步破坏了事情。

这里有两个示例查询

1. 使用默认编码器：

高亮标签被插入到其他标签中，即<p> -> <<tag1>p</tag1>>:

curl -XPOST -H 'Content-type: application/json' "http://localhost:7200/myindex/_search?pretty" -d '
{
  "query": { "match": { "preview_html": "p" } },
  "highlight": {
    "pre_tags" : ["<tag1>"],
    "post_tags" : ["</tag1>"],
    "encoder": "default",
    "fields": {
      "preview_html" : {}
    }
  },
  "from" : 22, "size" : 1
}'

GIVES:
...
      "highlight" : {
        "preview_html" : [ "<<tag1>p</tag1> class=\"text\">TOP STORIES</<tag1>p</tag1>><<tag1>p</tag1> class=\"text\">Middle East</<tag1>p</tag1>><<tag1>p</tag1> class=\"text\">Syria: Developments in Syria are main story in Middle East</<tag1>p</tag1>>" ]
      }

...

1. 使用html 编码器：

现有的 HTML 语法被 elasticsearch 转义，这会破坏事物，即<p> -> <<tag1>p</tag1>>:

curl -XPOST -H 'Content-type: application/json' "http://localhost:7200/myindex/_search?pretty" -d '
{
  "query": { "match": { "preview_html": "p" } },
  "highlight": {
    "pre_tags" : ["<tag1>"],
    "post_tags" : ["</tag1>"],
    "encoder": "html",
    "fields": {
      "preview_html" : {}
    }
  },
  "from" : 22, "size" : 1
}'

GIVES:
...
      "highlight" : {
        "preview_html" : [ "&lt;<tag1>p</tag1> class=&quot;text&quot;&gt;TOP STORIES&lt;&#x2F;<tag1>p</tag1>&gt;&lt;<tag1>p</tag1> class=&quot;text&quot;&gt;Middle East&lt;&#x2F;<tag1>p</tag1>&gt;&lt;<tag1>p</tag1> class=&quot;text&quot;&gt;Syria: Developments in Syria are main story in Middle East&lt;&#x2F;<tag1>p</tag1>&gt;" ]
        }
      }

...

Answer 1

实现此目的的一种方法是在分析preview_html 字段时使用html_strip char filter。
这将确保在 html 标记上不会发生匹配，因此突出显示将忽略它，如下例所示。

例子：

put test
{
   "settings": {
      "index": {
         "analysis": {
            "char_filter": {
               "my_html": {
                  "type": "html_strip"
               }
            },
            "analyzer": {
               "my_html": {
                  "tokenizer": "standard",
                  "char_filter": [
                     "my_html"
                  ],
                  "type": "custom"
               }
            }
         }
      }
   }
}

put test/test/_mapping
{
   "properties": {
      "preview_html": {
         "type": "string",
         "analyzer": "my_html",
         "search_analyzer": "standard"
      }
   }
}

put test/test/1
{
    "preview_html": "<p> p </p>"
}

post test/test/_search
{
   "query": {
      "match": {
         "preview_html": "p"
      }
   },
   "highlight": {
      "fields": {
         "preview_html": {}
      }
   }
}

结果

 "hits": [
         {
            "_index": "test",
            "_type": "test",
            "_id": "1",
            "_score": 0.30685282,
            "_source": {
               "preview_html": "<p> p </p>"
            },
            "highlight": {
               "preview_html": [
                  "<p> <em>p</em> </p>"
               ]
            }
         }
      ]