正则表达式：从 HTML 文档中提取可读（非代码）文本和 URL

Question

我正在创建一个应用程序，它将以 URL 作为输入，从网络上检索页面的 html 内容并提取 标签中不包含的所有内容。换句话说，该页面的访问者所看到的页面的文本内容。这包括“屏蔽”封装在 <script></script>、<style></style> 和 <!-- --> 中的所有内容，因为这些部分包含未封装在标签中的文本（但最好单独保留）。

我已经构建了这个正则表达式：

(?:<(?P<tag>script|style)[\s\S]*?</(?P=tag)>)|(?:<!--[\s\S]*?-->)|(?:<[\s\S]*?>)

它正确地选择了我想忽略的所有内容，并且只留下页面的文本内容。但是，这意味着我要提取的内容不会出现在匹配集合中（我在 Visual Studio 2010 中使用 VB.Net）。

有没有办法像这样“反转”整个文档的匹配，这样我就可以匹配上面正则表达式中匹配遗漏的所有文本字符串？

到目前为止，我所做的是在最后添加另一个替代方案，即选择“任何不包含 的序列”，这意味着剩余的文本。我在捕获组中命名了最后一位，当我遍历匹配项时，我检查“文本”组中是否存在文本。这行得通，但我想知道是否可以通过正则表达式完成所有操作，并且 just 最终会在纯文本上匹配。

这应该是通用的，不知道 html 中的任何特定标签。它应该提取 all 文本。此外，我需要保留原始 html，以便页面保留其所有链接和脚本 - 我只需要能够提取文本，以便我可以在其中执行搜索和替换，而不必担心“重命名”任何标签、属性或脚本变量等（所以我不能只对我得到的所有匹配项进行“替换”，因为即使我得到了我需要的东西，将其重新插入到正确的位置也是一件麻烦事功能齐全的文档）。

我想知道这是否可以使用正则表达式（我知道 HTML Agility Pack 和 XPath，但不喜欢）。

有什么建议吗？

更新： 这是我最终得到的（基于正则表达式的）解决方案：http://www.martinwardener.com/regex/，在一个演示 Web 应用程序中实现，该应用程序将显示活动的正则表达式字符串以及一个允许您在任何在线 html 页面上运行解析的测试引擎，给出您解析时间并提取结果（分别针对链接、url 和文本部分 - 以及在完整 HTML 文档中突出显示所有正则表达式匹配的视图）。

Answer 1

我所做的是在最后添加另一个替代方案，即选择“任何不包含< 或> 的序列”，这意味着剩余的文本。我在捕获组中命名了最后一位，当我遍历匹配项时，我检查“文本”组中是否存在文本。

这就是人们通常会做的事情。或者更简单，将标记模式的每个匹配项替换为空字符串，剩下的就是您要查找的内容。

它有点工作，但似乎这里和那里有一个不应该被拾取的字符串。

嗯，是的，那是因为您的表达式（以及一般的正则表达式）不足以解析有效的 HTML，更不用说真实网络上的恐怖了。第一个提示，如果你真的想追逐这种徒劳的方法：属性值（以及一般的文本内容）可能包含未转义的 > 字符。

我想再次提出 HTML Agility Pack 的好处。

ETA：既然您似乎想要它，这里有一些标记示例，看起来它会影响您的表达。

<a href=link></a> - unquoted
<a href= link></a> - unquoted, space at front matched but then required at back
<a href="~/link"></a> - very common URL char missing in group
<a href="link$!*'link"></a> - more URL chars missing in group
<a href=lïnk></a> - IRI
<a href
    ="link"> - newline (or tab)
<div style="background-image: url(link);"> - unquoted
<div style="background-image: url( 'link' );"> - spaced
<div style="background-image: u&#114;l('link');"> - html escape
<div style="background-image: ur\l('link');"> - css escape
<div style="background-image: url('link\')link');"> - css escape
<div style="background-image: url(\
'link')"> - CSS folding
<div style="background-image: url
('link')"> - newline (or tab)

这只是完全有效的标记，不会匹配正确的链接，而不是任何可能的无效标记，不应该但确实匹配链接的标记，或许多问题中的任何一个使用其他从文本中分离标记的技术。这只是冰山一角。

Answer 2

Regex 对于检索 HTML 文档的文本内容并不可靠。正则表达式无法处理嵌套标签。假设文档不包含任何嵌套标签，正则表达式仍然要求每个标签都正确关闭。

如果您使用 PHP，为简单起见，我强烈建议您使用 DOM（文档对象模型）来解析/提取 HTML 文档。 DOM 库通常存在于每种编程语言中。

Answer 3

如果您要提取与正则表达式不匹配的字符串部分，只需将 匹配的部分替换为空字符串即可达到相同效果。

请注意，这可能有效的唯一原因是您有兴趣删除的标签<script> 和<style> 标签不能嵌套。

但是，一个<script> 标记包含以编程方式附加另一个<script> 标记的代码并不少见，在这种情况下，您的正则表达式将失败。如果任何标签没有正确关闭，它也会失败。

Answer 4

好的，这就是我的做法：

使用我原来的正则表达式（添加了纯文本的搜索模式，恰好是标记搜索完成后剩下的任何文本）：

(?:(?:<(?P<tag>script|style)[\s\S]*?</(?P=tag)>)|(?:<!--[\s\S]*?-->)|(?:<[\s\S]*?>))|(?P<text>[^<>]*)

然后在 VB.Net 中：

Dim regexText As New Regex("(?:(?:<(?<tag>script|style)[\s\S]*?</\k<tag>>)|(?:<!--[\s\S]*?-->)|(?:<[\s\S]*?>))|(?<text>[^<>]*)", RegexOptions.IgnoreCase)
Dim source As String = File.ReadAllText("html.txt")
Dim evaluator As New MatchEvaluator(AddressOf MatchEvalFunction)
Dim newHtml As String = regexText.Replace(source, evaluator)

文本的实际替换发生在这里：

Private Function MatchEvalFunction(ByVal match As Match) As String
    Dim plainText As String = match.Groups("text").Value
    If plainText IsNot Nothing AndAlso plainText <> "" Then
        MatchEvalFunction = match.Value.Replace(plainText, plainText.Replace("Original word", "Replacement word"))
    Else
        MatchEvalFunction = match.Value
    End If
End Function

瞧。 newHtml 现在包含原始的精确副本，除了页面中每次出现的“原始单词”（在浏览器中显示）都使用“替换单词”进行切换，并且所有 html 和脚本代码都保持不变。当然，人们可以/将采用更复杂的替换例程，但这显示了基本原理。这是 12 行代码，包括函数声明和 html 代码加载等。我很想看到一个并行解决方案，在 DOM 等中完成以进行比较（是的，我知道这种方法可能会被 某些 出现一些嵌套标签怪癖 - 在 SCRIPT 重写中 - 但由此造成的损害仍然非常有限（如果有的话）（请参阅上面的一些 cmets），而且通常这会很好地完成工作)。

Answer 5

您不能使用正则表达式解析 HTML。

用正则表达式解析 HTML 会导致悲伤。

我知道你这样做只是为了好玩，但是那里有太多的包，而不是真正以正确的方式进行解析，并且可靠地执行，并且已经过测试。

不要重新发明轮子，这样做肯定会让你在路上感到沮丧。

Answer 6

供您参考，

使用 JQuery 代替正则表达式，可以从 html 标记中单独提取文本。为此，您可以使用以下模式。

$("<div/>").html("#elementId").text()

你可以参考这个JSFIDDLE