如何从 html 页面中排除内容并仅保留 html 标签？答案

【问题标题】：how to exclude content from html page and keeping only the html tags?如何从 html 页面中排除内容并仅保留 html 标签？
【发布时间】：2020-06-27 10:52:50
【问题描述】：

我有一个巨大的 HTML 页面语料库，我想从这个数据集中排除所有内容，最后只提取 html 标签（我想要标签，而不是内容）。例如，如果我有这个 html 元素：

<div class="tensorsite-content__title  ">
      Differentiate yourself with the TensorFlow Developer Certificate    </div>

我只需要提取：

 <div class="tensorsite-content__title  ">
           </div>

我已经尝试过 (?!) 否定前瞻正则表达式来排除与

匹配的 html 标签

tags=re.sub('.*?!<[^<]+?>', '',htmlwithcontent )

但尽管它看起来并不聪明和高效，但显然它甚至不起作用！

那么你有什么想法吗？最好在python中

【问题讨论】：

Have you tried using a parser instead?

标签： python html regex

【解决方案1】：

正如 Ivar 所说，HTML 解析器确实是正确处理此类问题的唯一方法：

from html.parser import HTMLParser

class MyHTMLParser(HTMLParser):
    def __init__(self):
        HTMLParser.__init__(self)
        self.indent = -1

    def handle_starttag(self, tag, attrs):
        self.indent += 1
        print(2 * self.indent * ' ', sep='', end='')
        print(f'<{tag}', sep='', end='')
        for attr in attrs:
            print(f' {attr[0]}="{attr[1]}"', sep='', end='')
        print('>', sep='')

    def handle_endtag(self, tag):
        print(2 * self.indent * ' ', sep='', end='')
        print(f'</{tag}>')
        self.indent -= 1

parser = MyHTMLParser()
parser.feed("""<html>
  <head>
    <title>Test</title>
  </head>
  <body>
    <h1>Heading!</h1>
    <p style="font-weight: bold; color: red;">
       Some text
       <BR/>
       Some more text
    </p>
    <ol>
       <li>Item 1</li>
       <li>Item 2</li>
     </ol>
  </body>
</html>
""")

打印：

<html>
  <head>
    <title>
    </title>
  </head>
  <body>
    <h1>
    </h1>
    <p style="font-weight: bold; color: red;">
      <br>
      </br>
    </p>
    <ol>
      <li>
      </li>
      <li>
      </li>
    </ol>
  </body>
</html>

See Python Demo

更新

如果 HTML 是一个不太大的文件，那么将整个文件读入内存并传递给解析器是有意义的：

parser = MyHTMLParser()
with open('test.html') as f:
    html = f.read()
    parser.feed(html)

如果输入在一个非常大的文件中，那么逐行或分块“馈送”解析器而不是尝试将整个文件读入内存可能是有意义的：

逐行：

parser = MyHTMLParser()
with open('test.html') as f:
    for line in f:
        parser.feed(line)

甚至更有效：

以 32K 为单位阅读：

CHUNK_SIZE = 32 * 1024
parser = MyHTMLParser()
with open('test.html') as f:
    while True:
        chunk = f.read(CHUNK_SIZE)
        if chunk == '':
            break
        parser.feed(chunk)

当然，您可以选择更大的块大小。

【讨论】：

非常感谢，但是对于在庞大的语料库中更有效的方法，您有什么建议吗？
我更新了我的答案。目前尚不清楚您是否有大量正常大小的 HTML 文件或一个由这些较小的 HTML 文件组成的非常大的 HTML 文件，因此我包含了处理这两种情况的代码。