使用python BeautifulSoup从HTML中删除具有特定id内容的特定标签

Question

有人建议我使用 BeautifulSoup 从 HTML 中删除具有特定 id 的标签。例如，删除<div id=needDelete>...</div> 下面是我的代码，但似乎不能正常工作：

import os, re
from bs4 import BeautifulSoup

cwd = os.getcwd()
print ('Now you are at this directory: \n' + cwd)

# find files that have an extension with HTML
Files = os.listdir(cwd)
print Files

def func(file):
    for file in os.listdir(cwd):
        if file.endswith('.html'):
            print ('HTML files are \n' + file)
            f = open(file, "r+")
            soup = BeautifulSoup(f, 'html.parser')
                matches  = str(soup.find_all("div", id="jp-post-flair"))
                #The soup.find_all part should be correct as I tested it to             
                #print the matches and the result matches the texts I want to delete.
                f.write(f.read().replace(matches,''))
                #maybe the above line isn't correct
            f.close()
func(file)

你能帮忙检查一下哪个部分的代码有误吗？也许我应该如何处理它？ 非常感谢！！

Answer 1

您可以使用.decompose() method 删除元素/标签：

f = open(file, "r+")

soup = BeautifulSoup(f, 'html.parser')
elements = soup.find_all("div", id="jp-post-flair")
for element in elements:
  element.decompose()

f.write(str(soup))

还值得一提的是，您可能只使用.find() 方法，因为id 属性在文档中应该是唯一的（这意味着在大多数情况下可能只有一个元素）：

f = open(file, "r+")

soup = BeautifulSoup(html_doc, 'html.parser')
element = soup.find("div", id="jp-post-flair")
if element:
  element.decompose()

f.write(str(soup))

---

作为替代方案，基于以下 cmets：

• 如果你只想解析和修改部分文档，BeautifulSoup 有一个SoupStrainer class，可以让你选择性地解析部分文档。

• 您提到 HTML 文件中的缩进和格式正在改变。您可以查看文档中的相关output formatting section，而不仅仅是将soup 对象直接转换为字符串。

  根据所需的输出，这里有一些潜在的选择：

  • soup.prettify(formatter="minimal")
  • soup.prettify(formatter="html")
  • soup.prettify(formatter=None)