测试 BeautifulSoup 中的标签中是否存在属性

Question

我想获取文档中的所有<script> 标签，然后根据某些属性的存在（或不存在）处理每个标签。

例如，对于每个<script> 标记，如果存在for 属性，则执行某些操作；否则，如果存在 bar 属性，请执行其他操作。

这是我目前正在做的事情：

outputDoc = BeautifulSoup(''.join(output))
scriptTags = outputDoc.findAll('script', attrs = {'for' : True})

但是这样我过滤了所有带有for 属性的<script> 标记...但是我丢失了其他标记（那些没有for 属性的标记）。

Answer 1

如果我理解得很好，你只需要所有的脚本标签，然后检查其中的一些属性吗？

scriptTags = outputDoc.findAll('script')
for script in scriptTags:
    if script.has_attr('some_attribute'):
        do_something()        

Answer 2

为了以后参考，has_key 已经弃用是beautifulsoup 4。现在你需要使用has_attr

scriptTags = outputDoc.find_all('script')
  for script in scriptTags:
    if script.has_attr('some_attribute'):
      do_something()  

Answer 3

您不需要任何 lambdas 来按属性过滤，您只需在 find 或 find_all 中使用 some_attribute=True。

script_tags = soup.find_all('script', some_attribute=True)

# or

script_tags = soup.find_all('script', {"some-data-attribute": True})

这里还有更多其他方法的示例：

soup = bs4.BeautifulSoup(html)

# Find all with a specific attribute

tags = soup.find_all(src=True)
tags = soup.select("[src]")

# Find all meta with either name or http-equiv attribute.

soup.select("meta[name],meta[http-equiv]")

# find any tags with any name or source attribute.

soup.select("[name], [src]")

# find first/any script with a src attribute.

tag = soup.find('script', src=True)
tag = soup.select_one("script[src]")

# find all tags with a name attribute beginning with foo
# or any src beginning with /path
soup.select("[name^=foo], [src^=/path]")

# find all tags with a name attribute that contains foo
# or any src containing with whatever
soup.select("[name*=foo], [src*=whatever]")

# find all tags with a name attribute that endwith foo
# or any src that ends with  whatever
soup.select("[name$=foo], [src$=whatever]")

您还可以将正则表达式与 find 或 find_all 一起使用：

import re
# starting with
soup.find_all("script", src=re.compile("^whatever"))
# contains
soup.find_all("script", src=re.compile("whatever"))
# ends with 
soup.find_all("script", src=re.compile("whatever$"))

Answer 4

如果你只需要获取带有属性的标签，你可以使用 lambda:

soup = bs4.BeautifulSoup(YOUR_CONTENT)

• 带有属性的标签

tags = soup.find_all(lambda tag: 'src' in tag.attrs)

或

tags = soup.find_all(lambda tag: tag.has_attr('src'))

• 带有属性的特定标签

tag = soup.find(lambda tag: tag.name == 'script' and 'src' in tag.attrs)

• 等等……

认为它可能有用。

Answer 5

你可以检查一些属性是否存在

scriptTags = outputDoc.findAll('script', some_attribute=True) 对于 scriptTags 中的脚本： 做一点事（）

Answer 6

通过使用 pprint 模块，您可以检查元素的内容。

from pprint import pprint

pprint(vars(element))

在 bs4 元素上使用它会打印出类似这样的内容：

{'attrs': {u'class': [u'pie-productname', u'size-3', u'name', u'global-name']},
 'can_be_empty_element': False,
 'contents': [u'\n\t\t\t\tNESNA\n\t'],
 'hidden': False,
 'name': u'span',
 'namespace': None,
 'next_element': u'\n\t\t\t\tNESNA\n\t',
 'next_sibling': u'\n',
 'parent': <h1 class="pie-compoundheader" itemprop="name">\n<span class="pie-description">Bedside table</span>\n<span class="pie-productname size-3 name global-name">\n\t\t\t\tNESNA\n\t</span>\n</h1>,
 'parser_class': <class 'bs4.BeautifulSoup'>,
 'prefix': None,
 'previous_element': u'\n',
 'previous_sibling': u'\n'}

要访问一个属性 - 让我们说类列表 - 使用以下内容：

class_list = element.attrs.get('class', [])

您可以使用这种方法过滤元素：

for script in soup.find_all('script'):
    if script.attrs.get('for'):
        # ... Has 'for' attr
    elif "myClass" in script.attrs.get('class', []):
        # ... Has class "myClass"
    else: 
        # ... Do something else

Answer 7

一种选择所需内容的简单方法。

outputDoc.select("script[for]")