Beautiful Soup 中 find_all 方法的返回类型是什么？

Question

from bs4 import BeautifulSoup, SoupStrainer 
from urllib.request import urlopen
import pandas as pd 
import numpy as np 
import re
import csv
import ssl
import json
from googlesearch import search
from queue import Queue
import re 

links = []
menu = []
filtered_menu = []


def contains(substring, string):
     if substring.lower() in string.lower():
         return True
     else:
         return False


for website in search("mr puffs", tld="com", num=1, stop=1, country="canada", pause=4): 
 links.append(website)


soup = BeautifulSoup(urlopen(links.pop(0)), features="html.parser")
menu = soup.find_all('a', href=True)

for string in menu:
    if contains("contact", string):
      filtered_menu.append(string)


print(filtered_menu)

我正在创建一个网络爬虫，它将从网站中提取联系信息。但是，为了做到这一点，我需要访问网站的联系页面。使用 googlesearch 库，代码搜索关键字并将所有结果（达到一定限制）放在一个列表中。为简单起见，在此代码中，我们只是放入第一个链接。现在，从这个链接，我正在创建一个漂亮的汤对象，我正在提取网站上的所有其他链接（因为通常在主页上找不到联系信息）。我将这些链接放在一个名为 menu 的列表中。

现在，我想过滤菜单中仅包含“联系人”的链接。示例：“www.smallBusiness.com/our-services”将从新列表中删除，而“www.smallBusiness.com/contact”或“www.smallBusiness.com/contact-us”将保留在列表中。

我定义了一个检查子字符串是否在字符串中的方法。但是，我得到以下异常：

TypeError: 'NoneType' 对象不可调用。

我尝试通过 re.search 使用正则表达式，但它说预期的字符串类型或类似字节的值不在参数中。

我认为这是因为 find_all 的返回类型不是字符串。这可能是我在文档中找不到的其他内容。如果是这样，如何将其转换为字符串？

根据以下答案的要求，以下是打印菜单列表给出的内容：

从这里，我只想提取突出显示的链接：

Answer 1

BeautifulSoup.find_all() 类型为bs4.element.ResultSet（实际上是一个列表）

find_all() 的各个项目，在您的情况下，您调用的变量"string" 的类型为bs4.element.Tag。

正如您的 contains 函数所期望的 type str 一样，您的 for 循环应该类似于：

for string in menu:
    if contains("contact", str(string)):
      filtered_menu.append(string)

Answer 2

这就是我在 google 中搜索用户输入的搜索词，然后从 serps 中抓取所有 url 的方法。该程序继续直接访问这些链接中的每一个，并从这些链接中删除文本。

也许您可以根据自己的目的进行修改？

 #First-stage scrape of Google

    headers = {"user-agent": USER_AGENT}
    URL=f"https://google.com/search?q={squery}"
    URL2=f"https://google.com/search?q={squery2}"
    URL3=f"https://google.com/search?q={squery3}"
    URL4=f"https://google.com/search?q={squery4}"
    resp=requests.get(URL, headers=headers)
    resp2=requests.get(URL2, headers=headers)
    resp3=requests.get(URL3, headers=headers)
    resp4=requests.get(URL4, headers=headers)

    results=[]
    s2results=[]
    s3results=[]
    s4results=[]
    def scrapeURL(a,b,c):
        if a.status_code == 200:
            print("Searching Google for information about: ", c)
            soup = BeautifulSoup(a.content, "html.parser")
            for g in soup.find_all('div', class_='r'):
                anchors = g.find_all('a')
                if anchors:
                    link = anchors[0]['href']
                    title = g.find('h3').text
                    item = {
                    link
                    }
                    b.append(item)
                else:
                    print("Couldn't scrape URLS from first phase")
        else: 
            print("Could not perform search. Status code: ",a.status_code)
    #Create list of urls and format to enable second scrape


    scrapeURL(resp,results,query)
    scrapeURL(resp2,s2results,query2)
    scrapeURL(resp3,s3results,query3)
    scrapeURL(resp4,s4results,query4)
    #Create list of urls and format to enable second scrape
    def formaturls(res,resstorage):
        a=0
        listurls=str(res)
        listurls=listurls.replace("[","")
        listurls=listurls.replace("{","")
        listurls=listurls.replace("'}","")
        listurls=listurls.replace("]","")
        listurls=listurls.lower()
        re=listurls.split(",")
        for items in re:
            s=str(re[a])
            resstorage.append(s)
            a=a+1 
    qresults=[]
    q2results=[]
    q3results=[]
    q4results=[]
    formaturls(results,qresults)
    formaturls(s2results,q2results)
    formaturls(s3results,q3results)
    formaturls(s4results,q4results)