在 python 中抓取网站，但该类具有不同的类名。 （也是不和谐的.py）

Question

我正在尝试在“flashscore.com”上抓取比赛详细信息，例如“https://www.flashscore.com/match/hEyZ9RHu/#match-summary”，然后在嵌入中重复使用它们不和谐。基本上所有这些都是通过一个不和谐的机器人完成的，但现在这并不重要。我正在尝试获取其中一个人的全名，但它似乎不起作用。

@client.command(pass_context=True)
async def analize(ctx, link):
    if ctx.guild is not None:
            await ctx.send("Scraping...")
            html=requests.get(link)
            soup=BeautifulSoup(html.text,"html.parser")
            name=soup.find_all('a', class_=re.compile("participantName___"))
            print(name)

这是我的代码，但打印出来的只是 []。总的来说，我对 python、网络抓取和编程真的很陌生，如果我不理解某些内容，请见谅。

但是为什么这不起作用？谢谢。

Answer 1

您可以尝试使用 SoupStrainer 对象，它会过滤掉任何不必要的 html

from bs4 import BeautifulSoup, SoupStrainer

您只需向您的BeatifulSoup 对象传递一个额外的参数，称为parse_only，它应该包含您的SoupStrainer 对象。然后你可以遍历所有的 a 标签元素，看看是否有类包含“participantName”，如果有，你可以添加包含参与者名称的 href。

participants = []
strainer = SoupStrainer("a")
soup = BeatifulSoup(html.text "html.parser", parse_only=strainer)
for elem in soup.find_all("a"):
    try:
       class_ = elem["class"]
    
    except:
        continue
    if "participantName" in class_:
        participants.append(elem["href"])

Answer 2

我认为除了整个页面请求之外，您还需要 HTML 标头。快速检查显示名称列在<meta name="og:title" content="Timofey Yusipov - Vladimir Marshalov 0:3"> 下的标题中。使用 requests.head() 函数，然后打印标题。一旦你看到一些特定的模式，然后使用 BeautifulSoup 进行解析，甚至只是使用 for 循环遍历标题，寻找“og-title”元数据。

我是 HTML 新手，所以我不知道如何表达最后一部分。