有没有办法搜索和抓取特定关键字的数据？

【问题标题】：Is there an way to search and scrape data for specific keywords?有没有办法搜索和抓取特定关键字的数据？
【发布时间】：2021-06-03 20:32:00
【问题描述】：

我是网络抓取的新手。我需要从具有关键字“COVID”或“Coronavirus”的网站上抓取新闻标题和内容。但我不知道怎么做。另外，我如何使用 BS4 进入下一页？我应该使用 Selenium 吗？

【问题讨论】：

【解决方案1】：

您可以使用正则表达式来搜索单词：

import re
soup.find(string=re.compile("COVID"))

关于你的第二个问题。您可以在页面中找到所有 <a> 标记（超链接），例如

soup.find_all('a')

并从那里导航。对于更复杂的网页导航，我建议查看名为 Scrapy 的框架

【讨论】：