请求是否依赖硒？答案

【问题标题】：Does requests rely on selenium?请求是否依赖硒？
【发布时间】：2019-11-05 18:38:51
【问题描述】：

我正在运行一些爬网，以测试我得到的结果是否有偏差。为此，我创建了两个测试套件，第一个使用 requests 和 BeautifulSoup 库创建，另一个基于 selenium。我想知道，如果页面以相同的方式检测两个机器人。

但我仍然不确定我是否正确，假设请求和 BeautifulSoup 独立于 Selenium。

我希望这不是一个转储问题，但我还没有找到任何合适的答案（可能是因为关键字错误）。但是，任何帮助将不胜感激。提前致谢

我检查了请求文档。我给开发者写了一封邮件，没有任何答复。当然，我检查了谷歌。我发现了一些关于 scrapy 与 selenium 的信息，但是……请求和 BeautyfulSoup 是否与 scrapy 有关？

【问题讨论】：

【解决方案1】：

python requests 模块不使用 Selenium，BeautifulSoup 也不使用。两者都将独立于网络浏览器运行。两者都是纯 python 实现。

【讨论】：

【解决方案2】：

Selenium automates browsers，因此您将使用用户代理字符串和您选择使用 Selenium 驱动的浏览器将呈现的其他变量呈现给 Web 服务。

You can specify user-agent string 是否使用请求，但请求本身并不驱动浏览器，因此从用户代理的角度来看，您将呈现为不同的实体，例如 python-requests/2.18.4。

BeautifulSoup is a parser，因此它通过另一个库（如请求）呈现给 Web 服务；它没有自己的原生演示。

【讨论】：