【发布时间】：2021-03-11 02:16:34
【问题描述】：
一般而言，您如何判断网站何时使用 javascript 呈现内容？我通常使用 bs4 来抓取，当我找不到标签时，我不确定是因为它的 javascript 渲染（bs4 无法检测到）还是我做错了什么。
【问题讨论】：
标签： python-3.x web-scraping beautifulsoup
【发布时间】：2021-03-11 02:16:34
【问题描述】：
将请求的输出与浏览器请求返回的 html 进行比较。在 Chrome 和 Firefox 中，按F12 将出现控制台。在网络选项卡下，您可以看到所有已发出的请求。如果网络选项卡为空，请刷新页面。网络选项卡中第一个请求的响应应该与您从 Python 请求中收到的响应相匹配。如果不匹配，要么您的请求与浏览器请求不同，要么 javascript 正在做一些后期处理。
“网络”选项卡中的后续请求可能来自运行的 javascript、iframe、图像等。
【讨论】：
-
感谢您的回复。澄清一下，我将 Python response.content 中的 html 与通过单击网络选项卡中的第一个请求，然后单击右侧的响应选项卡找到的 html 进行比较？