【发布时间】:2022-01-23 15:02:07
【问题描述】:
我通过发送包含所需数据的帖子来使用 python 请求登录网站。 在发送上一个 http 帖子后,我正在尝试获取其他 http 请求。 有办法吗?
如果我在浏览器中手动登录,我可以看到登录后发送的所有其他请求(这是屏幕截图中的第一个 POST),我想全部抓取它们(标有绿色标记的那些):
【问题讨论】:
标签: python web-scraping request
我通过发送包含所需数据的帖子来使用 python 请求登录网站。 在发送上一个 http 帖子后,我正在尝试获取其他 http 请求。 有办法吗?
如果我在浏览器中手动登录,我可以看到登录后发送的所有其他请求(这是屏幕截图中的第一个 POST),我想全部抓取它们(标有绿色标记的那些):
【问题讨论】:
标签: python web-scraping request
我假设当您登录时,新的 html 端会响应您的网络浏览器。 在呈现此站点期间,从服务器端请求一些文件,例如图像或 javascript。使用 selenium,您可以自动化用户与 Web 浏览器的交互并记录流量,如 example 中所述。
【讨论】: