【发布时间】:2021-08-14 03:26:05
【问题描述】:
我已经解析一个站点很长时间了,最近我从谷歌浏览器访问了这个站点,并注意到浏览器开始发送类似这样的内容 - _pk_id.4.825a=ce2deb8344457283.1621970312.; _pk_ses.4.825a=1 在 cookie 中。
我的问题是是否有可能以某种方式在响应中获取这些 cookie 并在下一个请求中进一步发送它们。我正在使用 python 请求库,在我的解析器刚刚从响应中复制 cookie(ASP.NET 会话)并将它们粘贴到进一步的请求中之前。
或者也许有人可以建议我在哪里可以阅读到这种类型的 cookie,好吗?或任何想法如何使服务器不会通过此 cookie 检测到解析器。我将非常感谢任何帮助。谢谢
【问题讨论】:
-
网站是什么?
-
@QHarr fp.trafikverket.se/boka/#
-
交叉张贴在这里:askpythonquestions.com/2021/05/25/…(假设该网站不只是拉 SO 内容!)
-
他们来自 matomo 服务(网站统计)-cookiedatabase.org/cookie/matomo。您不应该在以后的请求中需要它们。会话 cookie 可能是相关的。作为最终目标,您实际上想要做什么?
-
@QHarr 我的解析器会收集您可以通过驾照考试的日期。我正在使用旋转代理,我希望我的解析器尽可能与普通用户相似,所以我复制了所有与真实浏览器发送的相同的标头。但我无法让 _pk_id 在以后的请求中发送它
标签: python parsing python-requests session-cookies