【问题标题】:How to get “_pk_id”, “_pk_ses” in response from server when parsing解析时如何从服务器响应中获取“_pk_id”、“_pk_ses”
【发布时间】:2021-08-14 03:26:05
【问题描述】:

我已经解析一个站点很长时间了,最​​近我从谷歌浏览器访问了这个站点,并注意到浏览器开始发送类似这样的内容 - _pk_id.4.825a=ce2deb8344457283.1621970312.; _pk_ses.4.825a=1 在 cookie 中。

我的问题是是否有可能以某种方式在响应中获取这些 cookie 并在下一个请求中进一步发送它们。我正在使用 python 请求库,在我的解析器刚刚从响应中复制 cookie(ASP.NET 会话)并将它们粘贴到进一步的请求中之前。

或者也许有人可以建议我在哪里可以阅读到这种类型的 cookie,好吗?或任何想法如何使服务器不会通过此 cookie 检测到解析器。我将非常感谢任何帮助。谢谢

【问题讨论】:

  • 网站是什么?
  • 交叉张贴在这里:askpythonquestions.com/2021/05/25/…(假设该网站不只是拉 SO 内容!)
  • 他们来自 matomo 服务(网站统计)-cookiedatabase.org/cookie/matomo。您不应该在以后的请求中需要它们。会话 cookie 可能是相关的。作为最终目标,您实际上想要做什么?
  • @QHarr 我的解析器会收集您可以通过驾照考试的日期。我正在使用旋转代理,我希望我的解析器尽可能与普通用户相似,所以我复制了所有与真实浏览器发送的相同的标头。但我无法让 _pk_id 在以后的请求中发送它

标签: python parsing python-requests session-cookies


【解决方案1】:

此类 Cookie 由 Matomo Analytics 创建。你可以在这里阅读更多关于它们的信息:https://matomo.org/faq/general/faq_146/。 而且它们只活跃了 13 个月。

【讨论】:

猜你喜欢
  • 2012-07-09
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-10-09
  • 1970-01-01
  • 2014-02-04
相关资源
最近更新 更多