使用 vpn 是否会中断反复使用相同 cookie 的 python 会话请求？

Question

我正在从 peoplefinders.com 抓取数据，这是一个无法从我的祖国访问的网站，所以我基本上使用的是 vpn 客户端。

我使用会话帖子登录该网站，并通过同一会话从同一网站的不同页面获取项目。问题是我使用 get 请求在 for 循环中进行抓取，但由于某种原因，我在几次迭代后收到响应 400 错误。该错误发生在平均刮取 4-5 页之后。

是因为我使用的是 vpn 连接吗？ 不是来自同一会话的所有请求都包含相同的 cookie，因此允许我在抓取同一网站的不同页面时保持登录？

谢谢

Answer 1

如果请求格式错误，则返回 HTTP 400。

当您收到错误时，您应该检查正在发出的请求。也许，它没有正确编码。

VPN 不应导致 HTTP 400。