具有多个重定向的表单提交

Question

我正在尝试从网站获取数据，一旦您提交表单，它就会重定向到加载页面，该页面设置为自动重定向到最终结果页面。问题是爬虫只获取加载页面的数据，并没有完全进入我真正需要的最终结果页面。有人可以告诉我如何实现吗？如果不可能，那么有什么替代方法可以做到这一点？

Answer 1

如果您使用 curl，可以尝试以下方法：

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

如果您仍然无法通过加载页面，则可能不是 http 重定向。

在这种情况下，您必须手动解析目标位置。许多网站使用元刷新标签来加载此类页面。查找类似于以下内容的内容：

<meta http-equiv="refresh" content="5; url=http://example.com/" />

您可以使用正则表达式或任何 php 的 dom 解析库轻松解析上述内容。

另一种可能性是 javascript 重定向。在源代码中查找包含window.location 的行。