【发布时间】：2010-05-08 16:04:42
【问题描述】：
我正在尝试使用 curl 和 php 从 RSS 提要中抓取某些页面。当我只使用实际链接而不是来自 rss 提要的链接时，页面抓取工作正常。但是，我现在意识到 rss 提要中的链接通常只是重定向到实际页面（至少看起来是这样）。因为现在当我使用 rss 链接抓取页面时，它实际上并没有得到我正在寻找的信息。
有没有人遇到过这种情况并知道解决方法。无论如何，是否可以查看 rss 链接重定向到的位置并捕获该值？
【问题讨论】：
【发布时间】：2010-05-08 16:04:42
【问题描述】：
我认为您可能需要使用 -L 开关来告诉它遵循重定向。我不确定您是否可以直接从 PHP 执行此操作，或者您是否需要遵循这种方法 http://php.net/manual/en/function.curl-setopt.php#95027。您正在抓取的网站总是有可能被用户代理或其他东西阻止。也许在运行 Fiddler 或类似工具时尝试浏览器中的其中一个链接，看看是否真的发生了任何重定向。
【讨论】：
-
谢谢，是的，我设法找到了一个循环遍历重定向并找到最后一个的脚本。似乎大多数网站都不会被用户代理阻止，但也有一些。