如何使用 RCurl 从 WSJ 下载文章

Question

我正在尝试使用 RCurl 和 XML 包从 WSJ（华尔街日报）下载和挖掘文章。但是，每当我从 RCurl 使用 getURL 时，我都会得到可供公众查看的文章版本。

我希望能够下载文章的完整版本 - 因为我是付费会员。我想我必须通过登录凭据，当我调用函数 getURL 时，但是，我不知道该怎么做..

1. 这些信息是否存储在 cookie 中？
2. 我是否需要进行“身份验证” - 无论区别（可能是出于何种目的）是什么？

如果有人能解释一下 WSJ 等网站如何使用登录信息来获取数据，以及我如何调整 RCurl 以考虑这些信息，我将不胜感激。一个非常简单的示例将有助于解释设置 cookie（文件、jar、..）等的不同概念

提前谢谢你

Answer 1

通常，身份验证信息不存储在 cookie 中。相反，“会话 cookie”存储在您的计算机上 - 并指存储在服务器上的身份验证。有关更多信息和指针，请参阅Session management article on Wikipedia。

所以基本上你需要为这个站点创建一个 cookie jar 文件，使用 curl 登录（这可能很痛苦，因为 WSJ 不使用标准的基于表单的 POST，而是依赖于 javascript），然后你'将能够告诉 curl 为文章的以下请求重新使用 cookie。阅读this answer，了解如何在实践中做到这一点。