使用 R 抓取受密码保护的网站

Question

我想使用 R 抓取 yammer 数据，但首先我必须登录到此页面（这是我创建的应用程序的身份验证）。

https://www.yammer.com/dialog/authenticate?client_id=iVGCK1tOhbZGS7zC8dPjg

一旦我登录到此页面，我就能够获取 yammer 数据，但所有这些都通过标准 yammer url 在浏览器中 (https://www.yammer.com/api/v1/messages/received.json)

我已经阅读了类似的问题并尝试了建议，但仍然无法解决这个问题。

我尝试过使用 httr、RSelenium、rvest+Selector 小工具。

这里的最终目标是在 R 中做所有事情（获取数据、清理、情感分析......清理和情感分析部分已经完成，但目前获取数据部分是手动的，我想通过处理来自动化它它来自 R)

1.使用httr试用：

usinghttr<- GET("https://www.yammer.com/dialog/authenticate?client_id=iVGCK1tOhbZGS7zC8dPjg",
     authenticate("Username", "Password"))

相应的结果：响应 [https://www.yammer.com/dialog/authenticate?client_id=iVGCK1tOhbZGS7zC8dPjg] 日期：2015-04-27 12:25 状态：200 内容类型：文本/html；字符集=utf-8 大小：15.7 KB 该页面内容显示已打开登录页面但未验证。

2.Trial using selector gadget + rvest

我尝试使用此方法抓取维基百科，但无法将其应用于 yammer，因为在调用 selctor 小工具提供的 html 标记之前需要进行身份验证。

3.使用RSelenium试用

使用标准浏览器和 phantomjs 进行了尝试，但出现了一些错误

> startServer()

remDr

remDr$open() [1]“连接到远程服务器” RCurl 调用中的未定义错误。 queryRD(paste0(serverURL, "/session"), "POST", qdata = toJSON(serverOpts)) 出错：

> pJS <- phantom()

phantom() 中的错误：找不到 PhantomJS 二进制文件。

Answer 1

我还花了很长时间设法从 R 内部访问受密码保护的网站。 最后，我设法通过将凭据作为 html 表单提交来做到这一点。 我快速浏览了 Yammer 上的登录页面，这似乎与我设法访问的情况相似。

这是我使用的代码。您需要根据您的上下文对其进行调整：首先在登录页面上启动一个会话，然后访问收集 ID 和密码的表单，最后提交表单。 我认为在你的情况下，下面的代码会起作用：

session <- html_session("https://www.yammer.com/dialog/authenticate?client_id=iVGCK1tOhbZGS7zC8dPjg")
    login_form <- session %>% html_nodes("form") %>%
    .... %>%  #Instructions that lead you to the login form, e.g. extract2(1)
                    html_form() %>%
                    set_values(`login` = YourId,`password` = YourPasswd)  
     Logged_in=session %>%  submit_form(login_form))

logged_in 应该包含登录后的会话信息。

BR

Answer 2

你想用这个来达到什么目的？如果您只是想收集数据，那么您可以随时使用数据导出 API 来下载网络数据以进行分析。这需要企业网络。