如何从这个网站上抓取数据？

Question

我需要登录此站点http://bit.do 进行抓取。数据受密码保护，但我不知道如何在 R 中登录访问它们。

我试过了

 library (rvest)

 url       <-"http://bit.d o/#login/admin"   
 pgsession <-html_session(url)               
 pgform    <-html_form(pgsession)[[1]]       


 filled_form <- set_values(pgform,
 'username' = "test0001", 
 'password' = "qwerty1234")

 submit_form(pgsession,filled_form)

 url <- 'http://bit.d o/admin/url/http%3A||2F||2Fedition.cnn.com||2F2017||2F07||2F21||2Fopinions||2Ftrump-russia-putin-lain-opinion||2Findex.html'
 data_page <- read_html(url)
 data_link<- html_nodes(data_page,'td > a')
 data_click<- html_nodes(data_page,'td span:nth-child(1)')

但我得到了这种错误

 Submitting with 'NULL'
 Error in xml2::url_absolute(form$url, session$url) : 
 Not compatible with STRSXP: [type=NULL].

我该怎么办？这些是我的测试凭证用户名：test0001，密码：qwerty1234。这是我要抓取的受保护数据示例http://bit.do/admin/url/http%3A||2F||2Fedition.cnn.com||2F2017||2F07||2F21||2Fopinions||2Ftrump-russia- putin-lain-opinion||2Findex.html

重要提示：由于 StackOverflow 限制，我在域名中的 d 和 o 之间放置了一个空格

Answer 1

由于表单没有url 字段，因此当您调用submit_form(pgsession, filled_form) 时，调用xml2::url_absolute(form$url, session$url) 不起作用，因为form$url 是NULL。为了解决这个问题，您需要为url_absolute 调用的form$url 提供一个值（即使它是空的）。在使用set_values 填充filled_form 后尝试添加以下行：

filled_form$url <- ''