R、网页抓取、rvest、transfermarkt 数据答案

【问题标题】：R, web scraping, rvest, transfermarkt dataR、网页抓取、rvest、transfermarkt 数据
【发布时间】：2017-07-02 17:48:27
【问题描述】：

我正在尝试出于私人目的（非商业用途）抓取 transfermarkt 数据。

特别是，我需要有关给定时间段内所有转移的信息。可以按天搜索转帐，我的计划是使用此页面搜索每天：https://www.transfermarkt.co.uk/transfers/transfertagedetail/statistik/top/plus/0?land_id_ab=&land_id_zu=&leihe=&datum=2000-07-02

我需要这个页面底部的表格。

我正在使用rvest 来做这件事。代码如下：

library(dplyr)
library(rvest)

url = "http://www.transfermarkt.co.uk/transfers/transfertagedetail/statistik/top/plus/0?land_id_ab=&land_id_zu=&leihe=&datum=2000-07-02"
site =  read_html(url)
site %>% html_node("#yw1 td") %>% html_table() %>% View()

我收到一个错误：

open.connection(x, "rb") 中的错误：HTTP 错误 404。

此代码大约一年前有效，但现在不行。我尝试添加html_session，但结果是一样的。

你能帮帮我吗？

【问题讨论】：

标签： r web-scraping rvest

【解决方案1】：

404 是表示您无法访问此页面的 http 错误。

如果您在浏览器中尝试此 url（就像我一样），您会注意到您无法访问此 url — 这就是您无法抓取它的原因。

更多关于互联网 http 错误： https://en.wikipedia.org/wiki/List_of_HTTP_status_codes

您可以使用httr 以编程方式检查错误：

GET(url) %>% status_code()

科林

【讨论】：

感谢您的回答，但我可以使用我的浏览器 (Chrome) 访问此页面。
我写答案的时候出错了。这现在确实有效。网站可以安装防止网络抓取的方法。这里可能就是这种情况。如果您在终端中尝试，您会得到： colin@colin-MacBookPro:~$ curl transfermarkt.co.uk/transfers/transfertagedetail/statistik/top/… colin@colin-MacBookPro:~$ 404 Not Found head>
404 Not Found

nginx

【解决方案2】：

@Petr

运行您的代码时，我得到的错误与您不同。而不是 404 错误，我得到“错误：html_name(x) == "table" is not TRUE"

我能够正确设置变量site。

我还可以使用tbls <- html_nodes(site, "table") 来获取页面上所有表格的列表。

然后使用html_table(tbls[6])我能够在

的html页面上看到最后一个表格

  X1            X2
1 NA José Bosingwa
2 NA    Right-Back

这就是你要找的吗？你能按顺序运行这些命令吗？如果没有，它在你的什么地方分崩离析？

【讨论】：

这很奇怪。设置站点变量时出错：site = read_html(url) open.connection(x, "rb") 中的错误：HTTP 错误 404。但在浏览器中我可以打开此页面。
我不知道该告诉你什么，你更新你的rvest 包了吗？
是的，但结果还是一样:(
你有运气解决这个问题吗？我真的很好奇为什么相同的代码对我有用而不对你有用。
不，我正在尝试使用 RSelenium。

404 Not Found