网页抓取需要点击鼠标？答案

【问题标题】：Web scraping requiring a mouse click?网页抓取需要点击鼠标？
【发布时间】：2012-11-06 13:38:13
【问题描述】：

我正在尝试（在 R 中）从以下位置抓取一些数据：

http://www.soccerbase.com/matches/results.sd?date=2012-11-04

即，我想获取当您按下i 按钮时出现在页面上的比赛详情。但是，单击按钮后出现的信息不包含在原始 html 代码中。我所能看到的只是一条线（我希望包含数据）...

<span class="infoField"><a href="#" class="info finished" title="Show full match details"></a></span>

...这几乎让我陷入了死胡同...有什么想法吗？

【问题讨论】：

您应该开始在 Firefox 或 chrome 开发工具中使用 firebug。网站向soccerbase.com/matches/additional_information.sd?id_game=652536发出javascript请求
您还应该阅读条款和条件。
@Spacedman 至少在美国，这些条款和条件不具有法律约束力。参见例如forbes.com/sites/ericgoldman/2012/10/10/…

标签： r web-scraping

【解决方案1】：

require(XML)
require(RCurl)
dataurl<-'http://www.soccerbase.com/matches/results.sd?date=2012-11-04'
sdata<-htmlParse(dataurl)
sid<-xpathSApply(sdata,'//*/tr/@id')
sid<-gsub('^tgc','',sid)
mUrl<-paste0('http://www.soccerbase.com/matches/additional_information.sd?id_game=',sid)

以上代码将获取附加数据所需的 url。不过，我会与该网站核实是否收集他们的数据。

【讨论】：