【问题标题】:How to scrape this web page with R如何用 R 抓取这个网页
【发布时间】:2017-10-14 15:04:18
【问题描述】:

我上下搜索,但找不到任何适合此目的的解决方案。

我想抓取这个页面(表格)

https://www.fxstreet.com/rates-charts/usdjpy/forecast

我尝试了几种方法,但无法将数据报废到表格中。

library(XML)
library(RCurl)

url <-"https://www.fxstreet.com/rates-charts/usdjpy/forecast"
url2 <- getURL(url)
parsed <- htmlParse(url2)

【问题讨论】:

  • 在 Chrome 中打开一个新标签页。打开“开发者工具”(在 Chrome 菜单中搜索)。单击此处的“网络”选项卡和“XHR”子选项卡。导航到该页面。查看xhr 请求。您很有可能在那里找到数据,但主 HTML 页面也有大量 base64 编码的 JSON 数据块,它会解析并从(和其他动态内容)生成数据表和图表。因此,如果您不习惯剖析和提取页面上的 JavaScript,您可能需要使用 splashrseleniumPipes
  • @hrbrmstr ,这将很难理解,我会尽力而为,谢谢!

标签: r web-scraping screen-scraping


【解决方案1】:

试试 RSelenium。

将您的浏览器导航到此 URL 并等待元素加载。试试这个答案中讨论的技术

how to check if page finished loading in RSelenium

加载完成后,您可以保存 html 并使用 rvest 包或您自己的选择进行阅读。

【讨论】:

    猜你喜欢
    • 2011-01-27
    • 2017-02-27
    • 1970-01-01
    • 2012-12-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-09-29
    • 1970-01-01
    相关资源
    最近更新 更多