【问题标题】:Downloading JSON data into R将 JSON 数据下载到 R 中
【发布时间】:2012-10-22 03:59:55
【问题描述】:

我需要:

  1. 下载http://api.crunchbase.com/v/1/companies.js提供的所有公司名称的解析文件

  2. 使用每个公司名称运行查询以下载每个公司信息的解析文件(例如,Federation_year、资助者公司名称),使用语法“http://api.crunchbase.com/v/1/company” /永久链接.js'

我想将此数据解析为电子表格或其他格式,然后我可以将其导入 R 进行分析。

将此数据导入 R 的最佳格式是什么?如何下载数据并将其组织成类似表格的结构? (例如,行 = 公司,列 = 个人资料信息,例如 funded_year)(最终目标是在 R 中分析)

【问题讨论】:

标签: json r web-scraping


【解决方案1】:
library(RJSONIO)
library(RCurl)

# grab the data
raw_data <- getURL("http://api.crunchbase.com/v/1/companies.js")
# Then covert from JSON into a list in R
data <- fromJSON(raw_data)
length(data)
[1] 101782
# We can coerce this to a data.frame
 final_data <- do.call(rbind, data)
 # Then write it to a flat csv file
 write.csv(final_data, "final_data.csv")


> head(final_data)
     name                permalink     category_code
[1,] "Wetpaint"          "wetpaint"    "web"        
[2,] "AdventNet"         "adventnet"   "enterprise" 
[3,] "Zoho"              "zoho"        "software"   
[4,] "Digg"              "digg"        "web"        
[5,] "Facebook"          "facebook"    "web"        
[6,] "Photobucket, Inc." "photobucket" "web"        

【讨论】:

  • 谢谢!这解决了我将公司名称放入 R 中的 CSV 文件的问题。现在我需要将每家公司的详细信息组织到 R 中的数据库中。通过循环访问 api 调用中的每个永久链接来做到这一点是最好的方法( 'api.crunchbase.com/v/1/company/permalink.js') 并将每个公司的资料数据添加到 R 中的单个 csv 中?我该怎么做?
猜你喜欢
  • 2020-05-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-04-15
  • 2019-02-23
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多