【问题标题】:How to extract JSON output to dataframe?如何将 JSON 输出提取到数据框?
【发布时间】:2016-07-06 22:15:30
【问题描述】:

我有一个包含超过 3000 条记录的数据框,其中包括每个观测值的纬度和经度坐标。我想从每组坐标中获取国家和州或省。

我似乎有部分解决方案,但我是 R 新手,不明白如何将 JSON 输出中的信息提取到可以绑定到原始数​​据集的数据帧中。

如何将 fromJSON 创建的嵌套列表解析为 data.frame? 具体来说,我希望新的数据框看起来像:

纬度、经度、国家、州(列名)

另外,感谢我的获取空间信息问题的更好解决方案!

这是我的代码:

library(RDSTK)
library(httr)
library(rjson)
Coords <- structure(list(Latitude = c(43.30528, 46.08333, 32.58333, 46.25833, 45.75, 46.25, 45.58333, 45.58333, 44.08333, 45.75), 
                         Lontitude = c(-79.80306, -82.41667, -117.08333, -123.975, -85.75, -123.91667, -86.75, -86.75, -76.58333, -85.25
                                         )), .Names = c("Latitude", "Longitude"), row.names = c(1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L,9L, 10L), class = "data.frame")

json_file <- fromJSON(coordinates2politics(Coords$Latitude, Coords$Longitude))

【问题讨论】:

  • Parse JSON with R的可能重复
  • @alistaire 我已经通读了这篇文章,要么我不明白,要么它不能解决我的问题!抱歉,如果是前者,但正如我所说,我是使用 JSON 输出和列表的新手。

标签: json r geospatial nested-lists


【解决方案1】:

我更喜欢使用jsonlite 在 R 中解析 JSON。

要解析嵌套的 JSON 列表,您可以在 lapply 内调用 fromJSON。

jsonlite::fromJSON 尝试为您简化结果。但是,由于 JSON 旨在处理嵌套数据结构,因此您通常会返回一个 data.frame 列表,因此要获得您所追求的data.frame,您需要知道您想要列表的哪个元素,然后提取它。

例如

library(RDSTK)
library(jsonlite)

js <- coordinates2politics(Coords$Latitude, Coords$Longitude)
lst <- lapply(js, jsonlite::fromJSON)

lst[[1]]$politics
#           type friendly_type                       name  code
# 1       admin2       country                     Canada   can
# 2       admin4         state                    Ontario  ca08
# 3 constituency  constituency            Hamilton Centre 35031
# 4 constituency  constituency                 Burlington 35010
# 5 constituency  constituency Hamilton East-Stoney Creek 35032

要获得data.frame,您可以构造另一个lapply 来提取您想要的元素,然后将其与do.call(..., rbind) 放在一起,或者我的偏好是data.table::rbindlist(...)

lst_result <- lapply(lst, function(x){
    df <- x$politics[[1]]
    df$lat <- x$location$latitude
    df$lon <- x$location$longitude
    return(df)
})

data.table::rbindlist(lst_result)

#            type friendly_type                                  name                   code      lat        lon
# 1:       admin2       country                                Canada                    can 43.30528  -79.80306
# 2:       admin4         state                               Ontario                   ca08 43.30528  -79.80306
# 3: constituency  constituency                       Hamilton Centre                  35031 43.30528  -79.80306
# 4: constituency  constituency                            Burlington                  35010 43.30528  -79.80306
# 5: constituency  constituency            Hamilton East-Stoney Creek                  35032 43.30528  -79.80306
# 6:       admin2       country                                Canada                    can 46.08333  -82.41667
# 7:       admin4         state                               Ontario                   ca08 46.08333  -82.41667

或者,要获取有关每个纬度/经度的更多详细信息,您可以通过library(googleway)(免责声明:我写 googleway)使用 Google 的 API 来对纬度/经度进行反向地理编码。

为此,您需要一个有效的 Google API 密钥(每天限制为 2,500 个请求,除非您付费)

library(googleway)

key <- "your_api_key"

lst <- apply(Coords, 1, function(x){
    google_reverse_geocode(location = c(x["Latitude"], x["Longitude"]),
                           key = key)
})

lst[[1]]$results$address_components
# [[1]]
#                              long_name                           short_name                                  types
# 1 Burlington Bay James N. Allan Skyway Burlington Bay James N. Allan Skyway                                  route
# 2                           Burlington                           Burlington                    locality, political
# 3         Halton Regional Municipality         Halton Regional Municipality administrative_area_level_2, political
# 4                              Ontario                                   ON administrative_area_level_1, political
# 5                               Canada                                   CA                     country, political
# 6                                  L7S                                  L7S        postal_code, postal_code_prefix

或者类似地通过library(ggmap),同样受到谷歌2500的限制。

library(ggmap)

apply(Coords, 1, function(x){
    revgeocode(c(x["Longitude"], x["Latitude"]))
})

# 1 
# "Burlington Bay James N. Allan Skyway, Burlington, ON L7S, Canada" 
# 2 
# "308 Brennan Harbour Rd, Spanish, ON P0P 2A0, Canada" 
# 3 
# "724 Harris Ave, San Diego, CA 92154, USA" 
# 4 
# "30 Cherry St, Chinook, WA 98614, USA" 
# 5 
# "St James Township, MI, USA" 
# 6 
# "US-101, Chinook, WA 98614, USA" 
# 7 
# "2413 II Rd, Garden, MI 49835, USA" 
# 8 
# "2413 II Rd, Garden, MI 49835, USA" 
# 9 
# "8925 S Shore Rd, Stella, ON K0H 2S0, Canada" 
# 10 
# "Charlevoix County, MI, USA"

【讨论】:

  • 我想我的问题还不清楚。我想要一个包含 Lat、Long、Country、State 或 Province 的数据框输出。
  • 谢谢你,我知道这是怎么回事,但我仍然卡住了,因为你的解决方案为每个原始观察提供了四个记录。仍在尝试围绕“rbindlist”以及它如何选择排列数据。
  • @KeithLarson “4 条记录”是因为 ?coordinates2politics 函数返回“经纬度点所在的国家、州、省、市、选区和社区”。因此,您可以获得每个坐标的多个数据点。
  • @KeithLarson - 我已经使用 Google 的 API 更新了另一个选项。
【解决方案2】:

需要提取该 json-list。你真的只有你的第一个坐标的结果:

sapply(json_file[[1]]$politics, "[[", 'name')[ # now pick correct names with logical
        sapply(json_file[[1]]$politics, "[[", 'friendly_type') %in% c("country","state") ] 
[1] "Canada"  "Ontario"

您应该使用apply 通过fromJSON(coordinates2politics( .,.) 提取逐一运行所有坐标,因为该函数似乎没有被“矢量化”。

res=apply( Coords, 1, function(x) {fromJSON(coordinates2politics(x['Latitude'], 
                                                                 x['Longitude']) )} )
sapply( res, function(x) sapply(x[[1]]$politics, "[[", 'name')[
                             sapply(x[[1]]$politics, "[[", 'friendly_type') %in% 
                                                                c("country","state")] )
$`1`
[1] "Canada"  "Ontario"

$`2`
[1] "Canada"  "Ontario"

$`3`
[1] "United States" "California"    "Mexico"        "California"   

$`4`
[1] "United States"

$`5`
[1] "United States" "Michigan"     

$`6`
[1] "United States" "Washington"   

$`7`
[1] "United States" "Michigan"     

$`8`
[1] "United States" "Michigan"     

$`9`
[1] "Canada"  "Ontario"

$`10`
[1] "United States" "Michigan" 

显然边界附近的项目(如圣地亚哥县或丘拉维斯塔)会给出模棱两可的结果。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-11-29
    • 2020-08-24
    • 2021-10-06
    • 1970-01-01
    • 1970-01-01
    • 2020-07-15
    • 2013-02-23
    相关资源
    最近更新 更多