从列表中的列表中提取 JSON 解析的变量

Question

作为我论文的一部分，我正在分析政党的极性。在接收到 JSON 格式的 Facebook 消息的数据转储后，我将其解析为 R。不幸的是，嵌套了一个列表变量：

我需要从列表中列表中的列表中提取$sentiment$polarity$score。

Observations: 63,465
Variables: 5
$ description <chr> "'TEXT'" ...
$ parties     <list> ["X", "X", "Y", ...
$ date        <date> 2018-03-05, 2018-03-05...
$ title       <chr> NA, NA...
$ sentiment   <list> [[[0.2998967, "Positief"], ...

使用glimpse(df$sentiment) 显示：

 $ :List of 2
  ..$ polarity    :List of 2
  .. ..$ score      : num 0.15
  .. ..$ description: chr "Neutraal"
  ..$ subjectivity:List of 2
  .. ..$ score      : num 0.65
  .. ..$ description: chr "Erg subjectief"
  [list output truncated]

编辑：head(df$sentiment, n=1) 给出：

[[1]]
[[1]]$`polarity`
[[1]]$`polarity`$`score`
[1] 0.2998967

[[1]]$`polarity`$description
[1] "Positief"

[[1]]$subjectivity
[[1]]$subjectivity$`score`
[1] 0.5458678

[[1]]$subjectivity$description
[1] "Subjectief"

但是，df$sentiment 的问题部分存在于（运行head(df$sentiment, n=10) 时）如下：

[[5]]
named list()

因此，观察确实包含一个空列表，而不是包含其他两个列表的格式。

我尝试了以下方法：

df %>% unnest(sentiment, .drop = FALSE, .sep = '"')

不幸的是，这使我的 df 翻了一番，从而失去了 polarity$score 和 sentiment$score 之间的区别。

我也试过了

matrix(unlist(df$sentiment),ncol=4,byrow=TRUE)

不幸的是，这无法处理 NULL 条目（即当$sentiment 为空而$polarity 不为空时）。因此，它创建了一个有缺陷的矩阵。

我也玩过flatten、unlist 和tranpose 函数，但这似乎并没有让我有任何收获。我在 R 方面没有那么有经验，因此我希望有人可以帮助我提取正确的分数并将其作为列输入到我的数据框中。我希望我提供了所有需要的信息。

Answer 1

第一段代码是我创建一个示例。我通过设置 score = c() 将值设为 NULL 以查看它是否解决了您的问题。我确实必须用 for 循环来做，但它应该可以工作。第二位是如何使用数据框和列表值对其进行编码。它基本上会进行临时检查以测试 NULL 列表。

##construction of example data frame
a <- list(polarity = list(score = c(), description = "positief"))
b <- list(subjectivity = list(score = 2, description = "subjectief"))
c <- list(empty_list = list())
d <- list(c(a, b, c))

##my d is equivalent to your df
d[[1]][[1]][[1]]
length(d)
sent.pol.score <- double(length(d))
for ( i in 1 : length(d) ) {
    if ( length(d[[1]][[1]][[1]]) == 1 ) {
        sent.pol.score[i] <- d[[1]][[1]][[1]]
    }
}


##this should work with your data frame
sent.pol.score <- double(length(df$sentiment))
for ( i in 1 : length(df$sentiment) ) {
    if ( length(df$sentiment$polarity$score) == 1 ) {
        sent.pol.score[i] <- df$sentiment$polarity$score
    }
}

请注意，send.pol.score 将是数据集的长度，如果值为 NULL，则等于 0。我不知道这些可以取什么值，但您可能想将其更改为 sent.pol.score <- rep(NA, length(df$sentiment))。

Answer 2

在 Rex 的帮助下，我发现 $sentiment 中存在一些空列表（形式为 list() ）。结合 Rex 的建议，我找到了以下解决方案：

#Remove empty lists from $sentiment
df.1 <- df %>% filter(sentiment != "list()")

#Unnest $sentiment list
df.2 <- df.1 %>% unnest(sentiment, .drop = FALSE, .sep = '"')

#Create function to remove even rows in df.2,  which contain $sentiment$subjectivity
Nth.delete <-function(dataframe, n)dataframe[-(seq(n,to=nrow(dataframe),by=n)),]

See: https://stackoverflow.com/questions/7942519/deleting-every-n-th-row-in-a-dataframe

#Execute Nth.delete function on every even rows of df, containing $sentiment$subjectivity
df.3 <- Nth.delete(df.1, 2)

#Unnest list $sentiment again to disctinct between $polarity$score and $polarity$description
df.4 <- df.3 %>% unnest(sentiment, .drop = FALSE, .sep = '"')

#Execute Nth.delete function again to remove the even rows containing $sentiment$polarity$description
df.5 <- Nth.delete(df.4, 2)

这创建了 df，其中$sentiment$polarity$score 在我的 df 中形成了一个连贯的列。