【问题标题】:Shifting values to different columns based on value in second column, XML to data.frame根据第二列中的值将值转移到不同的列,XML 到 data.frame
【发布时间】:2017-01-29 08:25:32
【问题描述】:

对于 tl;dr,我在底部有一个简单的问题:

我正在尝试将 XML 文件转换为 R 中可用的表。

<toes copyright='(C)version='1.1'> <generated date='2017-01-21 
07:45:04'timestamp='1485006304'/>
   <description> Active TOE vehicle levels and adjustments for the current 
   campaign up to the RDP cycle in progress. c0 = the cycle 0 capacity, adj 
   = comma-separated list of cycle:capacity adjustments, cur = current 
   capacity </description>
   <defaults><def att='adj' value=''/></defaults>
       <r toe="deairfor" veh="22" c0="30" cur="30"/>
       <r toe="deairfor" veh="23" c0="40" cur="20" adj="1:35,2:20"/>
       <r toe="deairfor" veh="26" c0="2" cur="2" adj="2:10,3:30"/>
</toes>

我想要的格式是这样的:

"TOE" "Veh" "c0" "cur" "adj1" "adj2" "adj3"
"deairfor" 22 30 30 NA NA NA
"deairfor" 23 40 20 35 20 NA
"deairfor" 26 2 2 NA 10 30 

我对导入 XML 文件的经验为零,但我认为该文件的格式不正确,因为我没有遇到任何 XML 示例,其中包含标签内的数据,例如 .我已经能够使用以下内容提取数据:

library(XML)
source <- "http://wiretap.wwiionline.com/xml/toes.sheet.xml"
xmlfile <- xmlTreeParse(source, useInternalNodes = TRUE)
nodes <- getNodeSet(xmlfile, "/toes//r")
Df1 <- NULL

for(i in 1:length(nodes)) {
Df1 <- t(xmlToList(nodes[[i]]))
Df2 <- smartbind(Df2,Df1[1,])
}

我一次只能提取 1 行,所以我使用后面的代码将它们绑定在一起。我需要 df1/2 否则它会在 i = 1 时出错。可能以不同的方式更容易,但我无法让它工作。

这给我留下了一个数据框 Df2,所有变量都是“因子”(为什么?)

"TOE" "Veh" "c0" "cur" "adj"
deairfor 22 30 30 NA
deairfor 23 40 20 35 1:35,2:20
deairfor 26 2 2 2 2:10,3:30 

所以现在的困难在于这个“adj”列。我可以将其与以下内容分开:

Df2 <- separate(data = Df2, col = adj, into = c("adj1", adj2","adj3"), sep = "\\,")
Df2 <- separate(data = Df2, col = adj1, into = c("adj1","adj1value"), sep = "\\:")
Df2 <- separate(data = Df2, col = adj2, into = c("adj2","adj2value"), sep = "\\:")
Df2 <- separate(data = Df2, col = adj3, into = c("adj3","adj3value"), sep = "\\:")

但单元格不在正确的列中。现在df2如下:

"TOE" "Veh" "c0" "cur" "adj1" "adj1value" "adj2" "adj2value" "adj3" "adj3value"
deairfor 22 30 30 NA NA NA NA NA NA
deairfor 23 40 20 1 35 2 20 NA NA
deairfor 26 2 2 2 10 3 30 NA NA 

虽然最后一行需要:(一旦 adj1 值在正确的列中,我们也可以删除 adj1/adj2/adj3)

deairfor 26 2 2 NA NA 2 10 3 30 

我尝试了多种方法将这些单元格向右移动,但经常出错,例如:(adj* 列是分隔后的字符,因此是“1”)

Df2$adj3[Df2$adj1 == "1"] <- Df2$adj2
Df2$adj3value[Df2$adj1 == "1"] <- Df2$adj2value
"NAs are not allowed in subscripted assignments"

所以问题:如何将这些值移动到正确的列?

"TOE" "Veh" "c0" "cur" "adj"
deairfor 26 2 2 2:10,3:30 

应该变成

"TOE" "Veh" "c0" "cur" "adj1" "adj2" "adj3"
deairfor 26 2 2 NA 10 30 

额外的问题:我觉得我需要使用很多行,因为一开始的 XML 导入并不是很理想,无论如何要根据我的目标做得更好?

【问题讨论】:

  • 试试这篇文章使用的一些方法来从 xml 创建一个框架,看看它是否适合你。 stackoverflow.com/questions/17198658/…
  • 好奇,您发布的 xml 与 url 不匹配,因为网页没有 adj 属性。
  • 是的,网页会随着时间的推移而更新。很遗憾,Adj 只会在两周后再次出现。

标签: r xml


【解决方案1】:

我会编写一个函数,可以将 NA 添加到前缀 adj 字符串中,然后使用 tidyr 的 separate

add_NAs <- function(x, n=3){
   y <- strsplit(x, ",")
   sapply( y, function(z){  
      n <- match( 1:n, substr(z,1,1))
      paste(substring(z, 3)[n], collapse=",")
   })
}
add_NAs( c(NA, "1:35,2:20", "2:10,3:30", "1:20,3:5") )
[1] "NA,NA,NA" "35,20,NA" "NA,10,30" "20,NA,5" 

你也可以使用xmlAttrsToDataFrame来解析属性。

x <- XML:::xmlAttrsToDataFrame(doc["//r[@toe]"], stringsAsFactors=FALSE)
x$adj <- add_NAs(x$adj)
separate(x, adj, c("adj1", "adj2", "adj3"), sep="," , convert=TRUE)
       toe veh c0 cur adj1 adj2 adj3
1 deairfor  22 30  30   NA   NA   NA
2 deairfor  23 40  20   35   20   NA
3 deairfor  26  2   2   NA   10   30

【讨论】:

  • 从来不知道xmlAttrsToDataFrame 方法。将它添加到我的图书馆!
【解决方案2】:

感谢克里斯的帮助,真的回答了我所有的问题! 最终代码如下所示,感兴趣的朋友可以参考。

我只需要先插入一行下载 xml 文件,否则它不会拾取它。我用于此的主题:(https://stackoverflow.com/questions/24139221/reading-and-understanding-xml-in-r) 此外,对于这张表,我希望在调整后水平“继续”,这就是我在最后对 5 个类似行所做的。所以如果 c0 =10, adj1=20 and adj2=NA 那么 adj2/Tier2=20.

library(XML)
library(tidyr)
add_NAs <- function(x, n=5){
  y <- strsplit(x, ",")
  sapply( y, function(z){  
  n <- match(1:n, substr(z,1,1))
  paste(substring(z, 3)[n], collapse=",")
  })
}

fileURL <- "http://wiretap.wwiionline.com/xml/toes.sheet.xml"
download.file(fileURL, destfile=tf <- tempfile(fileext=".xml"))
doc <- xmlParse(tf)
Test <- XML:::xmlAttrsToDataFrame(doc["//r[@toe]"], stringsAsFactors=FALSE)
Test$adj <- add_NAs(Test$adj)
Test <- separate(data = Test, col = adj, into = c("Tier1","Tier2","Tier3","Tier4","Tier5"), sep = "\\,")
Test$Tier1 <- ifelse(Test$Tier1=="NA",Test$c0,Test$Tier1)
Test$Tier2 <- ifelse(Test$Tier2=="NA",Test$Tier1,Test$Tier2)
Test$Tier3 <- ifelse(Test$Tier3=="NA",Test$Tier2,Test$Tier3)
Test$Tier4 <- ifelse(Test$Tier4=="NA",Test$Tier3,Test$Tier4)
Test$Tier5 <- ifelse(Test$Tier5=="NA",Test$Tier4,Test$Tier5)

【讨论】:

  • 正在寻找一种方法来做到这一点。再次检查,找到按钮,谢谢!
猜你喜欢
  • 2015-06-30
  • 2022-01-17
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-01-12
  • 1970-01-01
  • 2022-11-01
  • 2023-01-26
相关资源
最近更新 更多