使用 gsub 和 sapply 的 R 性能问题

Question

我有一个包含 +1000 万条记录 (all_postcodes) 的数据框。 [编辑] 这里只是一些记录：

pcode  area  east    north   area2     area3      area4      area5
AB101AA 10  394251  806376  S92000003 S08000006  S12000033  S13002483
AB101AB 10  394232  806470  S92000003 S08000006  S12000033  S13002483
AB101AF 10  394181  806429  S92000003 S08000006  S12000033  S13002483
AB101AG 10  394251  806376  S92000003 S08000006  S12000033  S13002483

我想使用以下函数创建一个包含其中一个列的规范化版本的新列：

pcode_normalize <- function (x) {
x <- gsub("  ", " ", x)
if (length(which(strsplit(x, "")[[1]]==" ")) == 0) {
x <- paste(substr(x, 1, 4), substr(x, 5, 7))
}
x
}

我尝试如下执行：

all_postcodes$npcode <- sapply(all_postcodes$pcode, pcode_normalize)

但是时间太长了。有什么提高性能的建议吗？

Answer 1

您在pcode_normalize 中使用的所有函数都已矢量化。无需使用sapply 循环。看起来您也在使用 strsplit 来查找单个空格。 grepl 会更快。

在调用gsub 和grepl 时使用fixed=TRUE 会更快，因为您实际上并没有使用正则表达式。

pcode_normalize <- function (x) {
  x <- gsub("  ", " ", x, fixed=TRUE)
  sp <- grepl(" ", x, fixed=TRUE)
  x[!sp] <- paste(substr(x[!sp], 1, 4), substr(x[!sp], 5, 7))
  x
}
all_postcodes$npcode <- pcode_normalize(all_postcodes$pcode)

我实际上无法对此进行测试，因为您没有提供任何示例数据，但它应该能让您走上正确的道路。