R：仅当在 for 循环内调用时，函数才会变慢答案

【问题标题】：R: Function slow only when called inside a for loopR：仅当在 for 循环内调用时，函数才会变慢
【发布时间】：2020-12-01 15:26:59
【问题描述】：

我有一个查找两个句子的词级编辑距离的功能（最后是完整的功能）。

levenshtein(c("How", "do", "you", "do"), c("What", "do", "you", "do"))
## [1] 1

我有许多句子的集合，并且正在计算集合中所有句子对的总编辑距离。

total <- 0
curr <- 0
n <- length(sentences)
for (i in (1:n)) {
    for (j in (i + 1:n)) {
      if (j > n) break
      curr <- levenshtein(sentences[[i]], sentences[[j]])
      total <- levenshtein.total + curr
    }
  }

这非常很慢，但不是我知道如何处理的方式：

对 levenshtein() 进行基准测试在 for 循环显示一些调用最多需要 两分钟。
在控制台中对相同的调用（相同的句子对）进行基准测试会导致调用耗时一秒。

我对 R 的细节不是很有经验，所以我希望遗漏一些明显的东西。不幸的是，出于隐私原因，我无法提供任何特定的句子集。所有集合包含大约 100 个长度为 1-100 的句子。

感谢您对此问题的任何想法或对我的 SO 使用的一般想法。第一次发帖。

单词级的 Levenshtein 函数：

levenshtein <- local({
  memo <- list()
  f <- function(sentence1, sentence2, len1=NULL, len2=NULL, offset1=0, offset2=0) {
    if (is.null(len1)) len1 <- length(sentence1)
    if (is.null(len2)) len2 <- length(sentence2)
    
    key <- paste(c(toString(offset1), toString(len1), toString(offset2), toString(len2)), collapse = ",")
  
    if (!is.null(memo[[key]])) return(memo[[key]])
    
    if (len1 == 0) return(len2)
    if (len2 == 0) return(len1)
    
    cost <- 0
    if (sentence1[[offset1 + 1]] != sentence2[[offset2 + 1]]) cost <- 1
  
    dist <- min(
      levenshtein(sentence1, sentence2, len1 - 1, len2, offset1 + 1, offset2) + 1,
      levenshtein(sentence1, sentence2, len1, len2 - 1, offset1, offset2 + 1) + 1,
      levenshtein(sentence1, sentence2, len1 - 1, len2 - 1, offset1 + 1, offset2 + 1) + cost
    )
    memo[key] <<- dist
    return(dist)
}})

【问题讨论】：

R（以及在某种程度上所有编程语言）中慢循环的最大贡献者之一是增长现有对象。这对 R 尤其不利，因为它涉及每次添加元素时都复制对象。我现在懒得详细阅读你的 levenstein 函数，但看起来memo[key] <<- dist 正在犯下这个“大罪”。通常，最好使用sapply 或lapply 循环，这样可以更优雅地返回对象，同时内存使用更少（不依赖于<<-）。
@lmo，成长中的lists 真的也这样做吗？例如，out <- list(iris,iris); tracemem(out[[1]]); for (i in 1:100) out <- c(out, list(iris[3:4,])) 不会触发out 的内存更改（第一个iris，表明数据本身没有被复制。我同意增长的对象可能是坏的和@ 987654332@ 通常是一个很好的方法，如果不是更好的话，我不认为这个函数 memo 的记忆是性能瓶颈。
同样，如果不深入了解您的 levenshtein 函数，我认为递归可能是一个问题。 R 的尾递归效率不高，所以它越深入，每个函数调用在堆栈上占用的内存就越多。
感谢您的意见。事实上，例程的内存使用是稳定的。尾递归的低效率是否与在 for 循环之外快速调用相同的调用一致？例如，如果我直接调用它，levenshtein(Long_Sentence, Longer_Sentence) 仍然会比较快，但如果从循环中调用它会慢大约 100 倍。

标签： r performance loops benchmarking memoization

【解决方案1】：

暂定解决方案

在每次函数调用后手动为记忆变量分配一个空列表可使例程快 40 倍左右。请参阅内部循环中的最后一行。

total <- 0
curr <- 0
n <- length(sentences)
for (i in (1:n)) {
    for (j in (i + 1:n)) {
      if (j > n) break
      curr <- levenshtein(sentences[[i]], sentences[[j]])
      total <- levenshtein.total + curr
      assign("memo", list(), envir = environment(levenshtein))
    }
  }

对于一个根本被忽视的问题，我不知道有多少创可贴，但我认为这总比不分享要好。如果有人对正在发生的事情有很好的了解，或者有一种非元编程 R 方式来做这件事，我很乐意学习。

【讨论】：