在字符向量中查找常用短语

Question

如何在字符向量中找到常用短语。例如，我有下面的字符向量，我想确定 Foo Bar 1 对 2 和 3 很常见，Foo Bar 2 在 4 和 5 中很常见，但我事先不知道我在寻找 Foo Bar 1 和 @ 987654325@.

示例输入是

a <- c("index", "bla Foo Bar 1", "blah Foo Bar 1",
       "blaa Foo Bar 2", "blahh Foo Bar 2")

所需的输出类似于

output <- list(`Foo Bar 1` = c(2, 3), `Foo Bar 2` = c(4, 5))

输出格式可能不同，但我正在寻找原始向量中的常用短语和对应位置。

我想匹配最长的常用短语（顺序很重要），所以在这种情况下，单独匹配 Foo Bar 是不可取的。开头和结尾的空格也可以返回（我可以稍后剥离是必要的）。在这个例子中，我也不想匹配Foo Bar 1a，所以我们应该假设单词是用空格分隔的。

我的问题类似于之前问过的this one，尽管在我的情况下，我只有一个向量并且想要匹配完整的单词而不是字符。

Answer 1

这里有一些可行的方法。一、样本输入

#sample input
a <- c("index", "bla Foo Bar 1", "blah Foo Bar 1",
       "blaa Foo Bar 2", "blahh Foo Bar 2")

然后是一个将字符串分解为短语的函数

allcomp <- function(x) {
    unname(do.call(c, lapply(1:length(x), 
        function(z) lapply(1:(length(x)-z+1), 
            function(i) x[i:(i+z-1)]))))
}

getPhrases <- function(a) {
    parts <- Map(allcomp, strsplit(a, " "))
    vals <- sapply(parts, sapply, paste0, collapse=" ")
    len <- sapply(parts, sapply, length)
    do.call(rbind, Map(cbind.data.frame, i=seq_along(a), v=vals, l=len))
}

现在我们可以制表了

pp<-getPhrases(a)

tbl<-Map(function(x) list(ids=unique(x$i), len=max(x$l), 
    cnt=length(unique(x$i))), split(pp, pp$v))

maxlen<-max(sapply(tbl, `[[`,  "len") * as.numeric(sapply(tbl, `[[`,  "cnt")>1))
maxcnt<-max(sapply(tbl[sapply(tbl, `[[`,  "len")==maxlen], `[[`, "cnt"))


Map(function(x) x$ids, tbl[sapply(tbl, `[[`,  "len")==maxlen & 
    sapply(tbl, `[[`,  "cnt")==maxcnt])

返回

$`Foo Bar 1`
[1] 2 3

$`Foo Bar 2`
[1] 4 5