为字符串创建距离矩阵

Question

我想加快下面的代码。有人能这么好心并提出一些建议吗？

library(dplyr)
library(fuzzywuzzyR)

set.seed(42)
rm(list = ls())
options(scipen = 999)

init = FuzzMatcher$new()

data <- data.frame(string = c("hello world", "hello vorld", "hello world 1", "hello world", "hello world hello world"))
data$string <- as.character(data$string)

distance_function <- function(string_1, string_2) {
    init$Token_set_ratio(string1 = string_1, string2 = string_2)
}

combinations <- combn(nrow(data), 2)
distances <- matrix(, nrow = 1, ncol = ncol(combinations))

distance_matrix <- matrix(NA, nrow = nrow(data), ncol = nrow(data), dimnames = list(data$string, data$string))

for (i in 1:ncol(combinations)) {

    distance <- distance_function(data[combinations[1, i], 1], data[combinations[2, i], 1])

    #print(data[combinations[1, i], 1])
    #print(data[combinations[2, i], 1])
    #print(distance)

    distance_matrix[combinations[1, i], combinations[2, i]] <- distance
    distance_matrix[combinations[2, i], combinations[1, i]] <- distance

}

distance_matrix

顺便说一句，我尝试使用 proxy::dist 和其他各种方法都没有成功。我也不认为字符串距离函数按预期工作，但这是另一回事。

最终，我想使用距离矩阵来执行一些聚类来对相似的字符串进行分组（与词序无关）。

Answer 1

如果你想要一个矩阵，你可以使用stringdist 包。据我所知，您使用的包计算了 Levenshtein 距离，因此我包含了method = "lv"（您也可以尝试其他方法）。如果您有问题，或者是否首选矩阵以外的格式，请告诉我。此外，您可以考虑使用 Levenshtein Distance 以外的方法（即，在 4 个字母的单词中更改 2 与在 20 个单词的句子中更改 2 看起来相同）。祝你好运！！！

library(dplyr)
library(stringdist)

set.seed(42)
rm(list = ls())
options(scipen = 999)

data <- data.frame(string = c("hello world", "hello vorld", "hello world 1", "hello world", "hello world hello world"))
data$string <- as.character(data$string)

dist_mat <- stringdist::stringdistmatrix(data$string, data$string, method = "lv")

rownames(dist_mat) <- data$string
colnames(dist_mat) <- data$string

dist_mat
                        hello world hello vorld hello world 1 hello world hello world hello world
hello world                       0           1             2           0                      12
hello vorld                       1           0             3           1                      13
hello world 1                     2           3             0           2                      11
hello world                       0           1             2           0                      12
hello world hello world          12          13            11          12                       0