如何使用 sparklyr 计算字符串之间的距离？

【问题标题】：How to calculate distance between strings using sparklyr?如何使用 sparklyr 计算字符串之间的距离？
【发布时间】：2018-08-11 03:26:15
【问题描述】：

我需要使用 sparklyr 计算 R 中两个字符串之间的距离。有没有使用 stringdist 或任何其他包的方法？我想使用表亲距离。该距离用作 stringdist 函数的方法。

提前致谢。

【问题讨论】：

你指的是汉明距离吗？如果是这样，您想使用 stringdist 包。
我在考虑表亲距离，无论哪种方式我真的需要使用 stringdist 包，但它似乎在 sparklyr 中不起作用。我正在寻找一种使用它或替代这个包的方法。
你能重现失败的尝试吗？

标签： r sparklyr stringdist

【解决方案1】：

你可以使用内置的levenshtein函数：

df <- copy_to(sc, data.frame(a=c("This is it", "Foo"), b=c("This is", "foobar)))

# df %>% mutate(dist = levenshtein(a, b))
# # Source:   lazy query [?? x 3]
# # Database: spark_connection
#   a          b        dist
#   <chr>      <chr>   <int>
# 1 This is it This is     3
# 2 Foo        foobar      4

【讨论】：

有没有办法在sparklyr 中使用非内置字符串距离度量？如 Jaro-Winkler，可在此包中使用：github.com/MrPowers/spark-stringmetric。
@jfeigenbaum 你找到使用非内置字符串距离度量的方法了吗？
@johnckane 我没有花很多时间在这上面，但是没有......我从来没有想通这个
@jfeigenbaum 如果你有兴趣，我在这里回答了我最终在 pyspark 中是如何做到的：stackoverflow.com/questions/57706352/…