在 Scala 中实现成对线性距离

Question

假设我在 Scala Spark 中有以下 DataFrame，其中年份 year 值是字符串分类表示，但数据中有顺序。

+-----+
|years|
+-----+
|  0-1|
|  1-2|
|  2-5|
| 5-10|
+-----+

我想创建一个结果成对矩阵，表示每对值的“距离”。相同的值被赋予1 的分数，在极端的值被赋予0 例如。 “0-1”和“5-10”。剩余的值用线性模型填充。：

我想要以下预期结果（在 DataFrame 或类似结构中查询一对）

x/y, 0-1,   1-2,  2-5,  5-10,
0-1,  1   , 0.33, 0.67, 0,
1-2,  0.33, 1 ,   0.33, 0.67,
2-5,  0.67, 0.33, 1 ,   0.33,
5-10, 0   , 0.67, 0.33, 1

最后，对于给定的一对years，我想检索distance 值。我想避免对这个解决方案进行硬编码，有更好的方法吗？

Answer 1

只需将您的标签映射到点0 = 0/g, 1/g, 2/g, ... , g/g = 1，其中g 是两个相邻标签之间的间隙数，即标签数减一：

def similarityMatrix[A](xs: List[A]): Map[A, Map[A, Double]] = {
  val numGaps = xs.size - 1
  val positions = xs.zip((0 to numGaps).map(i => i.toDouble / numGaps)).toMap
  def similarity(x: A, y: A) = 1.0 - math.abs(positions(x) - positions(y))
  xs.map(x => (x, xs.map(y => (y, similarity(x, y))).toMap)).toMap
}

你的例子：

val ranges = List("0-1", "1-2", "2-5", "5-10")
val matrix = similarityMatrix(ranges)

for (x <- ranges) {
  for (y <- ranges) {
    printf("%4.2f ", matrix(x)(y))
  }
  println()
}

提供以下嵌套地图：

1.00 0.67 0.33 0.00 
0.67 1.00 0.67 0.33 
0.33 0.67 1.00 0.67 
0.00 0.33 0.67 1.00 

当然适用于任何维度：

1.00 0.94 0.88 0.81 0.75 0.69 0.63 0.56 0.50 0.44 0.38 0.31 0.25 0.19 0.13 0.06 0.00 
0.94 1.00 0.94 0.88 0.81 0.75 0.69 0.63 0.56 0.50 0.44 0.38 0.31 0.25 0.19 0.13 0.06 
0.88 0.94 1.00 0.94 0.88 0.81 0.75 0.69 0.63 0.56 0.50 0.44 0.38 0.31 0.25 0.19 0.13 
0.81 0.88 0.94 1.00 0.94 0.88 0.81 0.75 0.69 0.63 0.56 0.50 0.44 0.38 0.31 0.25 0.19 
0.75 0.81 0.88 0.94 1.00 0.94 0.88 0.81 0.75 0.69 0.63 0.56 0.50 0.44 0.38 0.31 0.25 
0.69 0.75 0.81 0.88 0.94 1.00 0.94 0.88 0.81 0.75 0.69 0.63 0.56 0.50 0.44 0.38 0.31 
0.63 0.69 0.75 0.81 0.88 0.94 1.00 0.94 0.88 0.81 0.75 0.69 0.63 0.56 0.50 0.44 0.38 
0.56 0.63 0.69 0.75 0.81 0.88 0.94 1.00 0.94 0.88 0.81 0.75 0.69 0.63 0.56 0.50 0.44 
0.50 0.56 0.63 0.69 0.75 0.81 0.88 0.94 1.00 0.94 0.88 0.81 0.75 0.69 0.63 0.56 0.50 
0.44 0.50 0.56 0.63 0.69 0.75 0.81 0.88 0.94 1.00 0.94 0.88 0.81 0.75 0.69 0.63 0.56 
0.38 0.44 0.50 0.56 0.63 0.69 0.75 0.81 0.88 0.94 1.00 0.94 0.88 0.81 0.75 0.69 0.63 
0.31 0.38 0.44 0.50 0.56 0.63 0.69 0.75 0.81 0.88 0.94 1.00 0.94 0.88 0.81 0.75 0.69 
0.25 0.31 0.38 0.44 0.50 0.56 0.63 0.69 0.75 0.81 0.88 0.94 1.00 0.94 0.88 0.81 0.75 
0.19 0.25 0.31 0.38 0.44 0.50 0.56 0.63 0.69 0.75 0.81 0.88 0.94 1.00 0.94 0.88 0.81 
0.13 0.19 0.25 0.31 0.38 0.44 0.50 0.56 0.63 0.69 0.75 0.81 0.88 0.94 1.00 0.94 0.88 
0.06 0.13 0.19 0.25 0.31 0.38 0.44 0.50 0.56 0.63 0.69 0.75 0.81 0.88 0.94 1.00 0.94 
0.00 0.06 0.13 0.19 0.25 0.31 0.38 0.44 0.50 0.56 0.63 0.69 0.75 0.81 0.88 0.94 1.00