部分未知向量的最近邻答案

【问题标题】：Nearest Neighbor for partially unknown vector部分未知向量的最近邻
【发布时间】：2018-03-04 18:24:23
【问题描述】：

假设我们有人员列表，并希望找到像X 这样的人。

特征向量有3个项目[weight, height, age]，我们的列表中有3个人。请注意，我们不知道 C 人的身高。

A: [70kg, 170cm, 60y]
B: [60kg, 169cm, 50y]
C: [60kg, ?,     50y]

找到与 A 最亲近的人的最佳方法是什么？

我的猜测

让我们计算高度的平均值，并使用它来代替未知值。

假设我们计算出170cm 是身高的平均值，并将人C 重新定义为[60kg, ~170cm, 50y]。

现在我们可以找到离 A 最近的人，应该是A, C, B。

问题

现在，问题是我们将C 与猜测的~170cm 放在前面，而不是将B 与已知的169cm 放在一起。

感觉有点不对劲。我们人类比机器更聪明，并且知道C 完全是170cm 的可能性很小。所以，B 最好放在169cm 前面而不是C。

但我们如何计算惩罚？（最好是简单的经验算法）我们是否应该以某种方式惩罚具有未知值的向量？相差多少（也许计算集合中每两个人的身高之间的平均差异）？

当特征向量的维度是N 并且它有K 已知项和U 未知项（K + U = N）时，这种惩罚在一般情况下会是什么样子？

【问题讨论】：

标签： algorithm machine-learning similarity data-science nearest-neighbor

【解决方案1】：

在这个特定的例子中，使用线性回归来填充缺失值而不是取平均值会更好吗？这样您可能对猜测的值更有信心，并且可能不需要惩罚。

但是如果你想要惩罚，我有一个想法，那就是取非缺失特征的比率。在示例中，共有 3 个特征。 C 在其中 2 个特征中具有值。所以 C 的非缺失特征的比率是 2/3。通过将其与非缺失特征的比率相乘来调整相似度得分。例如，如果 A 和 C 之间的相似度为 0.9，则调整后的相似度为 0.9 * 2 / 3 = 0.6。而 A 和 B 之间的相似性不会受到影响，因为 B 具有所有特征的值，并且比率将为 1。

您还可以在计算比率时对特征进行加权。例如，(weight, height, age) 分别得到权重 (0.3, 0.4, 0.3)。那么缺少高度特征将具有（0.3 + 0.3）= 0.6的加权比。你可以看到 C 受到的惩罚更大，因为我们认为身高比体重和年龄更重要。

【讨论】：

这个比例的好主意！谢谢！

【解决方案2】：

我建议，对于我们具有已知属性的数据点，使用学习模型、线性回归或多层感知器来学习未知属性，然后使用该模型填充未知属性。平均情况是线性模型的特例

【讨论】：

【解决方案3】：

您对DataImputation的问题感兴趣。

有几种方法可以解决这个问题，我只是列出一些：

均值/众数/中值插补：插补是一种用估计值填充缺失值的方法。目标是使用可以在数据集的有效值中识别的已知关系来帮助估计缺失值。均值/众数/中值插补是最常用的方法之一。它包括用该变量的所有已知值的平均值或中位数（定量属性）或众数（定性属性）替换给定属性的缺失数据。这可以进一步归类为广义和相似案例插补。
预测模型：预测模型是处理缺失数据的复杂方法之一。在这里，我们创建了一个预测模型来估计将替代缺失数据的值。在这种情况下，我们将数据集分为两组：一组变量没有缺失值，另一组变量缺失值。第一个数据集成为模型的训练数据集，而第二个缺失值的数据集是测试数据集，缺失值的变量被视为目标变量。接下来，我们创建一个模型，根据训练数据集的其他属性预测目标变量，并填充测试数据集的缺失值。
KNN(k-nearest neighbor) Imputation：在这种插补方法中，属性的缺失值使用与属性最相似的给定数量的属性进行插补缺少值。使用距离函数确定两个属性的相似性。
线性回归：一种用于对标量因变量 y 和一个或多个用 X 表示的解释变量（或自变量）之间的关系进行建模的线性方法。在预测中，线性回归可以是用于将预测模型拟合到观测到的 y 和 X 值数据集。在开发了这样一个模型之后，如果给出了一个附加的 X 值而没有其伴随的 y 值，则可以使用拟合模型来预测 y 的值。如果需要，请查看此example。

【讨论】：