多维空间的归一化，这是什么算法？答案

【问题标题】：Normalization of a multi-dimensional space, what algorithm is this?多维空间的归一化，这是什么算法？
【发布时间】：2016-02-02 09:47:41
【问题描述】：

我不是受过训练的统计学家，因此对于某些单词的错误使用，我深表歉意。我只是想从 Weka 最近邻算法中获得一些好的结果。我将在我的解释中使用一些冗余来尝试理解这个概念：

有没有办法对多维空间进行归一化，使任意两个实例之间的距离始终与对因变量的影响成正比？

换句话说，我有一个统计数据集，我想使用“最近邻”算法来查找与指定测试实例最相似的实例。不幸的是，我的初始结果是无用的，因为与因变量相关性很弱的两个属性值非常接近，会错误地偏向距离计算。

例如，假设您试图根据汽车数据库查找给定汽车的最近邻居：品牌、型号、年份、颜色、发动机尺寸、车门数量。我们直观地知道，品牌、型号和年份对价格的影响比门的数量更大。因此，具有相同颜色、门数的汽车可能不是与具有不同颜色/门但相同品牌/型号/年份的汽车最近的邻居。可以使用什么算法来适当地设置最近邻距离计算中每个自变量的权重，以便距离与因变量在统计上成比例（相关，无论如何）？

应用：这可用于在购物网站上更准确地“向我展示与其他产品相似的产品”。回到汽车的例子，这将使相同品牌和型号的汽车冒泡到顶部，年份用作决胜局，然后在同一年份的汽车中，它可能会对具有相同气缸数的汽车进行排序（4 个或 6 个）在具有相同门数（2 个或 4 个）的那些之前。我正在寻找一种算法方法来推导类似于我直观地知道的权重 (make >> model >> year >> engine >> doors) 并实际为它们分配数值以用于最近邻搜索类似汽车。

一个更具体的例子：

数据集：

Blue,Honda,6-cylinder
Green,Toyota,4-cylinder
Blue,BMW,4-cylinder

现在找到类似的汽车：

Blue,Honda,4-cylinder

在这个有限的示例中，它将匹配 Green,Toyota,4-cylinder 之前的 Blue,Honda,6-cylinder，因为这两个品牌在统计上几乎可以互换，并且气缸是价格而非颜色的更重要决定因素。宝马会匹配得更低，因为该品牌倾向于将价格翻倍，即将商品放置更远的距离。

最后说明：价格在算法训练期间可用，但在计算期间不可用。

【问题讨论】：

标签： algorithm statistics weka nearest-neighbor

【解决方案1】：

您可能应该为此目标查看 Solr/Lucene。 Solr 提供基于相似性搜索的字段值频率，并且它已经具有用于查找相似项目的功能MoreLikeThis。

【讨论】：

【解决方案2】：

也许最近邻不是这种情况的好算法？当您想要对离散值进行分类时，定义合理的距离会变得非常困难。我认为C4.5-like 算法可能更适合您描述的应用程序。在每一步，算法都会优化信息熵，因此您将始终选择为您提供最多信息的特征。

【讨论】：

【解决方案3】：

在 IEEE 网站上找到了一些东西。该算法称为DKNDAW（“具有距离和属性加权的动态k-最近邻”）。我找不到实际的论文（可能需要付费订阅）。假设属性权重是由算法本身计算的，这看起来很有希望。

【讨论】：