我正在研究拇指识别系统。我需要实现 KNN 算法来对我的图像进行分类。根据this，它只有2个测量值，通过它计算找到最近邻居的距离，但在我的例子中，我有400张25 X 42的图像，其中200张用于训练，200张用于测试。我正在寻找几个小时，但我没有找到找到点之间距离的方法。
编辑：
我已将第 200 张图像重新整形为 1 X 1050，并将它们存储在 200 X 1050 的矩阵 trainingData 中。同样，我制作了 testingData。
【问题讨论】：
标签： matlab machine-learning distance classification knn
这里是k近邻分类的图解代码（使用的一些函数需要统计工具箱）：
%# image size
sz = [25,42];
%# training images
numTrain = 200;
trainData = zeros(numTrain,prod(sz));
for i=1:numTrain
img = imread( sprintf('train/image_%03d.jpg',i) );
trainData(i,:) = img(:);
end
%# testing images
numTest = 200;
testData = zeros(numTest,prod(sz));
for i=1:numTest
img = imread( sprintf('test/image_%03d.jpg',i) );
testData(i,:) = img(:);
end
%# target class (I'm just using random values. Load your actual values instead)
trainClass = randi([1 5], [numTrain 1]);
testClass = randi([1 5], [numTest 1]);
%# compute pairwise distances between each test instance vs. all training data
D = pdist2(testData, trainData, 'euclidean');
[D,idx] = sort(D, 2, 'ascend');
%# K nearest neighbors
K = 5;
D = D(:,1:K);
idx = idx(:,1:K);
%# majority vote
prediction = mode(trainClass(idx),2);
%# performance (confusion matrix and classification error)
C = confusionmat(testClass, prediction);
err = sum(C(:)) - sum(diag(C))
【讨论】：
trainingData 的顺序为 200 X 1050。这意味着 200 是总图像，1050 是图像的尺寸（实际上是 25 X 42）。我的问题是如何用我的代码替换 trainClass = randi([1 5], [numTrain 1]);。
labelData = zeros(200,1); labelData(1:100,:) = 0; labelData(101:200,:) = 1;。那么这里怎么用呢？
trainData = labelData;。然后对测试数据做同样的事情（如果你有它们——只有当你想像我在代码部分中那样测量分类器的性能时才需要测试标签）
如果要计算向量 a 和 b 之间的 Euclidean distance，只需使用 Pythagoras。在 Matlab 中：
dist = sqrt(sum((a-b).^2));
但是，您可能希望使用pdist 一次性计算矩阵中所有向量组合的值。
dist = squareform(pdist(myVectors, 'euclidean'));
我将列解释为要分类的实例，将行解释为潜在的邻居。不过这是任意的，您可以切换它们。
如果有单独的测试集，您可以使用pdist2 计算到训练集中实例的距离：
dist = pdist2(trainingSet, testSet, 'euclidean')
您可以使用此距离矩阵对向量进行 knn 分类，如下所示。我将生成一些随机数据作为示例，这将导致低（大约机会级别）准确性。但是当然你应该插入你的实际数据，结果可能会更好。
m = rand(nrOfVectors,nrOfFeatures); % random example data
classes = randi(nrOfClasses, 1, nrOfVectors); % random true classes
k = 3; % number of neighbors to consider, 3 is a common value
d = squareform(pdist(m, 'euclidean')); % distance matrix
[neighborvals, neighborindex] = sort(d,1); % get sorted distances
查看neighborvals 和neighborindex 矩阵，看看它们是否对您有意义。第一个是早期d矩阵的排序版本，后者给出了对应的实例编号。请注意，自距离（在d 的对角线上）已浮动到顶部。我们对此不感兴趣（始终为零），因此我们将在下一步中跳过第一行。
assignedClasses = mode(neighborclasses(2:1+k,:),1);
所以我们在 k 个最近邻中分配最常见的类！
您可以将分配的班级与实际班级进行比较以获得准确度分数：
accuracy = 100 * sum(classes == assignedClasses)/length(classes);
fprintf('KNN Classifier Accuracy: %.2f%%\n', 100*accuracy)
或者做一个混淆矩阵，看看分类的分布：
confusionmat(classes, assignedClasses)
【讨论】：
pdist2，但我会更新我的答案:)
是的，knn 有一个函数：knnclassify
调整您想要保留的邻居数量以获得最佳结果（使用混淆矩阵）。当然，这个函数会处理距离。
【讨论】：
knnclassify 可能是 OP 使用最方便的东西。所以+1有用的功能和示例链接:)