KNN 决策边界

Question

我有两个班级：

x={-3,-2,1}  //represented by *
y={0,5,6,7}  //represented by x

如果k=3，如何确定决策边界？

           *    *         x    *                   x    x    x                   
 |    |    |    |    |    |    |    |    |    |    |    |    |
-5   -4   -3   -2   -1    0    1    2    3    4    5    6    7

假设正确答案是 1.5，介于 1 和 2 之间。它是如何工作的？

Answer 1

KNN 算法通过查看 K 个最近邻、查看它们的标签并将多数（最受欢迎）标签分配给新的观测值来对新观测值进行分类。

对于 K=3 的 KNN，任何 *，任何 > 1.5 将被归类为 x。

您可以通过尝试几个示例来了解这一点。假设您需要对 1 的值进行分类。三个最近的邻居是 1 处的 *、0 处的 x 和 -2 处的 *。由于有两个* 和一个x，1 将被归类为*。

现在假设您要对 2 进行分类。这里，三个最近的邻居是 0 处的 x、1 处的 * 和 5 处的 x。所以 2 会被归类为x。

KNN 过程隐含地定义了一个决策边界。我所知道的确定它的最佳方法是尝试一堆示例并寻找观察分类从一个类变为另一类的过渡边界。在您的示例中，这看起来像这样：

-5 -> *
-4 -> *
-3 -> @987654335 @
-2 -> *
-1 -> *
0 -> @987654338 @
1 -> *
2 -> x
3 -> x4 -> x

您可以在示例中看到这一点 - 决策边界介于 1 和 2 之间。因此是 1.5 答案。