具有类不平衡和类重叠的多类数据集的散点图

Question

我正在使用 Weka 开发用于检测语义关系的分类器。假设我有一个多类数据集。数据集首先包含 4 个数字特征（可能超过 4 个）和一个类属性，其中有效的类属性值为“HYPERNYM”、“SYNONYM”或“NO”，即三个类。因此，实例的示例可能是：

   feat1   feat2   feat3   feat4   class
    ....
    0.32    0.45    0.15      5       NO
    0.26    0.48    0.93     20       HYPER
    0.65    0.32    0.43     13       NO
    0.43    0.19    0.89     45       SYN
    ...

这是一个典型的分类问题。但是，我们必须考虑到数据集是由class imbalance problem 造成的（这是机器学习中的一个问题，即一类数据（正）的总数远小于另一类数据（负）的总数）和类重叠（不同类的示例具有非常相似的特征）。

问题是：How can I represent each instance in a graph 2D, in a way that I can visualize the degree of overlapping between classes?

我找到了a picture which illustrates a possible example of graph，就像一个散点图。但是，我不知道如何绘制这个。

有没有一种简单的方法来制作相似的图形，但在 R 中或使用 Weka？

Answer 1

您可以先使用Multidimensional Scaling (MDS) 来减少数据的维度，然后再绘制它。此方法尝试在投影到较低维度时保留点之间的距离。

这里是 R 中鸢尾花数据集的示例

data <- iris
colors <- as.integer(as.factor(data$Species))
d <- dist(data[,1:4])
fit <- cmdscale(d,k=2)# k is the resulting dimension
x <- fit[,1]
y <- fit[,2]
plot(x, y, xlab="Coordinate 1", ylab="Coordinate 2", main="MDS", pch=19, col=colors)

或者您也可以将其缩减为 3 维并使用 scatterplot3d 库进行绘制。

fit <- cmdscale(d,k=3)# k is the resulting dimension
x <- fit[,1]
y <- fit[,2]
z <- fit[,3]
scatterplot3d(x,y,z, color = colors, pch = 19)

关于类不平衡问题，我不知道你想如何在散点图中表示它。也许通过增加少数类点的大小。