在 Weka 中级联分类器的错误方法

Question

我有一个包含两个类的数据集，并试图使用 Weka 获得最佳分类器。我能获得的最佳分类器的准确率约为 79%。然后我尝试通过对数据进行分类并将此分类生成的概率分布保存在数据本身中来为我的数据添加属性。 当我对修改后的数据重新运行训练过程时，我得到了超过 93% 的准确率！！我确定这是错误的，但我不知道为什么。 这些是我经历的确切步骤：

1. 在 Weka 中打开数据。
2. 点击添加过滤器并从Supervised->attribute中选择AddClassification。
3. 选择一个分类器。我使用默认设置选择J48。
4. 将“输出分类”设置为 false，并将 Output Distribution 设置为 true。
5. 运行过滤器并将类恢复为您原来的名义类。请注意添加到属性列表末尾的附加属性。它们将具有以下名称：distribution_yourFirstClassName 和 distribution_yourSecondClassName。
6. 转到分类选项卡并选择一个分类器：我再次选择了J48。
7. 运行它。在这一步中，我发现比以前更加准确。

这是创建分类器的有效方法吗？我不是通过在原始数据中添加分类信息来“作弊”吗？如果它是有效的，人们将如何继续创建一个可以预测未标记数据的分类器？它如何添加附加属性（分布）？

我确实尝试使用FilteredClassifier 重现相同的效果，但没有成功。 谢谢。

Answer 1

您似乎已经采取的过程似乎有点接近 Stacking ensemble 方法，其中分类器输出用于生成 ensemble 输出（更多关于 here）。

但是，在您的情况下，属性和先前训练的分类器输出被用于预测您的类别。很可能第二个 J48 模型的大部分规则将基于第一个（因为类输出与 J48 的相关性比其他属性更强），但需要进行一些微调以提高模型准确性。在这种情况下，使用“两个头优于一个”的概念来提高模型的整体性能。

但这并不是说一切都很好。如果您需要将 J48 用于不可见的数据，那么您将无法使用与您的属性相同的 J48（除非您之前保存了它）。此外，您通过使用多个分类器而不是单个 J48 来添加更多处理工作。还需要根据您正在解决的问题考虑这些成本。

希望这会有所帮助！

Answer 2

好的，这就是我进行级联学习的方法：

1. 我有数据集 D，没有重复地分成 10 个大小相等的分层折叠（D1 到 D10）。
2. 我应用算法 A1 在 D1 到 D9 上训练分类器 C1，然后就像您一样，在 D10 上应用 C1 来为我提供正负类的额外分布。我将此 D10 与另外两个（或更多，取决于您希望包含在 D10 中的 C1 中的哪些信息）属性/功能命名为 D10_new。
3. 接下来，我应用相同的算法在 D1 到 D8 和 D10 上训练分类器 C2，然后就像您一样，在 D9 上应用 C2 来为我提供正负类的额外分布。我将此带有附加属性/功能的 D9 命名为 D9_new。
4. 通过这种方式，我将 D1_new 创建到 D10_new。
5. 然后我在这些 D1_new 到 D10_new 上应用了另一个分类器（可能使用算法 A2）来预测标签（10 倍 CV 是一个不错的选择）。

在此设置中，您消除了在测试之前查看数据的偏见。此外，建议 A1 和 A2 应该不同。