【问题标题】:Inconsistency in cross-validation results交叉验证结果不一致
【发布时间】:2013-02-21 14:31:55
【问题描述】:

我有一组从受试者执行某些特定认知任务时记录的数据集。数据由 16 个通道和每个通道的多个样本点组成,我想根据正在执行的认知任务对这些数据进行分类(所有内容都已标记)。

问题是我没有大量数据(每个会话大约 60 次试验,每个认知任务 30 次)并且我有 2 个会话。我正在尝试训练一个线性判别分析(LDA)分类器来分类这些数据。稍后将实时使用分类器,为每个样本数量提供某种形式的输出。

我使用 5 折交叉验证来衡量我的分类器的泛化误差。问题是当我多次运行这个 5 折交叉验证时,我得到的结果根本不是恒定的。相反,整体准确度存在显着差异(例如,前 5 次交叉验证可能产生 80% 的平均准确度,第二次产生 65% 的准确度,第三次产生平均 72% 等......)。这是正常的吗?如果不是,可能是什么原因?

【问题讨论】:

  • LDA 将您的数据投影到另一个坐标系并减小维度。您如何使用它进行分类?

标签: machine-learning cross-validation


【解决方案1】:

听起来您可能有一些错误的数据,或者您的分类器过度拟合。您可以执行 Leave-one-out 交叉验证并记录您的结果。它可以帮助找到可能使结果产生偏差的数据。

【讨论】:

    猜你喜欢
    • 2018-12-01
    • 2017-12-22
    • 2018-09-16
    • 2017-09-01
    • 2021-04-23
    • 2018-03-30
    • 1970-01-01
    • 2020-12-05
    • 2014-09-13
    相关资源
    最近更新 更多