如何评估和分析机器学习算法的性能？

Question

对不起，如果我的问题听起来太天真了……我对机器学习和回归真的很陌生 我最近以硕士生的身份加入了一个机器学习实验室。我的教授希望我在实验室即将提交的关于他们开发的回归算法的论文中写下“实验和分析”部分。 问题是我不知道我要做什么他说算法稳定且完整，他们已经写了论文的第一部分，我需要写评估部分。 我真的不知道该怎么办。我参与了算法的编码，我对它非常了解，但我不知道为了评估和分析它的性能我必须采取哪些任务。 - 我在哪里获取数据？ - 测试过程是什么？ - 要进行哪些分析？ 我是研究和论文写作的新手，真的不知道该怎么做。 我最近读了很多论文，但我没有分析 ML 算法的经验。 请您指导我并解释（新手级别）该过程。 详细的答案不胜感激
谢谢

Answer 1

• 您将需要一个测试数据集来评估性能。如果你 没有那个，划分你的训练数据集（你目前 运行这个算法）到训练集和交叉验证集 （不重叠）。

  通过剥离预测（y 值）来创建测试集 交叉验证集。

  使用训练数据集运行算法以训练模型。

  训练完模型后，使用剥离的模型测试其性能 关闭“测试集”。

  要评估性能，您可以使用 RMSE（均方根 误差）指标。您将需要使用您的预测 为测试集中的每个样本及其算法 相应的实际预测（您之前剥离的 输入测试集）。您可以找到更多信息here。

Answer 2

机器学习模型评估

看看this paper。它是为没有计算机科学背景的人编写的，所以应该很容易理解。它涵盖：

• 模型评估工作流程

• 坚持验证

• 交叉验证

  • k 折交叉验证
  • 分层k折交叉验证
  • 留一法交叉验证
  • leave-p-out 交叉验证
  • leave-one-group-out 交叉验证

• 嵌套交叉验证