【发布时间】：2015-04-22 23:37:20
【问题描述】：
我刚收到一个面试问题。
“假设你想建立一个统计或机器学习模型，但你手头的数据非常有限。你的老板告诉你可以多次复制原始数据，以获得更多用于构建模型的数据”有帮助吗？
直观地说，它并没有帮助，因为复制原始数据不会创建更多“信息”来提供模型。
但是有没有人可以更统计地解释它？谢谢
【问题讨论】：
标签： machine-learning statistics data-mining
【发布时间】：2015-04-22 23:37:20
【问题描述】：
考虑例如方差。具有重复数据的数据集将具有完全相同的方差 - 之后您没有更精确的分布估计。
但是，也有一些例外。例如，引导验证有助于评估您的模型，但您的数据非常少。
【讨论】：
嗯，这取决于“复制数据”的确切含义。
如果将整个数据集精确复制多次，则基于最大似然的方法（与许多常用模型一样）必须找到完全相同的结果，因为复制数据的对数似然函数恰好是不重复数据的对数似然的倍数，因此具有相同的最大值。 （这个论点不适用于不基于似然函数的方法；我相信 CART 和其他树模型以及 SVM 就是这样的模型。在这种情况下，你将不得不制定一个不同的论点。）
但是，如果通过复制，一种方法是复制分类问题中的正例（这很常见，因为负例通常比正例多得多），那么这确实会有所不同，因为似然函数已被修改.
此外，如果一个意味着引导，那么这也会产生影响。
PS。您可能会在 stats.stackexchange.com 上对这个问题更感兴趣。
【讨论】：