数据挖掘小数据集答案

【问题标题】：Data mining small datasets数据挖掘小数据集
【发布时间】：2015-11-14 04:54:57
【问题描述】：

我是数据挖掘的新手。据我了解，大多数技术旨在用于大型数据集，但我很想知道这是必须的还是一般规则。换句话说，可以在小数据集中使用数据挖掘技术吗？大多数示例都适用于小表，但有什么限制吗？为什么？

【问题讨论】：

【解决方案1】：

大多数数据挖掘技术都是统计方法。

要获得重要模式，您需要足够的数据。否则，任何措施都可能只是由于偶然性而导致的随机偏差。您拥有的数据越多，您的模式可能就越好。

但大多数数据并不是“大数据”意义上的“大”：许多方法无法扩展到真正的大数据集。在大多数情况下，您只有几千（而不是几艾字节）的数据；特别是在将数据预处理为所需格式之后。

【讨论】：

【解决方案2】：

我了解大多数技术旨在用于大数据套装，但我很想知道这是必须的还是只是一般规则。

在小型数据集上使用数据挖掘技术并不是“违反规则”，因为数据集的大小没有规则。但是，这个建议来自于效率和准确性！

假设您正在开发一个预测引擎，并且为了让您了解所有用例，您需要提出一组规则。现在数据，你正在构建你的预测模型，因此，你将数据分成两组，第一组是你的训练集，另一组是你的测试集。

您的数据集用于接受信用卡申请，您检查信用记录、年龄、收入和其他 10 个因素！然后历史上批准或拒绝的结果！

对于上一个问题，您有一组 1000 行，您用其中的 800 行训练您的系统并用 200 行进行测试。您的模型的 AUC 将是什么。不管是什么，这都是不正确的，因为你不可能涵盖所有的用例，因此你永远不会，因此，数据越大，挖掘模型就越好！

【讨论】：

【解决方案3】：

这取决于您要解决的问题。数据挖掘领域非常大，但是在机器学习技术的背景下，拥有一个“好的”数据集是极其重要的。在机器学习中，冷启动可能会导致创建的模型（=算法通过训练学习的隐含规则）不太稳健，因为训练数据量不足以概括到其他新的观察。

除了数据量，还有质量问题。如果您的数据不平衡、错误或与问题解决无关（就特征相关性而言），那么数据集大小无关紧要（否则无论如何都需要大量数据清理和规范化）。

因此，数据量是一个问题，尤其是与数据质量问题相结合时。通常，它们之间存在平衡，因为生成高质量数据是有代价的。你可以阅读更多here

【讨论】：

【解决方案4】：

您可以使用小型数据集。例如，quinlan 在他的实验中使用了 playy golf 数据集，该数据集只有 14 个示例。但在这种情况下，您需要创建或使用能够正确反映您的实验的小型数据集。

还有一点小数据集无法验证你的结果。要验证您的学习算法或训练您的模型，您需要足够的数据。您拥有的数据越多，您的模型就越准确

【讨论】：