我对这一切都很陌生，我对这个过程的逻辑有一点心理障碍。我正在尝试使用当前和已经流失客户的数据库来预测客户流失。到目前为止我有
1) 获取当前客户和已流失客户的完整客户数据库以及客户服务变量等用于预测。
2) 将数据集随机 70/30 分成训练和测试
3) 使用 R，我训练了一个随机森林模型来预测做出预测，然后使用混淆矩阵与实际状态进行比较。
4) 我已经使用测试数据运行了该模型，以检查识别流失者的准确性
我现在有点困惑。我现在想做的是获取我们所有当前的客户并预测哪些客户会流失。我是否做错了这一切，因为我需要预测的很多当前客户是否会在模型出现在训练集中时已经被模型看到？
我是否应该使用不属于我需要对其进行预测的数据集的一部分的训练和测试集？
非常感谢您的帮助。
【问题讨论】：
标签： r machine-learning random-forest
在我看来，您遇到了标准的训练-测试-验证集问题。如果我理解正确，您想测试您的模型（随机森林）对您拥有的所有数据的性能。
执行此操作的标准课堂方式确实是您已经做过的：拆分数据集，例如 70% 的训练集和 30% 的测试/验证集，使用训练集训练模型并使用测试集进行测试。
测试（和预测所有数据）的更好方法是使用交叉验证来执行分析 (https://en.wikipedia.org/wiki/Cross-validation_(statistics))。交叉验证的一个示例是 10 折交叉验证：您将数据拆分为 10 个相同大小的块，循环遍历所有块，每次迭代使用剩余的 9 个块来训练您的模型并在特定条件下测试模型块。
交叉验证最终得到的是对模型性能以及数据库中所有客户的结果的更全面的了解。交叉验证减少了由于随机选择测试集而导致的分析错误。
希望这会有所帮助！
【讨论】：
据我所知，我觉得你想知道你是否在训练和测试集中使用重叠的例子完成了正确的事情。您首先需要了解您需要将训练集与测试集分开。由于您的模型参数基于您的培训集来计算，对于测试集中的类似示例，模型将为您提供正确的预测，因此您的准确性肯定会对这些常见的培训和测试设置示例产生积极影响，但不是正确的做法。您的测试集应始终包含以前的未经看法，以便正确评估算法的性能。 如果您当前的客户（您想要测试您的模型）已经存在培训集中，您希望将它们留在测试过程中。我建议您根据客户ID等一些唯一标识符（如果存在）在培训设置客户和当前客户之间进行检查，并将普通客户留出您的新鲜批次检测示例。 p >
【讨论】：