我正在学习集成机器学习，当我在网上阅读一些文章时，我遇到了2个问题。
1.
在这个article，它提到
相反，模型 2 在所有数据上的整体性能可能更好 点，但它在这组点上的性能更差 模型 1 更好。这个想法是将这两个模型结合起来 表现最好。这就是为什么创建样本外预测具有 捕获每个模型的不同区域的机会更高 表现最好。
但我还是不明白，为什么不训练所有的训练数据可以避免这个问题？
2.
从这个article，在预测部分，它提到
简单地说，对于给定的输入数据点，我们需要做的就是传递它 通过 M 个基础学习器得到 M 个预测，然后发送 通过元学习器的那 M 个预测作为输入
但是在训练过程中，我们使用k-fold训练数据来训练M个base-learner，那么我是否也应该根据所有训练数据训练M个base-learner，以供输入预测？
【问题讨论】：
标签： python machine-learning scikit-learn data-mining ensemble-learning
集成的想法是一组弱预测器优于强预测器。因此，如果我们用不同的预测结果训练不同的模型，并使用多数规则作为我们集成的最终结果，这个结果比仅仅尝试训练一个模型要好。例如，假设数据由两种不同的模式组成，一种是线性的，一种是二次的。然后使用单个分类器可能会过度拟合或产生不准确的结果。 您可以阅读 this tutorial 了解更多关于 ensemble 以及 bagging 和 boosting 的信息。
【讨论】：
1) “但是我还是不明白，为什么不训练所有的训练数据可以避免这个问题？” - 我们将保留这些数据用于验证目的，就像我们在 K-fold 中所做的那样
2) “那么我是否也应该根据输入预测的所有训练数据训练 M 个基础学习器？” - 如果您将相同的数据提供给所有学习者，那么所有学习者的输出都将相同，并且创建它们没有任何用处。所以我们会给每个学习者一个数据子集。
【讨论】：
假设红色和蓝色是你能找到的最好的模型。
一个在区域 1 中效果更好，另一个在区域 2 中效果更好。
现在您还将训练一个分类器来预测要使用的模型，即您将尝试学习这两个区域。
在外面进行验证。如果您让两个内部模型访问元模型看不到的数据，您可能会过拟合。
【讨论】：
对于问题 1，我将证明为什么我们以相互矛盾的方式训练两个模型。 假设你用所有数据点训练一个模型。在训练过程中，只要模型看到属于红色类的数据点，它就会尝试拟合自己，以便以最小的错误对红色点进行分类。数据也是如此属于蓝色类的点。因此，在训练过程中，模型倾向于特定的数据点（红色或蓝色）。最后模型将尝试自我拟合，这样它就不会在数据点和最终模型将是一个平均模型。 但是，如果您为两个不同的数据集训练两个模型，则每个模型都将在特定数据集上进行训练，并且模型不必关心属于另一个类的数据点。
下面的比喻会更清楚。 假设有两个人专门从事两种完全不同的工作。现在当有工作时，如果你告诉他们两个人都必须做这项工作，而他们每个人都需要完成 50% 的工作。现在想想你最终会得到什么样的结果。现在还想一想，如果你告诉他们一个人应该只从事他最擅长的工作，会产生什么结果。
【讨论】：
在问题 2 中，您必须将训练数据集拆分为 M 个数据集。并且在训练期间将 M 个数据集提供给 M 个基础学习者。
【讨论】：