集成算法（二）
随机森林
在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 “Random Forests” 是他们的商标。 这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。这个方法则是结合 Breimans 的 “Bootstrap aggregating” 想法和 Ho 的"random subspace method"以建造决策树的集合。
简介：
在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 “Random Forests” 是他们的商标。 这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。这个方法则是结合 Breimans 的 “Bootstrap aggregating” 想法和 Ho 的"random subspace method"以建造决策树的集合。
在Bagging方法中，b个学习器之间彼此是相互独立的，这样的特点使得Bagging方法更容易并行。
算法步骤：
根据下列算法而建造每棵树：
1.用N来表示训练用例（样本）的个数，M表示特征数目。
2.输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于M。
3.从N个训练用例（样本）中以有放回抽样的方式，取样N次，形成一个训练集（即bootstrap取样），并用未抽到的用例（样本）作预测，评估其误差。
4.对于每一个节点，随机选择m个特征，决策树上每个节点的决定都是基于这些特征确定的。根据这m个特征，计算其最佳的分裂方式。
5.每棵树都会完整成长而不会剪枝，这有可能在建完一棵正常树状分类器后会被采用。
算法优点：
1。对于很多种资料，它可以产生高准确度的分类器；可以处理大量的输入变数；可以在决定类别时，评估变数的重要性；
2.在建造森林时，它可以在内部对于一般化后的误差产生不偏差的估计；
3.它包含一个好方法可以估计遗失的资料，并且，如果有很大一部分的资料遗失，仍可以维持准确度；它提供一个实验方法，可以去侦测variable interactions；
4.对于不平衡的分类资料集来说，它可以平衡误差；可被延伸应用在未标记的资料上，这类资料通常是使用非监督式聚类。也可侦测偏离者和观看资料；
5.学习过程是很快速的。
相关概念：
1.分裂：在决策树的训练过程中，需要一次次的将训练数据集分裂成两个子数据集，这个过程就叫做分裂。
2.特征：在分类问题中，输入到分类器中的数据叫做特征。以上面的股票涨跌预测问题为例，特征就是前一天的交易量和收盘价。
3.待选特征：在决策树的构建过程中，需要按照一定的次序从全部的特征中选取特征。待选特征就是在目前的步骤之前还没有被选择的特征的集合。例如，全部的特征是 ABCDE，第一步的时候，待选特征就是ABCDE，第一步选择了C，那么第二步的时候，待选特征就是ABDE。
4.分裂特征：接待选特征的定义，每一次选取的特征就是分裂特征，例如，在上面的例子中，第一步的分裂特征就是C。因为选出的这些特征将数据集分成了一个个不相交的部分，所以叫它们分裂特征。
-------------------------------------------------------------------------------------------------------------------------------------------------
问：随机森林随机在哪里？
1.随机森林是一种组合方法，由许多的决策树组成，对于每一颗决策树，随机森林采用的是有放回的对N个样本分N次随 机取出N个样本，即这些决策树的形成采用了随机的方法，因此也叫做随机决策树。随机森林中的树之间是没有关联 的。当测试数据进入随机森林时，其实就是让每一颗决策树分别进行分类，最后取所有决策树中分类多的那类为最终 的结果。
2.随机森林的另一个"随机"点是对于每一个决策树，节点是按照从样本所有属性中随机抽取一定数量的属性进行分裂 的，并不是对所有属性进行考量，按照这种思路，其中不同的决策树就拥有了对样本中某些属性强有力判断的能力， 相当于每一颗决策树就是一个精通某些特定领域的专家，所有这些专家组合起来形成“强分类器”对样本进行投票。