1.预剪枝的目的:提升决策树的泛化性能

 

决策树预剪枝(3)

2.预剪枝的做法:

将数据划分为训练集和验证集

在划分每个节点之前进行评估,若当前节点的划分不能提升泛化性能,则停止划分,并将其标记为叶节点;

                   若当前节点的划分能够提升泛化性能(从信息增益 or 其他方式 选择最优属性),则继续划分;

 

3.如何判断泛化性能是否提升:

用留出法(机器学习-性能评估方法,2.2)划分验证集|训练集 进行验证:

当前节点不划分:计算当前验证集精度

当前节点划分   :计算划分后验证集精度

若 划分前>=划分后,则选择不划分。

决策树预剪枝(3)

       决策树预剪枝(3)

           决策树预剪枝(3)

 

 

 

4.预剪枝的缺陷

预剪枝采用贪心的策略,禁止了某些策略的展开,探索的范围变小了,带来欠拟合的风险

5.预剪枝的优点

采用贪心的策略,减少训练和测试时间的开销,降低过拟合风险

 

参考书籍:机器学习 --- 周志华

相关文章:

  • 2022-01-11
  • 2021-06-28
  • 2021-09-11
  • 2022-12-23
  • 2021-04-25
  • 2021-07-14
  • 2021-08-05
  • 2021-11-05
猜你喜欢
  • 2021-12-25
  • 2021-05-10
  • 2021-07-03
  • 2021-09-10
相关资源
相似解决方案