贝叶斯优化在XGBoost及随机森林中的使用

uncle_ll 2019-07-15

云智能前沿

XGBoost和Random-Forest(RF,随机森林)都属于集成学习(Ensemble Learning),集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性,通过组合各个决策树的输出来进行预测(分类或回归)。而集成学习按照个体学习器的生成方式,可以大致分为两类:一类是个体学习器之间存在强依赖关系,必须串行生成序列的方法;以及个体学习器之间不存在强依赖关系,可同时生成的并行化方法。前者的代表就是XGBoost,后者的代表是Random-Forest。

在这篇文章中,将尝试解释如何使用XGBoost和随机森林这两种非常流行的贝叶斯优化方法,而不仅仅是比较这两种模型的主要优点和缺点。

XGBoost vs Random Forest

XGBoost

XGBoost每次构建一个决策树,每个新树校正由先前训练的

登录 后评论
下一篇
我是小助手
31899人浏览
2019-07-31
相关推荐
机器学习必备手册
16409人浏览
2017-10-03 00:04:40
机器学习的入门“秘籍”
10730人浏览
2017-09-12 15:52:51
机器学习常用算法
1062人浏览
2017-07-19 14:59:00
机器学习算法选择
791人浏览
2017-11-16 18:24:00
AutoML数据增广
4578人浏览
2019-04-26 13:48:29
0
0
0
357