机器学习入门必读:6种简单实用算法及学习曲线、思维导图( 六 )

所谓集成学习就是使用一系列学习器进行学习 , 并使用某种规则把各个学习结果进行整合 , 从而获得比使用单个学习器更好的学习效果的一种机器学习方法 。 一般情况下 , 集成学习中的多个学习器都是同质的“弱学习器” 。

集成学习的主要思路是先通过一定的规则生成多个学习器 , 再采用某种集成策略进行组合 , 然后综合判断输出最终结果 。

一般而言 , 通常所说的集成学习中的多个学习器都是同质的“弱学习器” 。 基于该“弱学习器” , 通过样本集扰动、输入特征扰动、输出表示扰动、算法参数扰动等方式生成多个学习器 , 进行集成后获得一个精度较好的“强学习器” 。

最著名的集成算法就是Boosting类算法 , 包括AdaBoosting等常用算法 。 这类算法需要同时训练多个模式 , 基本思路就是根据训练时的正确率和错误率调整不同学习器的权重 , 最终预测时使用带权重的投票法产生最终结果 。

推荐阅读