《机器学习导论-第7章集成学习.ppt》由会员分享，可在线阅读，更多相关《机器学习导论-第7章集成学习.ppt（32页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第7章章 集成学习集成学习n熟悉熟悉Bagging与与Boosting集成学集成学习习方法的基本思想，以及两者方法的基本思想，以及两者的异同点。的异同点。n熟悉基学熟悉基学习习器的器的组组合策略。合策略。n掌握掌握AdaBoost、梯度提升决策、梯度提升决策树树（GBDT）、随机森林的工）、随机森林的工作原理。作原理。n熟悉熟悉AdaBoost、GBDT、随机森林的、随机森林的优优缺点及适用缺点及适用场场合。合。n了解随机森林和了解随机森林和GBDT模型的区模型的区别别。本章学习目标本章学习目标n7.1 集成学习概述集成学习概述n7.2 AdaBoost算法算法n7.3 梯度提升决策树（梯度
2、提升决策树（GBDT）n7.4 随机森林和极端随机树随机森林和极端随机树第第7章章 集成集成学习学习n集成学集成学习习算法的算法的发发展展过过程程n1979年，年，Dasarathy和和 Sheela首次提出集成学首次提出集成学习习思想。思想。n1990年年，Hansen 和和 Salamon 展展示示了了一一种种基基于于神神经经网网络络的的集集成成模型，模型，该该集成模型具有更低的方差和更好的泛化能力。集成模型具有更低的方差和更好的泛化能力。n1990年年，Schapire证证明明了了通通过过 Boosting 方方法法可可以以将将弱弱分分类类器器组组合合成成一一个个强强分分类类器器。此此后
3、后，集集成成学学习习研研究究得得到到迅迅猛猛发发展展，出出现现了了许许多新多新颖颖的思想和模型。的思想和模型。n1995年，年，Freund 和和 Schapire提出了提出了 AdaBoost算法。算法。n1996年年，Breiman提提出出了了 Bagging 算算法法，该该算算法法从从另另一一个个角角度度对对基学基学习习器器进进行行组组合。合。n2001年，年，Breiman提出了随机森林算法。提出了随机森林算法。n7.1 集成学习概述集成学习概述n集成学集成学习习的的基本框架基本框架7.1 集成学习概述集成学习概述n集成学集成学习习需要解决需要解决的的主要主要问题问题n如何如何训练训练
4、得到若干个个体学得到若干个个体学习习器？器？n如如何何选选择择一一种种组组合合策策略略将将这这些些个个体体学学习习器器进进行行组组合合构构成成一一个个强强学学习习器？器？7.1 集成学习概述集成学习概述n集成集成学学习习方法分方法分类类n基于基于Boosting（提升）的方法（提升）的方法：n基于基于Bagging（装袋）的方法（装袋）的方法：7.1 集成学习概述集成学习概述AdaBoost梯度提升决策梯度提升决策树树（GBDT）XGBoost（eXtreme Gradient Boosting）LightGBM随机森林（随机森林（Random Forest）极端随机极端随机树树（Extrem
5、ely randomized trees，Extra-Trees）n7.1.1 Boosting7.1 集成学习概述集成学习概述n提出问题提出问题:n强学习算法强学习算法:准确率很高的学习算法准确率很高的学习算法n弱学习算法弱学习算法:准确率不高，仅比随机猜测略好准确率不高，仅比随机猜测略好n是否可以将弱学习算法提升为强学习算法？是否可以将弱学习算法提升为强学习算法？n基本思想：基本思想：n每个样本都赋予一个权重每个样本都赋予一个权重nT次迭代，每次迭代后，对分类错误的样本加大权重，次迭代，每次迭代后，对分类错误的样本加大权重，使得下一次的迭代更加关注这些样本。使得下一次的迭代更加关注这些样本
6、。nAdaBoostnAdaBoost.M1nAdaBoost.M2nn7.1.1 Boosting7.1 集成学习概述集成学习概述n7.1.2 Bagging7.1 集成学习概述集成学习概述n基基本本思思想想：对对原原始始训训练练样样本本集集采采用用自自助助随随机机采采样样（Boostrap Sampling）法法（即即有有放放回回地地随随机机采采样样），产产生生 个个新新的的训训练练样样本本子子集集，以以此此分分别别训训练练 个个基基学学习习器器，最最后后采采用用某某种种组组合合策略集成策略集成为为强强学学习习器。器。n7.1.2 Bagging7.1 集成学习概述集成学习概述n7.1.3
7、 Boosting 和和 Bagging的比的比较较7.1 集成学习概述集成学习概述n训练训练子集的子集的选择选择nBoosting：训训练练子子集集的的选选择择不不是是独独立立的的，在在每每一一轮轮迭迭代代过过程程中中，对对训训练练基基学学习习器器所所用用的的训训练练子子集集的的选选择择都都与与前前一一个个基基学学习习器器的的预预测结测结果果有关有关。nBagging：训训练练子子集集的的选选择择是是独独立立的的，采采用用自自助助随随机机采采样样法法从从原原始始训练样本集中有放回地选取训练样本集中有放回地选取。n基学基学习习器之器之间间的依的依赖赖性性nBoosting：各各个个基基学学习习
8、器器之之间间存存在在依依赖赖性性，只只能能串串行行依依次次训训练练基基学习器学习器。nBagging：各各个个基基学学习习器器之之间间不不存存在在依依赖赖性性，可可以以并并行行训训练练基基学学习器。习器。n7.1.3 Boosting 和和 Bagging的比的比较较7.1 集成学习概述集成学习概述n基基学学习习器的器的组组合方式合方式nBoosting：采采用用线线性性加加权权方方式式进进行行组组合合，每每个个基基学学习习器器都都有有相相应应的权重，对于错误率小的基学习器会有更大的权重的权重，对于错误率小的基学习器会有更大的权重。nBagging：对对于于分分类类问问题题，通通常常使使用用简
9、简单单投投票票法法；对对于于回回归归问问题题，通常使用简单通常使用简单平均法。平均法。n偏差偏差-方差方差nBoosting：基学习器通常选择具有高偏差、低方差的弱学习基学习器通常选择具有高偏差、低方差的弱学习器器。nBagging：基学习器通常基学习器通常选择具有低偏差、高方差的选择具有低偏差、高方差的弱学习弱学习器。器。n7.1 集成学习概述集成学习概述n7.2 AdaBoost算法算法n7.3 梯度提升决策树（梯度提升决策树（GBDT）n7.4 随机森林和极端随机树随机森林和极端随机树第第7章章 集成集成学习学习7.2 AdaBoost算法算法nAdaBoost是是Adaptive Bo
10、osting的的缩缩写写nAdaboost是一种迭代算法，其是一种迭代算法，其核心思想核心思想是是针对针对同一个同一个训练训练集集训练训练不同的分不同的分类类器（弱分器（弱分类类器），然后把器），然后把这这些弱些弱分分类类器器组组合合（boost）起来起来，构成一个更，构成一个更强强的最的最终终分分类类器（器（强强分分类类器）。器）。nAdaBoost算算法法中中不不同同的的训训练练集集是是通通过过调调整整每每个个样样本本对对应应的的权权重重来来实实现现的的。开开始始时时，每每个个样样本本对对应应的的权权重重是是相相同同的的，在在此此样样本本分分布布下下训训练练出出一一个个弱弱分分类类器器。对
11、对于于分分类类错错误误的的样样本本，加加大大其其对对应应的的权权重重；而而对对于于分分类类正正确确的的样样本本，降降低低其其权权重重，这这样样分分错错的的样样本本就就被被突突显显出出来来，从从而而得得到到一一个个新新的的样样本本分分布布。在在新新的的样样本本分分布布下下，再再次次训训练练出出一一个个弱弱分分类类器器。依依次次类类推推，经经过过T次次循循环环，得得到到T个个弱弱分分类类器器，把把这这T个个弱弱分分类类器器按按一一定定的的权权重重组组合合起起来来，得得到到最最终终的的强强分分类类器。器。7.2 AdaBoost算法算法nAdaBoost算法步算法步骤骤n初始化初始化训练样本的训练样
12、本的权权重重分布分布，每个样本具有相同权重；，每个样本具有相同权重；n训训练练一一个个弱弱分分类类器器，如如果果样样本本分分类类正正确确，则则在在构构造造下下一一个个训训练练集集中，它的中，它的权权重重就就会被降低；会被降低；反之反之，提高样本提高样本的权的权重重。n用用更新过的样本集去训练下一更新过的样本集去训练下一个个弱弱分类器分类器；n各各个个弱弱分分类类器器的的训训练练过过程程结结束束后后，加加大大分分类类误误差差率率小小的的弱弱分分类类器器的权重，降低分类误差率大的弱分类器的的权重，降低分类误差率大的弱分类器的权重权重；n将所有弱分类组合成强将所有弱分类组合成强分类器。分类器。弱分类
13、器弱分类器1提高权重提高权重弱分类器弱分类器3提高权重提高权重弱分类器弱分类器2强强分类器分类器7.2 AdaBoost算法算法7.2 AdaBoost算法算法n7.1 集成学习概述集成学习概述n7.2 AdaBoost算法算法n7.3 梯度提升决策树（梯度提升决策树（GBDT）n7.4 随机森林和极端随机树随机森林和极端随机树第第7章章 集成集成学习学习7.3 梯度提升决策树（梯度提升决策树（GBDT）n梯梯度度提提升升决决策策树树（Gradient Boosting Decison Tree，GBDT）以以CART回回归树归树为为基学基学习习器器。n训训练练模模型型时时采采用用前前向向分分
14、步步拟拟合合算算法法进进行行迭迭代代，通通过过构构建建多多棵棵CART回回归树归树，并将它，并将它们们的的输输出出结结果果进进行行组组合得到最合得到最终终的的结结果。果。n在在训训练练每每一一棵棵CART回回归归树树时时，都都是是用用之之前前的的CART回回归归树树的的预预测测结结果果与与真真实实值值之之间间的的残残差差作作为为输输入入数数据据来来拟拟合合，通通过过不不断断的的迭迭代代逐逐步步减减小小残残差差，最最后后，将将每每一一轮轮构构建建的的CART回回归归树树的的预预测测结结果果进进行行累加累加，得到最，得到最终终的的预测值预测值。n前向分前向分步步拟拟合算法合算法7.3 梯度提升决策
15、树（梯度提升决策树（GBDT）初始化提升树真实值损失函数备注：损失函数选择：如分类用指数备注：损失函数选择：如分类用指数损失函数，回归损失函数，回归使用平方误差损失。使用平方误差损失。7.3 梯度提升决策树（梯度提升决策树（GBDT）n前向分前向分步步拟拟合算法合算法7.3 梯度提升决策树（梯度提升决策树（GBDT）n平方平方误误差差损损失失7.3 梯度提升决策树（梯度提升决策树（GBDT）7.3 梯度提升决策树（梯度提升决策树（GBDT）n7.1 集成学习概述集成学习概述n7.2 AdaBoost算法算法n7.3 梯度提升决策树（梯度提升决策树（GBDT）n7.4 随机森林和极端随机树随机森
16、林和极端随机树第第7章章 集成集成学习学习7.4 随机森林和极端随机随机森林和极端随机树树n7.4.1 随机森林随机森林n随随机机森森林林是是一一种种基基于于Bagging的的集集成成学学习习模模型型，将将若若干干棵棵决决策策树组树组合成森林用来合成森林用来预测预测最最终结终结果果。n在在随随机机森森林林模模型型中中，通通常常默默认认采采用用分分类类与与回回归归树树（CART）作作为为Bagging中的基学中的基学习习器器。n随随机机森森林林除除了了对对样样本本进进行行随随机机采采样样，还还在在树树的的生生成成时时引引入入了了随随机特征机特征选择选择。7.4 随机森林和极端随机随机森林和极端随
17、机树树n7.4.1 随机森林随机森林数据集数据集自助采自助采样样自助采自助采样样自助采自助采样样Bootstraping7.4 随机森林和极端随机随机森林和极端随机树树n7.4.1 随机森林随机森林n随随机机选选择择样样本本和和 Bagging 相相同同，采采用用的的是是 Bootstraping 自自助助采采样样法法；随随机机选选择择特特征征是是指指在在每每个个节节点点在在分分裂裂过过程程中中都都是是随随机机选选择择特特征征的的（区区别别于于每每棵棵树树随随机机选选择择一批特征）。一批特征）。n这这种种随随机机性性导导致致随随机机森森林林的的偏偏差差会会有有稍稍微微的的增增加加（相相比比于于
18、单单棵棵不不随随机机树树），但但是是由由于于随随机机森森林林的的“平平均均”特特性性，会会使使得得它它的的方方差差减减小小，而而且且方方差差的的减减小小补补偿偿了了偏偏差差的的增增大大，因因此此总总体体而而言言是是更更好好的的模模型。型。7.4 随机森林和极端随机随机森林和极端随机树树n7.4.2 极端极端随机随机树树n极端随机极端随机树树（Extra-Trees），也称极限），也称极限树树，是随机森林的一个，是随机森林的一个变变种种。n其其原理与随机森林算法十分相似，都是由原理与随机森林算法十分相似，都是由许许多决策多决策树树构成。构成。n极端随机极端随机树树与随机森林的与随机森林的主要区主
19、要区别别如下：如下：n对对于于单单个个决决策策树树的的训训练练集集，随随机机森森林林算算法法采采用用随随机机采采样样来来选选择择部部分分样样本本作作为为每每个个决决策策树树的的训训练练集集，而而极极端端随随机机树树不不进进行行采采样样，直直接接使使用用整整个个原原始始训练训练集，即使用所有的集，即使用所有的样样本，只是特征属性是随机本，只是特征属性是随机选选取的。取的。n在在选选择择特特征征划划分分点点时时，随随机机森森林林中中的的CART决决策策树树会会基基于于基基尼尼指指数数或或标标准准差差最最小小等等原原则则来来选选择择一一个个最最优优的的特特征征划划分分点点生生成成决决策策树树，而而极极端端随随机机树树是随机地是随机地选择选择一个特征划分点来生成决策一个特征划分点来生成决策树树。Question?