《(5.5)--5.5 决策树算法机器学习与模式识别.ppt》由会员分享，可在线阅读，更多相关《(5.5)--5.5 决策树算法机器学习与模式识别.ppt（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Decision Tree Algorithm决策决策树算法算法CHAPTER ONE总体算法架构Overall Architecture一、总体算法结构一、总体算法结构常规决策树算法输入入 步骤1234endifendif567endifendif891011输出以node为根节点的一棵决策树returnreturn递归调用CHAPTER TWO经典决策树算法Classic Algorithms二、经典决策树算法二、经典决策树算法ID3输入入 步骤1234endifendif567endifendif89101112endforendfor输出以node为根节点的一棵决策树输入入 步骤123
2、4endifendif567endifendif89101112endforendfor13执行前剪枝（判断是否需要）输出以node为根节点的一棵决策树二、经典决策树算法二、经典决策树算法C4.5二、经典决策树算法二、经典决策树算法CART(Classification And Regression Tree)分类树结构采用二叉树结构分裂离散或连续特征均可，以基尼指数为特征选择依据。终止节点样本数量太少或不纯度已经达标剪枝后剪枝二、经典决策树算法二、经典决策树算法CART(Classification And Regression Tree)输入入 步骤1234endifendif567891
3、01112131415输出二、经典决策树算法二、经典决策树算法CART(Classification And Regression Tree)回归树如何获取回归值？设回归树的第个叶子节点记为，包含数据t=,|=1,；以节点样本回归标签的最小二乘解作为回归值：如何分裂节点？以分裂后两个节点的加权平方误差 的最小化为分裂依据：如何终止分裂?根据节点样本集回归标签方差()是否小于某一个阈值二、经典决策树算法二、经典决策树算法CART(Classification And Regression Tree)输入入 步骤1234endifendif56789101112131415输出CHAPTER THREE算法分析Algorithms Analysis三、算法分析三、算法分析三种算法对比算法算法特征特征选择剪枝剪枝处理数据理数据类型型树类型型ID3信息增益无离散多叉树C4.5信息增益比前剪枝离散、连续多叉树CART基尼指数后剪枝离散、连续二叉树结论CART的功能更全：分类、回归CART具有更好的泛化性能：二叉树，后剪枝。CART训练时间较长，计算开销较大。信息增益、信息增益比和基尼指数各有利弊总结决策树算法决策树算法ID3CART离散属性无剪枝多叉树C4.5离散、连续属性前剪枝多叉树离散、连续属性后剪枝二叉树LM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听