《机器学习之模型评估与模型选择教学提纲.ppt》由会员分享，可在线阅读，更多相关《机器学习之模型评估与模型选择教学提纲.ppt（25页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、机器学习之模型评估与模型选择过拟合 vs 欠拟合模型选择三个关键问题：如何获得测试结果 评估方法如何评估性能优劣 性能度量如何判断实质差别 比较检验评估方法关键：怎么获得“测试集”？原则：测试集与训练集“互斥”常见方法：留出法（hold-out）交叉验证法（cross validation）自助法（bootstrap）留出法保持数据分布一致性（例如：分层采样）多次重复划分（例如：100次随机划分）测试集不能太大、不能太小（例如：1/51/3）K-折交叉验证法当K=m时，则得到“留一法”（leave-one-out,LOO）自助法基于“自助采样”（bootstrap sampling）Pull
2、up by your own bootstraps有放回采样、可重复采样训练集与原样本集同规模数据分布有所改变约有36.8%的样本不出现包外估计：out-of-bag estimation模型选择三个关键问题：如何获得测试结果 评估方法如何评估性能优劣 性能度量如何判断实质差别 比较检验性能度量性能度量（performance measure）是衡量模型泛化能力的评价标准，反映了任务需求使用不同的性能度量往往会导致不同的评判结果什么样的模型是“好”的，不仅取决于算法和数据，还取决于任务需求。性能度量回归任务分类任务错误率与精度查准率、查全率与F1回归模型评估有三种方法，分别是：平均绝对值误差、
3、均方误差和R平方值（1）平均绝对误差（MAE）就是指预测值与真实值之间平均相差多大（2）均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE。值越小，说明预测模型描述实验数据具有更好的精确度。（3）R平方值，表征回归方程在多大程度上解释了因变量的变化，或者说方程对观测值的拟合程度如何性能度量错误率与精度错误率精度性能度量查准率与查全率查准率：precision，准确率，P预测结果中是正例的比率查全率：recall，sensitivity,召回率，R所有的正例中被正确预测出的比列True Positive Rate,TPR,(Sensitivity)True Negative Rate,
4、TNR,(Specificity)Positive Predictive Value,PPVFalse Positive Rate,FPRFalse Negative Rate,FNRFalse Discovery Rate,FDRPR图：学习器A优于学习器C学习器B优于学习器C学习器A？学习器B平衡点(BEP)（Break-Even Point,）学习器A优于学习器B学习器A优于学习器C学习器B优于学习器C性能度量F1度量性能度量ROC与AUChttps:/ and Random Forest集成学习随机森林Bagging 策略bootstrap aggregation 从样本集中重采样(有
5、重复的)选出n个样本在所有属性上，对这n个样本建立分类器(ID3、C4.5、CART、SVM、Logistic回归等)重复以上两步m次，即获得了m个分类器将数据放在这m个分类器上，最后根据这m个分类器的投票结果，决定数据属于哪一类随机森林在bagging基础上做了修改。从样本集中用Bootstrap采样选出n个样本；从所有属性中随机选择k个属性，选择最佳分割属性作为节点建立CART决策树；重复以上两步m次，即建立了m棵CART决策树这m个CART形成随机森林，通过投票表决结果，决定数据属于哪一类投票机制简单投票机制一票否决(一致表决)少数服从多数有效多数(加权)阈值表决贝叶斯投票机制但也可以使用SVM、Logistic回归等其他分类器，习惯上，这些分类器组成的“总分类器”，仍然叫做随机森林。此此课件下件下载可自行可自行编辑修改，修改，仅供参考！供参考！感感谢您的支持，我您的支持，我们努力做得更好！努力做得更好！谢谢