《实用回归分析课件.ppt》由会员分享，可在线阅读，更多相关《实用回归分析课件.ppt（37页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、5.1 残差与残差图残差与残差图 一、残差概念与残差图一、残差概念与残差图 残差 误差项 残差ei是误差项ei的估计值。5.1 残差与残差图残差与残差图一、残差概念与一、残差概念与残差图残差图*一般认为，如果一个回归模型满足所给出的一般认为，如果一个回归模型满足所给出的一般认为，如果一个回归模型满足所给出的一般认为，如果一个回归模型满足所给出的基本假定，所有残差应在基本假定，所有残差应在基本假定，所有残差应在基本假定，所有残差应在e=0e=0附近随机变化，附近随机变化，附近随机变化，附近随机变化，并在变化幅度不大的一条带子内并在变化幅度不大的一条带子内并在变化幅度不大的一条带子内并在变化幅度不
2、大的一条带子内.*如果残差都落在变化幅度不大一条带子内，如果残差都落在变化幅度不大一条带子内，如果残差都落在变化幅度不大一条带子内，如果残差都落在变化幅度不大一条带子内，也就可以说明回归模型满足基本假设也就可以说明回归模型满足基本假设也就可以说明回归模型满足基本假设也就可以说明回归模型满足基本假设.5.1 残差与残差图残差与残差图一、残差概念与一、残差概念与残差图残差图*y*y观测值的方差并非相同，随观测值的方差并非相同，随观测值的方差并非相同，随观测值的方差并非相同，随x x增加而增加增加而增加增加而增加增加而增加.【消除异方差】【消除异方差】【消除异方差】【消除异方差】5.1 残差与残差图
3、残差与残差图一、残差概念与一、残差概念与残差图残差图*y*y与与与与x x之间并非线性关系之间并非线性关系之间并非线性关系之间并非线性关系.可能可能可能可能y y与与与与x x是曲线关系是曲线关系是曲线关系是曲线关系 可能可能可能可能y y存在自相关存在自相关存在自相关存在自相关5.1 残差与残差图残差与残差图一、残差概念与一、残差概念与残差图残差图*蛛网现象蛛网现象蛛网现象蛛网现象(y(y具有自相关具有自相关具有自相关具有自相关)5.2 残差的性质残差的性质一一、残差的性质、残差的性质 性质性质1 E(ei)=0 证明:5.2 残差的性质残差的性质一一、残差的性质、残差的性质 性质性质2称称
4、为为杠杆杠杆值值 5.2 残差的性质残差的性质一一、残差的性质、残差的性质 性质性质3.残差满足约束条件:5.2 残差的性质残差的性质二二、改进的残差、改进的残差 5.3 异常值与强影响值异常值与强影响值异常值分为两种情况：一种是关于因变量y异常；另一种是关于自变量x异常。5.3 异常值与强影响值异常值与强影响值一、关于因变量一、关于因变量y的异常值的异常值标准化残差学生化残差存在y的异常观测值，普通/标准化/学生化残差都不适用5.3 异常值与强影响值异常值与强影响值5.3 异常值与强影响值异常值与强影响值可以证明：5.3 异常值与强影响值异常值与强影响值5.3 异常值与强影响值异常值与强影响
5、值二、关于自变量二、关于自变量x的异常值的异常值回归的杠杆值hii也是表示自变量的第i次观测值与自变量平均值之间距离的远近。杠杆值大的样本点称为强影响点。强影响点。强影响点。强影响点。5.3 异常值与强影响值异常值与强影响值二、关于自变量二、关于自变量x的异常值的异常值强影响点不一定是y的异常值点，不能单纯根据杠杆值hii的大小判断强影响点是否异常利用Cook距离，来判断强影响点是否为y的异常值点.5.3 异常值与强影响值异常值与强影响值5.3 异常值与强影响值异常值与强影响值三、异常值实例分析三、异常值实例分析 例例5.1 做异常值的诊断分析做异常值的诊断分析。分别计算普通残差ei，学生化残
6、差SREi，删除残差e（i），删除学生化残差SRE（i），杠杆值chii，库克距离Di5.3 异常值与强影响值异常值与强影响值5.3 异常值与强影响值异常值与强影响值5.3 异常值与强影响值异常值与强影响值RES-残差eDRE-删除残差ZRE-标准化残差SRE 学生化残差SREiSDR 删除学生化残差SRE(i)COO-库克距离Dii LEV-中心化杠杆值chii5.3 异常值与强影响值异常值与强影响值5.3 异常值与强影响值异常值与强影响值异常值原因异常值消除方法1.数据登记误差，存在抄写或录入的错误重新核实数据2.数据测量误差重新测量数据3.数据随机误差删除或重新观测异常值数据4.缺少重要
7、自变量增加必要的自变量5.缺少观测数据增加观测数据，适当扩大自变量取值范围6.存在异方差采用加权线性回归7.模型选用错误，线性模型不适用改用非线性回归模型删除第删除第删除第删除第1919组数据组数据组数据组数据5.3 异常值与强影响值异常值与强影响值 学生化删除残差、杠杆值、学生化删除残差、杠杆值、CookCook距离距离识别异常值识别异常值识别异常值识别异常值采取的措施：1.不能简单的剔除不能简单的剔除不能简单的剔除不能简单的剔除，有时异常观测值是正确的，它说明回归模型的失败，失败的原因可能是遗漏了一个重要变量，或者选择了不正确的回归函数形式.2.如果异常值数据时准确的，但是找不到对它合理的
8、解释，与剔除这个观测值相比，一个更稳健的方法是抑制抑制抑制抑制它的影响.3.最小绝对离差和法最小绝对离差和法最小绝对离差和法最小绝对离差和法是一种稳健估计方法，它具有对异常值和不合适模型不敏感性质.四、异常值问题补充四、异常值问题补充5.3 异常值与强影响值异常值与强影响值 最小绝对离差和法最小绝对离差和法最小绝对离差和法最小绝对离差和法违背基本假设的情况违背基本假设的情况 第六章第六章 关于异方差性问题第七章第七章 关于自相关性问题第八章第八章 关于多重共相关问题第六章第六章 关于异方差性问题关于异方差性问题 第六章第六章 关于异方差性问题关于异方差性问题 6.1 异方差性产生的背景6.2
9、异方差性的诊断6.3 异方差问题的建模处理 Gauss-Markov条件 第六章第六章 关于异方差性问题关于异方差性问题6.1 异方差性产生的背景异方差性产生的背景 一、异方差产生的原因一、异方差产生的原因 例例6 6.1 .1 居民收入与消费水平有着密切的关系。用xi表示第i户的收入量,yi表示第i户的消费额,一个简单的消费模型为:yi=0+1xi+i，i=1,2,n收入不同，消费观念和习惯差异，导致消费模型的随机项i具有不同的方差。低收入的家庭购买差异性比较小,高收入的家庭购买行为差异就很大。6.1 异方差性产生的背景异方差性产生的背景 二、异方差性带来的问题二、异方差性带来的问题 当存在
10、异方差时，普通最小二乘估计存在以下问题:(1)参数估计值虽是无偏的,但不是最小方差线性无偏估计;(2)参数的显著性检验失效;(3)回归方程的应用效果极不理想。6.2 异方差性的诊断异方差性的诊断 一、异方差性的检验一、异方差性的检验（一）残差图分析法（一）残差图分析法 直观、方便的分析法 以残差ei为纵坐标，其他适宜变量为横坐标画散点图，横坐标有三种选择：1.拟合值2.xi3.观测时间或序号6.2 异方差性的诊断异方差性的诊断 一、异方差性的检验一、异方差性的检验（一）残差图分析法（一）残差图分析法 图5.1（b)存在异方差一般情况下，当回归模型满足所有假定时，残差图上的n个点散布应是随机的，
11、无任何规律；存在异方差时，残差图上的点散布呈现相应的趋势.6.2 异方差性的诊断异方差性的诊断 一、异方差性的检验一、异方差性的检验（二）等级相关系数法（二）等级相关系数法 等级相关系数检验法又称斯皮尔曼(Spearman)检验,是一种应用较广泛的方法。这种检验方法既可用于大样本,也可用于小样本。进行等级相关系数检验通常有三个步骤。第一步,作y关于x的普通最小二乘回归,求出ei的估计值,即ei的值。6.2 异方差性的诊断异方差性的诊断（二）等级相关系数法（二）等级相关系数法 第二步,取ei的绝对值,分别把xi和|ei|按递增（或递减）的次序分成等级,按下式计算出等级相关系数:其中,n为样本容量,di为对应于xi和|ei|的等级的差数。6.2 异方差性的诊断异方差性的诊断（二）等级相关系数法（二）等级相关系数法 第三步,做等级相关系数的显著性检验。在n8的情况下,用下式对样本等级相关系数rs进行t检验。检验统计量为:如果tt/2(n-2)可认为异方差性问题不存在，如果tt/2(n-2),说明xi与|ei|之间存在系统关系,异方差性问题存在。