《第十章回归分析精选文档.ppt》由会员分享，可在线阅读，更多相关《第十章回归分析精选文档.ppt（78页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第十章回归分析第十章回归分析阜师院数科院本讲稿第一页，共七十八页阜师院数科院 实际上,由于实验误差的影响,即使是具有确定性关系的变量之间,也常表现出某种程度的不确定性.回归分析方法是处理变量间相关关系的有力工具.它不仅为建立变量间关系的数学表达式(经验公式)提供了一般的方法,而且还能判明所建立的经验公式的有效性,从而达到利用经验公式预测、控制等目的.因此，回归分析方法的应用越来越广泛,其方法本身也在不断丰富和发展.本讲稿第二页，共七十八页阜师院数科院 在一元线性回归分析里,我们要考察随机变量Y与一个普通变量x之间的联系.1.1 一元线性回归模型一元线性回归模型 对于有一定联系的两个变量:x与Y
2、,通过观测或实验得到n对数据(x1,Y1),(x2,Y2),.,(xn,Yn)用什么方法可以得到这两个变量之间的经验公式呢?为此举例如下:1 一元线性回归一元线性回归本讲稿第三页，共七十八页阜师院数科院 例例:维尼纶纤维的耐热水性能好坏可以用指标“缩醛化度”Y(克分子%)来衡量.这个指标越高,耐热水性能也越好.而甲醛浓度是影响缩醛化度的重要因素.在生产中常用甲醛浓度x(克/升)去控制这一指标.为此必须找出它们之间的关系,现安排了一批试验,获得如下数据:若重复这些试验,在同一甲醛浓度x下,所获得的缩醛化度Y不完全一致.这表明x与Y之间不能用一个完全确定的函数关系来表达.本讲稿第四页，共七十八页阜
3、师院数科院y31302928272618 20 22 24 26 28 30 x 散点与近似直线图本讲稿第五页，共七十八页阜师院数科院 为了看出它们之间是否有关及存在什么样的关系,我们在直角坐标系下作出了这些点,从图上可看出:随甲醛浓度x的增加,缩醛化度Y也增加,且这些点近似在一条直线附近,但又不完全在一条直线上.引起这些点与直线偏离的原因是由于在生产和测试过程中还存在一些不可控的因素,它们都在影响着试验结果.这样我们可以把试验结果Y看成由两部分叠加而成:一部分是由x的线性函数引起,记为a+bx;另一部分是由随机因素引起,记为,即Y=a+bx+一般假设随机误差N(0,2).即Y N(a+bx,
4、2)本讲稿第六页，共七十八页阜师院数科院 在Y=a+bx+中,x是一般变量,它可以精确测量或可以加以控制,Y是可观察其值的随机变量,N(0,2)是不可观察的随机变量,a,b是未知参数.为了获得未知参数a,b的估计,需要进行若干次独立试验.设试验结果为(x1,Y1),(x2,Y2),.,(xn,Yn)则 Y1=a+bx1+1 1 N(0,2)Y2=a+bx2+2 2 N(0,2)Yn=a+bxn+n n N(0,2)这里1,.,n相互独立.这就是一元线性回归模型.本讲稿第七页，共七十八页阜师院数科院 设给定n个点(x1,y1),(x2,y2),(xn,yn)那么对于平面上任意一条直线l：y=a+
5、bx1.2 经验公式与最小二乘法经验公式与最小二乘法 我们用数量yt-(a+bxt)2来刻画点(xt,yt)到直线l的远近程度(利用解析几何知识不难看出,yt-(a+bxt)的几何意义是点(xt,yt)沿着平行于y轴的方向到l的最短距离,而不是沿着垂直于l的方向到l的最短距离).本讲稿第八页，共七十八页阜师院数科院就定量地描述了直线l跟这n个点的总的远近程度.这个量是随着不同的直线而且变化,或是说是随不同的a与b而变化的,也就是说它是a,b的二元函数,记为Q(a,b):本讲稿第九页，共七十八页阜师院数科院 于是,要找一条直线使得它总的来看最“接近”这n个点的问题,就转化为以下的问题：本讲稿第十
6、页，共七十八页阜师院数科院本讲稿第十一页，共七十八页阜师院数科院本讲稿第十二页，共七十八页阜师院数科院并且这个解是唯一的.数学上还可证明,它们确实使Q(a,b)达到最小.本讲稿第十三页，共七十八页阜师院数科院1.3 平方和分解公式与线性相关关系平方和分解公式与线性相关关系 对面n组数据(x1,y1),(x2,y2),(xn,yn),有本讲稿第十四页，共七十八页阜师院数科院是y1，y2，yn这 n个数据的偏差平方和,它的大小描述了这n个数据的分散程度,记作lyy.几个平方和的意义:由此可知,它的几何意义是,在回归直线上,其横坐标为n的点的纵坐标.平均数也是本讲稿第十五页，共七十八页阜师院数科院本
7、讲稿第十六页，共七十八页阜师院数科院 由上面的分析可知,y1,y2,yn分散程度可以分解为两部分ST=SR+SE,其中一部分是通过x对于Y的线性相关关系而引起的Y的分散性,另一部分是剩余部分引起的Y的分散性.本讲稿第十七页，共七十八页阜师院数科院 现在来回答x,Y之间是否存在线性相关关系的问题.不难想到把回归平方和SR与剩余平方和SE进行比较.即在数理统计中,选取统计量来体现x与Y的线性相关关系的相对大小.若F值相当大,则表明x对Y的线性影响较大,这时可以认为x与Y之间有线性相关关系.反之,若F值较小,则没有理由认为x与Y之间有线性相关关系.本讲稿第十八页，共七十八页阜师院数科院衡量F值的大小
8、需要有一个定量的界限.可以证明在假定 Y1=a+bx1+1 Y2=a+bx2+2 Yn=a+bxn+n下,此定量界限F就是自由度为1，n-2的F分布的临界值，其中1,2,n服从N(0,2)的独立随机变量.本讲稿第十九页，共七十八页阜师院数科院1.4 数学模型与相关性检验数学模型与相关性检验 F值究竟多大才能认为x与Y之间有线性相关关系呢?为此对数据结构提出下列假定:Y1=a+bx1+1 Y2=a+bx2+2 Yn=a+bxn+n其中1,2,n服从N(0,2)的独立随机变量.判断x与Y之间是否有线性相关关系,就是要检验假设H0:b=0本讲稿第二十页，共七十八页阜师院数科院 对数据结构:Y1=a+
9、bx1+1 Y2=a+bx2+2 Yn=a+bxn+n其中1,2,n服从N(0,2)的独立随机变量.如果b=0,则数学上可以证明SR/22(1)SE/22(n-2)且SR与SE相互独立.本讲稿第二十一页，共七十八页阜师院数科院由此可知,若H0:b=0成立,则而且b偏离0越远,即b的绝对值越大,F也越大.相关性检验的一般程序:(1)计算SR,SE,再计算F;(2)对于给定的显著性水平,查F(1,n-2);(3)若F F(1,n-2),则否定H0:b=0,即认为x与Y之间具有线性相关关系;否则,就认为x与Y之间不具有线性相关关系.本讲稿第二十二页，共七十八页阜师院数科院具体计算时常用以下公式:本讲
10、稿第二十三页，共七十八页阜师院数科院 例例:为了了解某校学生的学习情况,现将该校7名学生期中考试的总成绩与期末考试的总成绩列表如下:试作出期末分数与期中分数的回归方程.并作线性相关性检验.本讲稿第二十四页，共七十八页阜师院数科院 解解:为了简化计算,令本讲稿第二十五页，共七十八页阜师院数科院本讲稿第二十六页，共七十八页阜师院数科院 下面对该回归方程作线性相关性检验:查F-分布表得:F0.05(1,5)=6.61,F0.01(1,5)=16.3从而有F0.05(1,5)F0b0b0本讲稿第三十四页，共七十八页阜师院数科院b1b=10b10b1b=1本讲稿第三十五页，共七十八页阜师院数科院本讲稿第
11、三十六页，共七十八页阜师院数科院aa本讲稿第三十七页，共七十八页阜师院数科院本讲稿第三十八页，共七十八页阜师院数科院3 多元线性回归多元线性回归 设随机变量Y与p个变量x1,x2,.,xp有关,它们之间满足:E(Y)=0+1x1+2x2+.+pxp进一步假设YN(0+1x1+2x2+.+pxp,2)即本讲稿第三十九页，共七十八页阜师院数科院式中x1,x2,.,xp都是可精确测量或可控制的一般变量,Y是可观察的随机变量,0,1,2,.,p是未知参数,是不可观察的随机误差.假如我们要获得n组相互独立的样本:(Yi;x1i,x2i,.,xpi),i=1,2,.,n则可知有数据结构Yi=0+1x1i+
12、2x2i+.+pxpi+i i=1,2,.,n其中i N(0,2),i=1,2,.,n且相互独立.这就是p元线性回归模型.本讲稿第四十页，共七十八页阜师院数科院3.1 参数估计 若已给出样本观察值(yi;x1i,x2i,.,xpi),i=1,2,.,n.我们希望对参数0,1,2,.,p及2作出估计.本讲稿第四十一页，共七十八页阜师院数科院本讲稿第四十二页，共七十八页阜师院数科院由于Q是0,1,2,.,p的一个非负二次型,故其极小值必存在,根据微积分的理论知道,这只需求解下列方程组:本讲稿第四十三页，共七十八页阜师院数科院本讲稿第四十四页，共七十八页阜师院数科院本讲稿第四十五页，共七十八页阜师院
13、数科院本讲稿第四十六页，共七十八页阜师院数科院 所以正规方程用矩阵形式表示即为:本讲稿第四十七页，共七十八页阜师院数科院本讲稿第四十八页，共七十八页阜师院数科院为了求2的估计,先给出几个名词本讲稿第四十九页，共七十八页阜师院数科院本讲稿第五十页，共七十八页阜师院数科院本讲稿第五十一页，共七十八页阜师院数科院3.2 参数最小二乘估计的性质本讲稿第五十二页，共七十八页阜师院数科院本讲稿第五十三页，共七十八页阜师院数科院本讲稿第五十四页，共七十八页阜师院数科院本讲稿第五十五页，共七十八页阜师院数科院本讲稿第五十六页，共七十八页阜师院数科院本讲稿第五十七页，共七十八页阜师院数科院本讲稿第五十八页，共七
14、十八页阜师院数科院本讲稿第五十九页，共七十八页阜师院数科院本讲稿第六十页，共七十八页阜师院数科院3.3 假设检验 对多元线性回归模型,除了参数估计问题外,还有些假设检验问题:本讲稿第六十一页，共七十八页阜师院数科院 y1,y2,.,yn之间的差异一般由两个原因引起:一是当y与x1,x2,.,xp之间确有线性关系时,由于x1,x2,.,xp取值不同,而引起yi取值的不同;另一个是除去y与x1,x2,.,xp之间线性关系以外的一切因素引起的,包括x1,x2,.,xp对y的非线性影响及其它一切未加控制的随机因素.通常用总的偏差平方和来衡量y1,y2,.,yn波动的大小:本讲稿第六十二页，共七十八页阜
15、师院数科院本讲稿第六十三页，共七十八页阜师院数科院本讲稿第六十四页，共七十八页阜师院数科院本讲稿第六十五页，共七十八页阜师院数科院本讲稿第六十六页，共七十八页阜师院数科院本讲稿第六十七页，共七十八页阜师院数科院本讲稿第六十八页，共七十八页阜师院数科院本讲稿第六十九页，共七十八页阜师院数科院本讲稿第七十页，共七十八页阜师院数科院本讲稿第七十一页，共七十八页阜师院数科院 解:首先进行数据整理得本讲稿第七十二页，共七十八页阜师院数科院本讲稿第七十三页，共七十八页阜师院数科院本讲稿第七十四页，共七十八页阜师院数科院本讲稿第七十五页，共七十八页阜师院数科院本讲稿第七十六页，共七十八页阜师院数科院本讲稿第七十七页，共七十八页阜师院数科院本讲稿第七十八页，共七十八页