《回归分析与协方差分析ppt课件.ppt》由会员分享，可在线阅读，更多相关《回归分析与协方差分析ppt课件.ppt（50页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、内容内容9.1 9.1 一元线性回归一元线性回归 学习目标学习目标散点图散点图, , 回归系数回归系数, , 正规方程正规方程, , 经验经验回归方程；回归平方和回归方程；回归平方和, ,剩余平方和剩余平方和, ,相关系数相关系数, , 显著性检验显著性检验. .不确定关系不确定关系人的身高人的身高体重体重农作物的单位面积产量农作物的单位面积产量施肥量施肥量 9.1 9.1 一元线性回归一元线性回归 1. 1. 一元线性回归的基本概念一元线性回归的基本概念 线性模型线性模型例例 为了研究弹簧悬挂不同重量为了研究弹簧悬挂不同重量(单位：克力单位：克力)x时长度时长度(单位：厘米单位：厘米)y的关
2、系。通过试验得到的关系。通过试验得到一组数据。一组数据。重量重量xi 5 10 15 20 25 30 长度长度yj 7.25 8.12 8.95 9.90 10.90 11.80把这些数据点把这些数据点(xi, yj )画在画在xoy坐标系中，图形坐标系中，图形称为散点图。称为散点图。*L散点图散点图记记L为为xyba iii)x(y ba进行进行n次独立试验，测得数据如下：次独立试验，测得数据如下：nnyyyYxxxX2121我们的问题是，如何根据这些观测值用我们的问题是，如何根据这些观测值用“最最佳的佳的”形式来表达变量形式来表达变量Y与与X之间的相关关系？之间的相关关系？ 一般而言，在
3、变量一般而言，在变量x取值以后，若取值以后，若Y所取所取的值服从的值服从N (+x,2)分布，当分布，当、及及2未知时，根据样本未知时，根据样本(x1,Y1),(x2,Y2),(xn,Yn)的的观测值观测值(x1,y1),(x2,y2),(xn,yn) 对未知参数对未知参数、及及2所作的估计与检验称为所作的估计与检验称为一元线性回归一元线性回归分析分析，而，而称为截距，称为截距，称为回归系数，称为回归系数， E(Y)+x 称为回归方程。称为回归方程。由回归方程可以推出由回归方程可以推出 ,iiixY),(ni21).,(20Ni相相互互独独立立且且都都式式中中的的 根据样本及其观测值可以得到根
4、据样本及其观测值可以得到、及及2 2的估计量及估计值的估计量及估计值 ，和和2, 得到回归方程的估计式或经验回归方程得到回归方程的估计式或经验回归方程 ,xy最常用的是最小最常用的是最小二乘法，即求出二乘法，即求出 使使及及iibxayba,niiiyyQ12)(niiibxay12)(的值最小，所求出的的值最小，所求出的a a称为经验截距，简称称为经验截距，简称为为截距截距，b b称为经验回归系数，简称为称为经验回归系数，简称为回归回归系数系数，而，而 的的无无偏偏估估计计。是是222nQ2. 2. 总体中未知参数的估计总体中未知参数的估计 根据最小二乘法的要求由根据最小二乘法的要求由 得得
5、,00bQaQniiiiniiixbxaybxay110202,)(,)(,001211111niiniiniiiniininiixbaxyxxbay得到一元线性回归的正规方程组得到一元线性回归的正规方程组,niiiniiniiniiniiyxxbxayxbna112111并求出并求出,xbyallbxxxy,)()(2112121niiniiniixxxnxxxl),)()(niiniiniiiniiixyyxnyxyyxxl11111.)()(2112121niiniiniiyyynyyyl建立一元线性回归方程的具体步骤：建立一元线性回归方程的具体步骤： ,)(niiniiniixyx12
6、111，计计算算;niiiniiyxy112，;,)(yyxyxxlll计计算算2(3)(3)计算计算b b和和a a，写出一元线性回归方程。，写出一元线性回归方程。 与上述与上述a a和和b b相对应的相对应的Q Q的数值又记作的数值又记作SSESSE，称为剩余平方和。称为剩余平方和。将将a a、b b和和SSESSE以及以及 和和 看作是统计量，看作是统计量，它们的表达式分别为它们的表达式分别为 YiY,)(,xxniiilYxxbxbYa1niiibxaYSSE12,)(),(xxbYbxaY).(xxbYYii 这些统计量之间以及它们与总体参数之间这些统计量之间以及它们与总体参数之间有
7、以下的内在联系：有以下的内在联系：相相互互独独立立；与与SSEbY ,)(1,)(,)()(aEbE2;)()(,)(2221xxxxlxnaDlbD 为提高为提高a a的估计精度，最理想的选择是的估计精度，最理想的选择是使使 0 0，其绝对值越小越好；，其绝对值越小越好；x 为提高为提高b b的估计精度，应该使的估计精度，应该使l lxx 取较大取较大的数值，的数值，x x1 1、x x2 2、x xn n越分散越好；越分散越好； 观测值的个数观测值的个数n n不能太小。不能太小。 ,)()()(223 nSSEE的的无无偏偏估估计计；是是即即222nSSE都都服服从从正正态态分分布布，以以
8、及及和和Yab)(4).(222nSSE而而 3. 3. 线性回归方程的显著性检验线性回归方程的显著性检验 因此，必须对回归方程的拟合情况或效果因此，必须对回归方程的拟合情况或效果作显著性检验。作显著性检验。其理论基础就是总平方和的分解，即其理论基础就是总平方和的分解，即.)()()(niiniiiniiyyyyyy121212niiiiniiyyyyyy1212)()()(niiniiiyyyy1212)()(, )(niiiiyyyy12niiiiyyyy1)(niiiiybxabxay1)( )()(niiiixxbbxxbyy1niiniiixxbyyxxb1221)()(. 02xx
9、xylbbl.)()()(niiniiiniiyyyyyy121212niiyyyyl12)(式式中中的的表示表示n n个个y1、y2、yn与与之间的差异，当之间的差异，当各个各个yi已知时，它是一个定值，称为总平方已知时，它是一个定值，称为总平方和，记作和，记作SST。 y之之间间的的偏偏差差与与是是iiniiiyyyy)(12通过回归已经达到了最小值，称为剩余平通过回归已经达到了最小值，称为剩余平方和，记作方和，记作SSE。 之之间间的的差差异异，与与个个表表示示而而yy n)yy (inii 12所所造造成成的的，代代入入回回归归方方程程得得到到是是将将iiyx称为回归平方和，记作称为回
10、归平方和，记作SSR。 因此，因此，SSTSSE+SSR。 如果如果SSR的数值较大，的数值较大，SSE的数值便比较的数值便比较小，说明回归的效果好；如果小，说明回归的效果好；如果SSR的数值的数值较小，较小，SSE的数值便比较大，说明回归的的数值便比较大，说明回归的效果差。效果差。 niiyySSR12)(niiybxa12)(niiybxxby12)(niixxb122)(,xyxxbllb2.xyblSSTSSExyblSSTSSEyyxxxyyyxxxyyylllllll221.,yyxxxyyyxxxylllrlllr22现现引引进进 如果如果|r|较大，较大，SSE的数值便比较小，
11、说明的数值便比较小，说明回归的效果好或者说回归的效果好或者说x与与Y的线性关系密切；的线性关系密切；如果如果|r|较小，较小，SSE的数值便比较大，说明回的数值便比较大，说明回归的效果差或者说归的效果差或者说x与与Y的线性关系不密切；的线性关系不密切；因此称因此称r为为x与与Y的观测值的相关系数。的观测值的相关系数。 又由又由r及回归系数的计算公式及回归系数的计算公式 ,xxxyllb 可以推出：可以推出：r0时时b0，x增加时增加时Y的观测值的观测值呈增加的趋势；呈增加的趋势；r0时时b0 0时称时称x与与Y正相关，正相关，r0 0时称时称x与与Y负相关。负相关。 综上所述，如果设综上所述，
12、如果设H0为为0 0，也就是假设，也就是假设x与与Y不是线性关系，则可以用以下三种实质不是线性关系，则可以用以下三种实质相同的方法检验线性回归方程的显著性，且相同的方法检验线性回归方程的显著性，且当检验的结果显著时当检验的结果显著时x与与Y的线性关系显著，的线性关系显著，回归方程可供应用；当检验的结果不显著时回归方程可供应用；当检验的结果不显著时x与与Y的线性关系不显著，回归方程不可应用。的线性关系不显著，回归方程不可应用。 F检验法检验法： ),(222nSSE当当H0为真时，为真时， );(RSS122 且且SSR与与SSE相互独立；因此，当相互独立；因此，当H0为真时，为真时， ),()
13、(212nFnSSESSRF当当FF1-(1,n-2)时应该放弃原假设时应该放弃原假设H0。(2)(2)t检验法检验法： ),(),(2222nSSElNbxx当当H0为真时，为真时， ),()(22nTnSSElbtxx当当|t|t1-0.5(n-2)时应该放弃原假设时应该放弃原假设H0。 (3)(3)r r检验法检验法： 根据根据x与与Y的观测值的相关系数的观测值的相关系数 ,yyxxxyyyxxxylllrlllr22可以推出可以推出.SSTSSRr2当当H0为真时，为真时，),()()(212122nFnrrF当当FF1-(1,n-2)或或|r|r(n-2)时应该放时应该放弃原假设弃原
14、假设H0，式中的式中的 )(),(),()(22121211nnFnFnr可由可由r检验用表中查出。检验用表中查出。 ,SSTSSRr2因此，因此，r常常用来表示常常用来表示x与与Y的线性关系在的线性关系在x与与Y的全部关系中所占的百分比，又称为的全部关系中所占的百分比，又称为x与与Y的观测值的决定系数。的观测值的决定系数。 4. 4. 利用回归方程进行点预测和区间预测利用回归方程进行点预测和区间预测 若线性回归作显著性检验的结果是放弃若线性回归作显著性检验的结果是放弃H0，也就是放弃回归系数也就是放弃回归系数0 0的假设，便可以的假设，便可以利用回归方程进行点预测和区间预测，这是利用回归方程
15、进行点预测和区间预测，这是人们关注线性回归的主要原因之一。人们关注线性回归的主要原因之一。 当当xx0时时， 的观测值的观测值预测预测用用000Ybxay称为点预测。称为点预测。0y),()(000YExyE由于由于Y0的观测值的观测值y0的点预测是无偏的。的点预测是无偏的。 当当xx0时，用适合不等式时，用适合不等式PY0(G,H)1-的统计量的统计量G和和H所确定的随机区间所确定的随机区间( (G,H) )预测预测Y0的取值范围称为区间预测，而的取值范围称为区间预测，而( (G,H) )称称为为Y0的的1-预测区间。预测区间。 若若Y0与样本中的各与样本中的各Yi相互独立，则根据相互独立，
16、则根据ZY0-(a+bx0)服从正态分布服从正态分布，E(Z)0， ),)()(xxlxxnZD20211),(222nSSE及及Z与与SSE相互独立，相互独立，可以导出可以导出 ).()(211220ntlxxnnSSEZtxx因此因此，Y0的的1-预测区间为预测区间为 a+bx0(x0)， . )()()(.xxlxxnnSSEntx2050101122例例1.11.1吸附方程吸附方程某种物质在不同温度下可某种物质在不同温度下可以吸附另一种物质，如果温度以吸附另一种物质，如果温度x( (单位：单位：)与与吸附重量吸附重量Y( (单位：单位：mg)mg)的观测值如下表所示：的观测值如下表所示
17、： 温度温度x1.5 1.8 2.4 3.0 3.5 3.9 4.4 4.8 5.0 重量重量y4.8 5.7 7.0 8.3 10.9 12.4 13.1 13.6 15.3 试求线性回归方程并用三种方法作显著性检试求线性回归方程并用三种方法作显著性检验，若验，若x02，求，求Y0的的0.95预测区间预测区间。 解：根据上述观测值得到解：根据上述观测值得到n9， ,.,.11913309191iiiiyx,.,.093451111591912iiiiiyxx,.651036912iiy,.,.,.5161143873810013yyxyxxlll,.,.122103673yx,.,.2569
18、093032xbyallbxxxy;.xy9303225690所求的线性回归方程为所求的线性回归方程为 显著性检验方法显著性检验方法 F检验法检验法：SSTlyy114.516， SSRblxy112.485，SSESST-blxy2.031，n-27，F0.99(1,7)12.2， ,.,.)(212693872FnSSESSRF所以回归方程极显著；所以回归方程极显著； t t检验法：检验法： ,.)(69192nSSElbtxx,.,.)(.4993499379950tt所以回归方程极显著；所以回归方程极显著； (3) r检验法：检验法： ,.,.991109823022rlllryyxx
19、xy,.,.)(.7970797707010rr所以回归方程极显著所以回归方程极显著. ,.)(,.,4311262000 xyx时时当当Y0的的0.95预测区间为预测区间为(4.09,8.15)。 这说明当温度为这说明当温度为2 2时，应该预测吸附另一种时，应该预测吸附另一种物质的重量在物质的重量在4.094.09至至8.158.15之间，并且预测之间，并且预测100100次将有次将有9595次是正确的。次是正确的。 例例1.21.2植物保护植物保护一些夏季害虫的盛发期一些夏季害虫的盛发期与春季温度有关，现有与春季温度有关，现有1956-19641956-1964年间年间3 3月下月下旬至旬
20、至4 4月中旬旬平均温度的累计数月中旬旬平均温度的累计数x和一代三和一代三化螟蛾盛发期化螟蛾盛发期Y( (以以5 5月月1010日为日为0)0)的观测值如下：的观测值如下： 温度温度x 35.5 34.1 31.7 40.3 36.8 40.2 31.7 39.2 44.2盛发期盛发期y 12 16 9 2 7 3 13 9 -1试求线性回归方程并用三种方法作显著性检试求线性回归方程并用三种方法作显著性检验，若验，若x040，求，求Y0的的0.95预测区间预测区间。解：根据上述观测值得到解：根据上述观测值得到n9， ,.7073339191iiiiyx,.,.42436491251791912
21、iiiiiyxx,794912iiy,.,.,.555624904441596356144yyxyxxlll,.,.7778707737yx,.,.54934809961xbyallbxxxy所求的线性回归方程为所求的线性回归方程为 ;.xy11548显著性检验方法显著性检验方法 F检验法检验法：SSTlyy249.5556，SSRblxy174.8886，SSESST-blxy74.6670，n-27，F0.99(1,7)12.2， ,.,.)(21240162FnSSESSRF所以回归方程极显著；所以回归方程极显著； t t检验法：检验法： ,.)(0542nSSElbtxx,.,.)(.
22、4993499379950tt所以回归方程极显著；所以回归方程极显著； (3) r检验法：检验法： ,.,.837107008022rlllryyxxxy,.,.)(.79770797707010rr所以回归方程极显著所以回归方程极显著. ,.)(,.,36856440000 xyx时时当当Y0的的0.95预测区间为预测区间为(-3.80,12.92)。这说明当这说明当3 3月下旬至月下旬至4 4月中旬旬平均温度的月中旬旬平均温度的累计数为累计数为4040时，应该预测一代三化螟蛾盛时，应该预测一代三化螟蛾盛发期为发期为5 5月月6 6日至日至5 5月月2323日之间，并且预测日之间，并且预测100100次将有次将有9595次是正确的。次是正确的。