《回归分析学习与应用.ppt》由会员分享，可在线阅读，更多相关《回归分析学习与应用.ppt（75页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、回归分析学习与应用现在学习的是第1页，共75页一元线性回归l一、什么叫回归分析一、什么叫回归分析l简单的说，回归分析就是一种处理变量与变量之间关系的数学方简单的说，回归分析就是一种处理变量与变量之间关系的数学方法。法。现在学习的是第2页，共75页变变量量间间的的关关系系确定性关系或函数关系y=f(x)人的身高和体重人的身高和体重家庭的收入和消费家庭的收入和消费商品的广告费和销售额商品的广告费和销售额粮食的产量和施肥量粮食的产量和施肥量股票的价格和时间股票的价格和时间学生的期中和期末考试成绩学生的期中和期末考试成绩,非确定性关系如果对于任何已知的如果对于任何已知的x x值值,变量变量y y和按某
2、个概率取某些和按某个概率取某些特殊的值特殊的值,则则x x和和y y之间的关系为之间的关系为随机的随机的随机的随机的.xY实变量实变量随机变量随机变量非确定性关系非确定性关系现在学习的是第3页，共75页 英国人类学家 F.Galton首次在自然遗传一书中，提出并阐明了“相关”和“相关系数”两个概念，为相关论奠定了基础。其后，他和英国统计学家 Karl Pearson对上千个家庭的身高做了测量，发现发现：历史背景：现在学习的是第4页，共75页 儿子身高（Y，英寸）与父亲身高（X，英寸）存在线性关系：。也即高个子父代的子代在成年之后的身高平均来说不是更高，而是稍矮于其父代水平，而矮个子父代的子代的
3、平均身高不是更矮，而是稍高于其父代水平。Galton将这种趋向于种族稳定的现象称之“回归”现在学习的是第5页，共75页 “回归”已成为表示变量之间某种数量依存关系的统计学术语，并且衍生出“回归方程”“回归系数”等统计学概念。现在学习的是第6页，共75页l如果数学关系式描写了一个变量与另一个变量之间的关系，则称其为一元回归一元回归分析分析；l如果数学关系式描写了一个变量与另多个变量之间的关系，则称其为多元回归多元回归分析分析现在学习的是第7页，共75页l二、回归分析所能解决的问题二、回归分析所能解决的问题l回归分析主要解决以下几方面的问题：回归分析主要解决以下几方面的问题：l（1）确定几个特定变
4、量之间是否存在相关关系，如果存在的）确定几个特定变量之间是否存在相关关系，如果存在的话，找出她们之间合适的数学表达式话，找出她们之间合适的数学表达式l（2）根据一个或几个变量的值，预报或控制另一个变）根据一个或几个变量的值，预报或控制另一个变量的取值，并且要知道这种预报或控制的精确度量的取值，并且要知道这种预报或控制的精确度l（3）进行因素分析，确定因素的主次以及因素之间的）进行因素分析，确定因素的主次以及因素之间的相互关系等等相互关系等等现在学习的是第8页，共75页l一元线性回归分析，只要解决：一元线性回归分析，只要解决：l（1）求变量）求变量x与与y之间的回归直线方程之间的回归直线方程l（
5、2）判断变量）判断变量x和和y之间是否确为线性关系之间是否确为线性关系l（3）根据一个变量的值，预测或控制另一变量的取）根据一个变量的值，预测或控制另一变量的取值值现在学习的是第9页，共75页l二、一元线性回归方程的确定二、一元线性回归方程的确定现在学习的是第10页，共75页现在学习的是第11页，共75页现在学习的是第12页，共75页现在学习的是第13页，共75页现在学习的是第14页，共75页现在学习的是第15页，共75页l三、回归方程检验方法三、回归方程检验方法l（一）方差分析法（一）方差分析法l回顾方差分析的基本特点：回顾方差分析的基本特点：l把所给数据的总波动分解为两部分，一部分反映水平
6、变化引起的波把所给数据的总波动分解为两部分，一部分反映水平变化引起的波动，另一部分反映由于存在试验误差而引起的波动。然后把各因素水平动，另一部分反映由于存在试验误差而引起的波动。然后把各因素水平变化引起的波动与试验误差引起的波动大小进行比较，而达到检验因素变化引起的波动与试验误差引起的波动大小进行比较，而达到检验因素显著性的目的显著性的目的.现在学习的是第16页，共75页现在学习的是第17页，共75页现在学习的是第18页，共75页现在学习的是第19页，共75页现在学习的是第20页，共75页l（二）相关系数检验法（二）相关系数检验法现在学习的是第21页，共75页现在学习的是第22页，共75页现在
7、学习的是第23页，共75页现在学习的是第24页，共75页现在学习的是第25页，共75页现在学习的是第26页，共75页现在学习的是第27页，共75页n-2123456789100.05 0.010.9970.9500.8780.8110.7540.7070.6660.6320.6020.5761.0000.9900.9590.9170.8740.8340.7980.7650.7350.708n-2111213141516171819200.05 0.010.5530.5320.5140.4790.4820.4680.4560.4440.4330.4130.6840.6610.6410.6230.
8、6060.5900.5750.5610.5490.537n-2212223242526272829300.05 0.010.4130.4040.3960.3880.3810.3740.3670.3640.3550.3490.5260.5150.5050.4960.4870.4780.4700.4630.4560.449相关系数临界值表现在学习的是第28页，共75页l四、预报与控制四、预报与控制l当我们求得变量当我们求得变量x、y之间的回归直线方程后，往之间的回归直线方程后，往往通过回归方程回答这样两方面的问题：往通过回归方程回答这样两方面的问题：l（1）对任何一个给定的观测点）对任何一个给定的
9、观测点x0，推断，推断y0大致落的范围大致落的范围l（2）若要求观测值）若要求观测值y在一定的范围在一定的范围y1yy2内取值，应将变量控内取值，应将变量控制在什么地方制在什么地方l前者就是所谓的预报问题，后者称为控制问题。前者就是所谓的预报问题，后者称为控制问题。现在学习的是第29页，共75页现在学习的是第30页，共75页现在学习的是第31页，共75页现在学习的是第32页，共75页现在学习的是第33页，共75页l五、应用举例五、应用举例l在某产品表明腐蚀刻线，下表是试验获得的腐在某产品表明腐蚀刻线，下表是试验获得的腐蚀时间（蚀时间（x）与腐蚀深度（）与腐蚀深度（y）间的一组数据。试研）间的一
10、组数据。试研究两变量（究两变量（x，y）之间的关系。）之间的关系。腐蚀时间腐蚀时间x（秒）（秒）腐蚀深度腐蚀深度y（）5 5 10 20 30 40 50 60 65 90 1204 6 8 13 16 17 19 25 25 29 46现在学习的是第34页，共75页40302010yx10 20 30 40 50 60 70 80 90 100 110 120现在学习的是第35页，共75页现在学习的是第36页，共75页序号12345678910115510203040506065901204954681316171925252946208252510040090016002500360042
11、258100144003587516366416925628936162562584121165398203080260480680950150016252610552013755现在学习的是第37页，共75页现在学习的是第38页，共75页现在学习的是第39页，共75页现在学习的是第40页，共75页现在学习的是第41页，共75页(x,y)采集样本信息(xi,yi)回归分析散点图回归方程回归方程的显著性检验对现实进行预测与控制基本思想基本思想现在学习的是第42页，共75页多元回归分析方法多元回归分析方法现在学习的是第43页，共75页一、多元回归分析概述一、多元回归分析概述上节讨论的只是两个变量的
12、回归问题，其中因变量只与上节讨论的只是两个变量的回归问题，其中因变量只与一个自变量相关。但这只是最简单的情况，在大多数的实际一个自变量相关。但这只是最简单的情况，在大多数的实际问题中，影响因变量的因素不是一个而是多个，我们称这类问题中，影响因变量的因素不是一个而是多个，我们称这类问题为多元回归分析。问题为多元回归分析。我们这里着重讨论简单而又最一般的线性回归问题，我们这里着重讨论简单而又最一般的线性回归问题，这是因为许多非线性的情形可以化为线性回归来做。多元这是因为许多非线性的情形可以化为线性回归来做。多元线性回归分析的原理与一元线性回归分析完全相同，但在线性回归分析的原理与一元线性回归分析完
13、全相同，但在计算上却要复杂得多。计算上却要复杂得多。现在学习的是第44页，共75页现在学习的是第45页，共75页现在学习的是第46页，共75页现在学习的是第47页，共75页现在学习的是第48页，共75页现在学习的是第49页，共75页现在学习的是第50页，共75页现在学习的是第51页，共75页多元线性回归方差分析表现在学习的是第52页，共75页三、非线性回归模型 非线性关系线性化的几种情况:对于指数曲线 ，令 ,可以将其转化为直线形式：，其中，；对于对数曲线 ，令 ，可以将其转化为直线形式：；对于幂函数曲线 ，令 ，可以将其转化为直线形式：其中，；现在学习的是第53页，共75页 对于双曲线 ，令
14、 ，转化为直线形式：；对于S型曲线 ，可 转化为直线形式：；对于幂乘积：，只要令 ，就可以将其转化为线性形式：其中，；现在学习的是第54页，共75页对于对数函数和 只要令 ，就可以将其化为线性形式：l例例:下表给出了某地区林地景观斑块面积（Area）与周长（Perimeter）的数据。下面我们建立林地景观斑块面积A与周长P之间的非线性回归模型。现在学习的是第55页，共75页序号面积A周长P序号面积A周长P110447.370625.39242232844.3004282.043215974.730612.286434054.660289.307330976.770775.7124430833.
15、840895.98049442.902530.202451823.355205.131510858.9201906.1034626270.300968.060621532.9101297.9624713573.9601045.07276891.680417.0584865590.0802250.43583695.195243.90749157270.4002407.54992260.180197.239502086.426266.54110334.33299.729513109.070261.8181111749.080558.921522038.617320.396122372.105199
16、.667533432.137253.335138390.633592.893541600.391230.030146003.719459.467553867.586419.406表表1 1 某地区各个林地景观斑块面积（某地区各个林地景观斑块面积（m m2 2）与周长（）与周长（m m）现在学习的是第56页，共75页15527620.2006545.291561946.184198.66116179686.2002960.4755777.30556.9021714196.460597.993587977.719715.7521822809.1801103.0705919271.8201011.1
17、271971195.9401154.118608263.480680.710203064.242245.049 614697.1301234.1142469416.7008226.0091624519.867326.3171225738.953498.6566313157.6601172.916238359.465415.151646617.270609.801246205.016414.790 654064.137437.3552560619.0201549.871665645.820432.3552614517.740791.943676993.355503.7842731020.1001
18、700.965684304.281267.9512826447.1601246.977696336.383347.136297985.926918.312702651.414292.235现在学习的是第57页，共75页303638.766399.725712656.824298.47331585425.10011474.770721846.988179.8663235220.6401877.476731616.684172.8083310067.820497.394741730.563172.1433427422.5701934.5967511303.970881.0423543071.550
19、1171.4137614019.790638.1763657585.9402275.389779277.172862.0883728254.1301322.7957813684.750712.78738497261.0009581.298791949.164228.4033924255.030994.906804846.016324.481401837.699229.40181521457.4007393.938411608.625225.84282564370.80012212.410现在学习的是第58页，共75页解：解：（1）作变量替换，令：，将上表中的原始数据进行对数变换，变换后得到的各
20、新变量对应的观测数据如下表所示。序号y=lnAx=LnP序号y=lnAx=LnP19.2541066.4383794212.358138.36218629.6787636.4172438.3076225.667487310.340996.6537824410.336376.79791849.1530196.273258457.5084335.3236559.2927427.5528164610.176196.87529469.9773387.168551479.5159096.95184178.838076.0332264811.091187.71887988.2147895.49678949
21、11.965727.78636497.72325.284414507.6432085.585528105.8121354.602457518.0420795.567651119.371536.326008527.6200275.769558表表2 2 经对数变换后经对数变换后的数据的数据 现在学习的是第59页，共75页127.7715335.296653538.1409385.534711139.0348716.385013547.3780035.438211148.7001346.130066558.2603866.0388391513.176138.786501567.5736265.29
22、15971612.098977.993105574.3477554.041328179.5607486.393579588.9844086.5733341810.034927.005852599.8663996.9188211911.173197.051092609.0196016.523136208.0275565.501457619.5954087.1181092113.059259.015056628.4162385.787871228.6550326.211917639.4847597.067248239.031156.028643648.7974386.413133248.73311
23、36.027773658.3099576.0807442511.012367.345927668.6386716.069247269.5831276.67449678.8527166.222147现在学习的是第60页，共75页269.5831276.67449678.8527166.2221472710.342397.438951688.3673655.5908062810.18297.128478698.7540635.849717298.9854366.822537707.8828485.67756308.19945.990776717.8848875.6986783113.280099.
24、347906727.5213115.1922133210.469397.537684737.3881325.152181339.2170996.209381747.4562025.1483263410.219127.567654759.3329096.7811053510.670627.065966769.5482256.4586143610.961037.729906779.1353126.7593583710.248997.187502789.5240376.5691823813.116879.167568797.5751565.4311123910.096386.902648808.48
25、59125.782227407.516275.4354718113.164388.908416417.3831355.4198378213.243479.410208现在学习的是第61页，共75页 （2）以x为横坐标、y为纵坐标，在平面直角坐标系中作出散点图。很明显，y与x呈线性关系。图图3.2.2 3.2.2 林地景观斑块面积（林地景观斑块面积（A A）与周长（）与周长（P P）之间的双对数关系之间的双对数关系 现在学习的是第62页，共75页（3）根据所得表中的数据，运用建立线性回归模型的方法，建立y与x之间的线性回归模型，得到：对应于（3.2.19）式，x与y的相关系数高 达 =0.966
26、5。（4）将（3.2.19）还原成双对数曲线，即（3.2.19）（3.2.20）现在学习的是第63页，共75页第四节 逐步回归l在多元线性回归中，最难的是如何选择自变量的问题，如果自变量选的太少，则自变量对Y的决定系数太小，导致过大的偏差，如果把与Y有关的自变量都选入是不可能的，一般来讲，选的自变量愈多，ESS愈大，然而多个自变量中有相当一部分对Y影响不显著，反而会因自由度的减少而增大了误差。另外，多个自变量间的相关会给回归方程的实际解释上造成麻烦，即多重共线性的影响。因此我们提出最优方程的概念，要求进入回归方程的自变量都是显著的，未进入回归方程的自变量都是不显著的。现在学习的是第64页，共7
27、5页l一、“最优”回归方程的选择l1.回归方程中包含尽量多的信息l2.回归方程中包含尽量少的变量l方法：l逐步剔除的回归分析方法l逐步引入的回归分析方法l“有进有出”的回归分析方法(逐步回归分析方法)现在学习的是第65页，共75页逐步剔除法（backward）1、用全部变量建立一个回归方程2、对每个变量进行检验，剔除偏回归平方和最小的变量。3、对剩余变量再作回归，再检验直至方程中没有可剔除的变量为止。现在学习的是第66页，共75页逐步引入法（forward）1、将所有自变量分别与因变量建立一元线性回归方程，比较各自的回归平方和，将回归平方和最大的变量引入回归方程。2、再分别将剩余变量与因变量y、及已引入的变量建立二元线性回归方程，再比较回归平方和，选择回归平方和最大的变量引入方程。直至方程检验不显著为止。现在学习的是第67页，共75页l“逐步剔除”法与“逐步引入”法都有明显的不足之处:l (1)“逐步剔除”法计算量大,且一旦某个自变量被剔除,没有机会重新进入方程.l (2)“逐步引入”法一旦引入某个变量,就不再改变.现在学习的是第68页，共75页现在学习的是第69页，共75页现在学习的是第70页，共75页现在学习的是第71页，共75页现在学习的是第72页，共75页现在学习的是第73页，共75页现在学习的是第74页，共75页现在学习的是第75页，共75页