《多元线性回归和非线性回归讲稿.ppt》由会员分享，可在线阅读，更多相关《多元线性回归和非线性回归讲稿.ppt（50页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第一页，讲稿共五十页哦ppxxxy22110第二页，讲稿共五十页哦第三页，讲稿共五十页哦第四页，讲稿共五十页哦22110)(xxyE1.表示 保持不变时，每变动一个单位时的相应变化量.2.表示 保持不变时，每变动一个单位时的相应变化量.21x1x)(yE22110 xxy考虑二元线性回归模型12x2x)(yE第五页，讲稿共五十页哦22110 xxy22110)(xxyE第六页，讲稿共五十页哦第七页，讲稿共五十页哦p210,p,210ppxxxy22110p,210p,210y 第八页，讲稿共五十页哦最小niiniiipeyyQ1212210)(),()21(00000piQQiii，p,210
2、第九页，讲稿共五十页哦例例1 1 生产总值是衡量一个国家地区经济发展的重要指标，影响一个国家或地区生产总值的因素包括资本、资源、科技、劳动力、进出口、国家基础设施建设等方面的因素。本例研究财政支出对生产总值的影响。中国统计年鉴把财政支出划分为31个组成部分，本例只选取其中的13个重要支出项。第十页，讲稿共五十页哦CoefficientsCoefficientsa a-41229015612697.85-.735.473-25.70210.068-.329-2.553.02126.74217.374.2081.539.142-5.87861.983-.012-.095.926-95.66853.
3、414-.281-1.791.091-42.28888.078-.074-.480.63711.72474.489.014.157.877-187.532273.188-.044-.686.50250.28014.018.6783.587.002-58.082187.596-.047-.310.761-81.72643.642-.302-1.873.07846.79123.185.4232.018.06054.81739.303.4491.395.18141.12314.674.2732.802.012(Constant)x1x2x3x4x5x6x7x8x9x10 x11x12x13Model
4、1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable:ya.回归系数表用spss软件计算的回归系数如下：第十一页，讲稿共五十页哦123456789101112134122901 25.70226.7415.87895.66842.28811.724187.53250.28058.08281.72646.79154.81741.123yxxxxxxxxxxxxx 第十二页，讲稿共五十页哦第十三页，讲稿共五十页哦 对多元回归，总方差同样可分解成如下形式SSRSSESST则决定
5、系数为(12.6)SSTSSESSTSSRyyyyRniinii112122(12.7)第十四页，讲稿共五十页哦 多重决定系数反映样本回归方程的拟合好坏程度，R 愈大，说明样本回归方程拟合得愈好。显然，.而称 y 关于 的样本复相关系数，R 的大小可以反映作为一个整体的与 y 的线性相关的密切程度.102 R2121)()(yyyySSTSSRRniiniipxxx,21pxxx,21第十五页，讲稿共五十页哦11)1(1)1/()()1/()(1221122pnnRnyypnyyRniiniii 由于样本多重判定系数的分母 SST 对给定的样本数据是不变的，而 SSR 与引进回归方程的自变量个
6、数有关.因此，应对 R 作调整，调整的样本多重判定系数为(12.8)第十六页，讲稿共五十页哦MSEpnSSEpnyySniiie1112第十七页，讲稿共五十页哦第十八页，讲稿共五十页哦第十九页，讲稿共五十页哦)1,()1()1(1212pnpFpnyypyypnSSEpSSRFniinii第二十页，讲稿共五十页哦前面的这些计算结果可以列成表格的形式，称为方差分析表.方差分析表)1/(/pnSSEpSSRF)1,(pnpF第二十一页，讲稿共五十页哦1xANOVAANOVAb b8.78E+016136.753E+01584.258.000a1.36E+015178.015E+0138.92E+0
7、1630RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors:(Constant),x13,x7,x2,x9,x6,x1,x3,x11,x5,x4,x10,x8,x12a.Dependent Variable:yb.表中的Sig即为显著性P值，由P值0.000（近似值）可知回归方程十分显著。即可以以99.9以上的概率断言所有自变量全体对因变量产生显著线性影响。对例对例1回归方程的检验回归方程的检验:第二十二页，讲稿共五十页哦第二十三页，讲稿共五十页哦)1(pntStii第二十四页，讲稿共五十页哦ispnti
8、2)1(2xxssiei第二十五页，讲稿共五十页哦对回归系数的检验:CoefficientsCoefficientsa a-41229015612697.85-.735.473-25.70210.068-.329-2.553.02126.74217.374.2081.539.142-5.87861.983-.012-.095.926-95.66853.414-.281-1.791.091-42.28888.078-.074-.480.63711.72474.489.014.157.877-187.532273.188-.044-.686.50250.28014.018.6783.587.002
9、-58.082187.596-.047-.310.761-81.72643.642-.302-1.873.07846.79123.185.4232.018.06054.81739.303.4491.395.18141.12314.674.2732.802.012(Constant)基本建设支出改造资金科技三项费用农业支出农林等部门事业费工交部门事业费流动部门事业费教育事业费科学事业费卫生事业费行政管理费公检法司支出城市维护费Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent V
10、ariable:生产总值a.第二十六页，讲稿共五十页哦第二十七页，讲稿共五十页哦剔除 x3科技三项费 后：CoefficientsCoefficientsa a-41548855446144.26-.763.455-25.4979.557-.326-2.668.01626.89116.821.2091.599.127-95.43851.869-.280-1.840.082-44.71281.932-.079-.546.5928.12262.282.010.130.898-179.053250.935-.042-.714.48550.47013.485.6803.743.001-60.39118
11、0.817-.049-.334.742-80.24339.609-.296-2.026.05847.02222.413.4252.098.05053.23034.567.4361.540.14140.62413.318.2703.050.007(Constant)基本建设支出改造资金农业支出农林等部门事业费工交部门事业费流动部门事业费教育事业费科学事业费卫生事业费行政管理费公检法司支出城市维护费Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable:生产总值a.第
12、二十八页，讲稿共五十页哦CoefficientsCoefficientsa a-42863285211760.28-.822.421-25.1678.976-.322-2.804.01126.51816.141.2061.643.117-91.19739.346-.268-2.318.032-46.75978.306-.082-.597.557-179.366244.347-.042-.734.47250.59913.097.6823.864.001-66.501170.062-.054-.391.700-80.01038.531-.295-2.077.05245.95220.311.4152
13、.262.03654.73831.722.4481.726.10140.14312.460.2673.222.004(Constant)基本建设支出改造资金农业支出农林等部门事业费流动部门事业费教育事业费科学事业费卫生事业费行政管理费公检法司支出城市维护费Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable:生产总值a.第二十九页，讲稿共五十页哦CoefficientsCoefficientsa a-37120144554130.63-.815.424-26.7
14、787.522-.342-3.560.00228.31111.817.2202.396.026-101.27634.646-.297-2.923.00849.19411.897.6634.135.000-73.62922.303-.272-3.301.00349.94617.028.4512.933.00832.46215.730.2662.064.05145.5859.140.3034.987.000(Constant)x1x2x4x8x10 x11x12x13Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoeffici
15、entstSig.Dependent Variable:ya.第三十页，讲稿共五十页哦第三十一页，讲稿共五十页哦第三十二页，讲稿共五十页哦第三十三页，讲稿共五十页哦 水文研究中水文研究中X X和和Y Y的数量关系常常不是线性的的数量关系常常不是线性的，如，如洪峰流量与流域面积洪峰流量与流域面积之间。如果用线性描之间。如果用线性描述将丢失大量信息，甚至得出错误结论。这时述将丢失大量信息，甚至得出错误结论。这时可以用可以用曲线估计曲线估计（Curve estimationCurve estimation）或）或非线性非线性回归回归(Nonlinear regression)(Nonlinear r
16、egression)方法分析。方法分析。本部分仅就一元非线性回归问题，讨论其本部分仅就一元非线性回归问题，讨论其参数估计。参数估计。第三十四页，讲稿共五十页哦一元非线性回归方程参数估计的常用方法：一元非线性回归方程参数估计的常用方法：第三十五页，讲稿共五十页哦1，最简单最常用的方法2，通过对变量作适当变换，将原变量的非线性关 系转化为新变量的线性关系，建立起线性回归方程，然后再还原为原变量，这样建立曲线回归方程的方法称为线性化法。3，首先，要确定非线性函数的类型，然后再考虑能否通过变量变换的方法使之线性化。4，如何确定非线性函数的类型？专业知识和经验 数学方法：散点图第三十六页，讲稿共五十页哦
17、 下面列出一些常用的非线性函数的线性化变换，如果实测数据的散点图大致围绕下列的某一曲线散布，就可采用与之相应的变换，使其转化为线性问题。双曲线型指数曲线型幂函数型对数曲线型S曲线型第三十七页，讲稿共五十页哦绘制散点图，根据图形和专业知识选取曲线类型绘制散点图，根据图形和专业知识选取曲线类型（可同时选取几类）（可同时选取几类）按曲线类型，作曲线直线化变换按曲线类型，作曲线直线化变换建立直线化的直线回归方程；作假设检验，计算决定建立直线化的直线回归方程；作假设检验，计算决定系数系数将变量还原，写出用原变量表达的曲线方程将变量还原，写出用原变量表达的曲线方程比较决定系数选取比较决定系数选取“最佳最佳
18、”曲线方程曲线方程第三十八页，讲稿共五十页哦Y第三十九页，讲稿共五十页哦Y第四十页，讲稿共五十页哦Y回归方程为：回归方程为：=19.7451+7.7771lnX=19.7451+7.7771lnX方差分析有统计学意义，方差分析有统计学意义，P P0.00000.0000，F F763.50763.50，表明回归方程有意义。，表明回归方程有意义。确定系数为确定系数为0.990.99，表明回归拟合原资料，表明回归拟合原资料很好。很好。Y第四十一页，讲稿共五十页哦类似于建立线性回归方程的方法，根据类似于建立线性回归方程的方法，根据x,yx,y的原始观测资的原始观测资料，依据最小二乘法原理，直接寻求方
19、程中未知参数的最料，依据最小二乘法原理，直接寻求方程中未知参数的最小二乘估计。小二乘估计。对于非线性回归，由于回归方程是非线性函数，其对于非线性回归，由于回归方程是非线性函数，其正规方程组一般是超越方程（非代数方程），正规方程组一般是超越方程（非代数方程），不能用代不能用代数方法求解，数方法求解，只能用数值解法，迭代计算出其近似解。只能用数值解法，迭代计算出其近似解。第四十二页，讲稿共五十页哦第四十三页，讲稿共五十页哦0102030405060020406080住院天数X预后指数Y指数曲线指数曲线第四十四页，讲稿共五十页哦012345020406080住院天数（天）X预后指数的对数lnY第四十
20、五页，讲稿共五十页哦Yln回归方程为：回归方程为：4.037-0.038 4.037-0.038X X方差分析有统计学意义，方差分析有统计学意义，P P0.00000.0000，F F276.38276.38，表明回归方程有贡献。，表明回归方程有贡献。确定系数为确定系数为0.95510.9551，表明回归拟合原资料，表明回归拟合原资料较好。较好。转换为原方程的另一种形式：转换为原方程的另一种形式：XXeeY038.0)038.0037.4(665.56第四十六页，讲稿共五十页哦XXeYeY0396.0038.06066.58;665.56第四十七页，讲稿共五十页哦XXeYeY0396.0038
21、.06066.58;665.56*YYY曲线直线化曲线直线化 非线性最小二乘法非线性最小二乘法第四十八页，讲稿共五十页哦1 1，线性化方法与直接最小二乘法是建立曲线回归方程的，线性化方法与直接最小二乘法是建立曲线回归方程的基本方法基本方法。2 2，线性化方法：，线性化方法：优点：计算方便优点：计算方便缺点：误差较大。只能保证对变换后的回归方程满足总误差平方缺点：误差较大。只能保证对变换后的回归方程满足总误差平方和最小，而和最小，而不能保证还原后的回归方程的误差平方和最小不能保证还原后的回归方程的误差平方和最小。3 3，直接最小二乘法，直接最小二乘法优点：精度较高优点：精度较高缺点：计算量太大缺点：计算量太大4 4，二步法：将这两种方法结合起来。具体是先用线性化方法求，二步法：将这两种方法结合起来。具体是先用线性化方法求出曲线方程线性化过程中无须变换的参数的最小二乘估计，再出曲线方程线性化过程中无须变换的参数的最小二乘估计，再用直接最小二乘法求线性化过程中必须变换的参数的最小二乘用直接最小二乘法求线性化过程中必须变换的参数的最小二乘估计。估计。P260P260第四十九页，讲稿共五十页哦1 1，。2 2，描述，描述第五十页，讲稿共五十页哦