《《试验设计与数据处理》讲稿第4章试验数据的回归分析.ppt》由会员分享，可在线阅读，更多相关《《试验设计与数据处理》讲稿第4章试验数据的回归分析.ppt（24页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第4章章 试验数据的回归分析试验数据的回归分析 4.1基本概念基本概念方差分析研究两个变量间的显著性问题方差分析研究两个变量间的显著性问题回归分析处理变量之间相关关系的问题回归分析处理变量之间相关关系的问题 由试验结果建立数学模型由试验结果建立数学模型(1)确确定定性性关关系系对对应应关关系系、函函数数关关系系。其其变变量量称称确确定定性变量。性变量。(2)相关关系相关关系对应的变量称随机变量。没有一一对应对应的变量称随机变量。没有一一对应的函数关系，但有统计规律的函数关系，但有统计规律散点图、回归方程散点图、回归方程 一元回归分析一元回归分析研究单因素与试验指标间相关关系研究单因素与试验指
2、标间相关关系 多元回归分析多元回归分析研究多因素与试验指标间相关关系研究多因素与试验指标间相关关系线性回归、非线性回归线性回归、非线性回归相关关系为线性或非线性相关关系为线性或非线性14.2 一元线性回归分析一元线性回归分析最简单的线性回归分析最简单的线性回归分析4.2.1 一元线性回归方程的建立一元线性回归方程的建立设有一组试验数据设有一组试验数据xi，yi(i=1，2，n)，其中，其中x 是是自变量，自变量，y 是因变量。若是因变量。若x，y 符合线性关系，或已符合线性关系，或已知经验公式为直线形式，即：知经验公式为直线形式，即：称为变量称为变量x，y 的一元线性回归方程。的一元线性回归方
3、程。a,b 称为回归系数称为回归系数；是由是由xi代入回归方程的计算值，称为回归值。代入回归方程的计算值，称为回归值。2一元线性回归方程的建立（续）一元线性回归方程的建立（续）与与yi 之间的偏差称为残差，用之间的偏差称为残差，用ei 表示，则有：表示，则有：残差平方值（考虑到残差有正有负）之和为：残差平方值（考虑到残差有正有负）之和为：显然，只有残差平方和最小时，回归方程与试验值的显然，只有残差平方和最小时，回归方程与试验值的拟合程度最好。拟合程度最好。残差平方和残差平方和SSe为为a，b的函数，即：的函数，即：SSe=f(a,b)为使为使SSe值到达极小，根据极值原理，只要对上式分值到达极
4、小，根据极值原理，只要对上式分别对别对a，b求偏导数，并令其等于零，求解方程组即可求偏导数，并令其等于零，求解方程组即可求得求得a，b之值之值最小二乘法原理。最小二乘法原理。3一元线性回归方程的建立（续）一元线性回归方程的建立（续）根据最小二乘法，可以得到：根据最小二乘法，可以得到：对方程组求解，即可得到回归系数对方程组求解，即可得到回归系数a,b的计算式：的计算式：正规方程组正规方程组4一元线性回归方程的建立（续）一元线性回归方程的建立（续）为了方便计算，令：为了方便计算，令：于是：于是：4.2.2 一元线性回归效果的检验一元线性回归效果的检验 检验回归方程的可靠性或可信性检验回归方程的可靠
5、性或可信性相关系数检验法相关系数检验法、F检验即方差分析检验即方差分析 法、残差分析法法、残差分析法 54.2.2.1 相关系数检验法相关系数检验法 相关系数用于描述变量相关系数用于描述变量x与与y的线性相关程度的系数：的线性相关程度的系数：回归系数回归系数b 与相关系数与相关系数r 的关系为：的关系为：b 与与r 有相同的符号有相同的符号 决定系数决定系数相关系数的平方相关系数的平方r2 6相关系数的特点：相关系数的特点：0|r|1完全线性相关完全线性相关完全线性相关完全线性相关有一定的线性关系有一定的线性关系 有一定的线性关系有一定的线性关系 无线性关系无线性关系 无线性关系无线性关系 7
6、相关系数检验：相关系数检验：相关系数相关系数r 越接近越接近1，x与与y 的线性相关程度越高，然而的线性相关程度越高，然而r 的的大小未能回答其值达到多大时，大小未能回答其值达到多大时，x 与与y 之间才存在线性相关，之间才存在线性相关，所以须对相关系数所以须对相关系数r 进行显著性检验：进行显著性检验：（1）根据给定的显著性水平）根据给定的显著性水平a 和试验数据组数和试验数据组数n（n2），从），从附录附录5（P.208）查取相关系数临界值）查取相关系数临界值rmin。表中，表中，m为自变量的个数：一元回归为自变量的个数：一元回归 m=1;二元回归二元回归 m=2（2）显著性检验：）显著性
7、检验：如果如果|r|rmin 线性相关显著；线性相关显著；如果如果|r|rmin 线性相关不显著。线性相关不显著。更确切地检验：如果更确切地检验：如果|r|rmin(0.01)线性相关非常显著线性相关非常显著;如果如果 rmin(0.05)|r|rmin(0.01)线性相关显著线性相关显著;如果如果|r|rmin(0.05)线性相关不显著。线性相关不显著。8 F 检验检验方差分析方差分析 法法(1)计算离差平方和计算离差平方和回归平方和回归平方和回归值回归值 与算术平均值与算术平均值 的偏差的偏差 总离差平方和总离差平方和试验值试验值yi与其算术平均值与其算术平均值 的偏差的偏差 残差平方和残
8、差平方和试验值试验值yi与回归值与回归值 的偏差的偏差 三种平方和之间有下述关系：三种平方和之间有下述关系：SSTSSRSSe SSR还可以用更简单的公式计算还可以用更简单的公式计算:9(2)计算自由度计算自由度 1.总离差平方和总离差平方和SST的自由度为：的自由度为：dfT=n12.回归平方和回归平方和SSR的自由度为：的自由度为：dfR=1 3.残差平方和残差平方和SSe的自由度为：的自由度为：dfe=n2显然，三种自由度之间的关系为：显然，三种自由度之间的关系为：dfT=dfR+dfe(3)计算均方计算均方 离差平方和离差平方和/自由度自由度回归平方和的均方回归平方和的均方残差平方和的
9、均方残差平方和的均方(4)F检验检验服从自由度为服从自由度为(dfR,dfe)的的F 分分布布 10表表4-3 一元线性回归方差分析表一元线性回归方差分析表1.若若F F0.01(dfR,dfe)，称，称 x与与y有非常显著的线性关有非常显著的线性关系，用两个系，用两个“*”号表示号表示2.若若F0.05(dfR,dfe)F F0.01(dfR,dfe)，称称 x与与y有有显显著的线性关系，用一个著的线性关系，用一个“*”号表示；号表示；3.若若F F0.01(dfR,dfe)，称，称 y与与x1，x2，xm有非常有非常显著的线性关系，用两个显著的线性关系，用两个“*”号表示号表示2.若若F0
10、.05(dfR,dfe)FF0.01(dfR,dfe)，称称y与与x1，x2，xm有显著的线性关系，用一个有显著的线性关系，用一个“*”号表示；号表示；3.若若F F0.05(dfR,dfe)，则则称称y与与x1，x2，xm没没有明显著的线性关系，回归方程不可信有明显著的线性关系，回归方程不可信。164.3.2.2 相关系数检验法相关系数检验法 一元线性回归一元线性回归:相关系数相关系数 r 反映变量反映变量y 与与x的线性相关程度的线性相关程度 多元线性回归多元线性回归:复相关系数复相关系数 R 反映变量反映变量y与多个变量与多个变量xj之间的线性相关程度之间的线性相关程度 复相关系数复相关
11、系数R 的定义式：的定义式：多元线性回归方程的决定系数：复相关系数的平方多元线性回归方程的决定系数：复相关系数的平方R2。反映了回归平方和反映了回归平方和SSR在总离差平方和在总离差平方和SST中所占的中所占的比重。比重。17复相关系数复相关系数R 的特点：的特点：0R1 (与一元线性回归类似与一元线性回归类似)当当R=1时，时，y与与x1，x2，xm存在严格的线性关系；存在严格的线性关系；当当R=0时，时，y与与x1，x2，xm不存在任何线性相关关不存在任何线性相关关系，但可能存在其他非线性关系；系，但可能存在其他非线性关系；当当0R1时，变量间存在一定程度的线性相关关系。时，变量间存在一定
12、程度的线性相关关系。当当m=1，复相关系数复相关系数R与一元线性相关系数与一元线性相关系数r相等。相等。修正自由度的决定系数修正自由度的决定系数 显著性检验：显著性检验：如果如果|r|rmin(0.01)y与与x1，x2，xm有非常显著的线性关系有非常显著的线性关系;如果如果 rmin(0.05)|r|rmin(0.01)有显著的线性关系有显著的线性关系;如果如果|r|rmin(0.05)线性相关不显著。线性相关不显著。18 4.3.3 偏回归系数的显著性检验偏回归系数的显著性检验因素主次的判断方法因素主次的判断方法“最优最优”回归方程的条件：回归方程的条件：(1)回归方程的残差平方和最小；回
13、归方程的残差平方和最小；(2)对对y有显著影响的变量不能遗漏；有显著影响的变量不能遗漏；(3)回归方程中含有变量应尽可能少。回归方程中含有变量应尽可能少。用偏回归平方和用偏回归平方和SSj 来判断：来判断：(1)计算偏回归平方和计算偏回归平方和SSj：SSj愈大，表示愈大，表示xj对对y影响程度就愈大。影响程度就愈大。服从自由度为服从自由度为(1,dfe)的的F 分布分布 式中：式中：(2)F检验：检验：19 4.4 非线性回归分析非线性回归分析 已已经经学学过过“线线性性回回归归分分析析”方方法法：一一元元、多多元元线线性性回回归归“非非线线性性回回归归分分析析”“线性回归分析线性回归分析”
14、转化转化要解决两个问题：要解决两个问题：一、如何确定非线性函数的具体形式？一、如何确定非线性函数的具体形式？不同的非线性函数有不同的线性化形式不同的非线性函数有不同的线性化形式二、如何估计函数中的参数？二、如何估计函数中的参数？“线性回归分析线性回归分析”已经解决已经解决仍然是最小二乘法仍然是最小二乘法关键：将非线性问题线性化处理关键：将非线性问题线性化处理 20 4.4.1 一元非线性回归分析一元非线性回归分析转化为一元线性回归问题的具体做法：转化为一元线性回归问题的具体做法：根据试验数据，在直角坐标中画出散点图；根据试验数据，在直角坐标中画出散点图；根据散点图，推测根据散点图，推测y y与
15、与x x之间的函数关系；之间的函数关系；选择适当的变换，使之变成线性关系；选择适当的变换，使之变成线性关系；用线性回归方法求出线性回归方程；用线性回归方法求出线性回归方程；返回到原来的函数关系，得到要求的回归方程。返回到原来的函数关系，得到要求的回归方程。转化为一元线性回归转化为一元线性回归21常用非线性函数的线性化变换常用非线性函数的线性化变换22 4.4.2 一元多项式回归一元多项式回归常用非线性函数常用非线性函数线性化线性化容易容易复杂非线性函数复杂非线性函数线性化线性化难难任何复杂的一元连续函数都可用高阶多项式近似表达，任何复杂的一元连续函数都可用高阶多项式近似表达，因此，对于较难直线化的一元函数，可用多项式来拟合：因此，对于较难直线化的一元函数，可用多项式来拟合：如如果果令令Xl=x，X2=x2，Xm=xm，则则上上式式可可以以转转化化为多元线性方程：为多元线性方程：转化为多元线性回归转化为多元线性回归23 4.4.3 多元非线性回归多元非线性回归转化为多元线性回归转化为多元线性回归 本章要求：本章要求：掌握回归分析的基本概念和方法掌握回归分析的基本概念和方法 熟练熟练ExcelExcel中中“工具分析库工具分析库”24