《数学建模——线性回归分析.ppt》由会员分享，可在线阅读，更多相关《数学建模——线性回归分析.ppt（81页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、线性回归分析线性回归分析2023/1/5zhaoswallow2一、引言一、引言 2004年全国数模竞赛的年全国数模竞赛的B题题 “电力市场的电力市场的输电阻塞管理输电阻塞管理”第一个问题：第一个问题：某电网有某电网有8台发电机组，台发电机组，6条主要线路，条主要线路，表表1和表和表2中的方案中的方案0给出了各机组的当前出力和给出了各机组的当前出力和各线路上对应的有功潮流值，方案各线路上对应的有功潮流值，方案132给出了给出了围绕方案围绕方案0的一些实验数据，试用这些数据确的一些实验数据，试用这些数据确定各线路上有功潮流关于各发电机组出力的近定各线路上有功潮流关于各发电机组出力的近似表达式。似
2、表达式。2023/1/5zhaoswallow3表1 各机组出力方案（单位：兆瓦，记作MW）方案方案机组机组123 4 5 6780120731808012512581.1901133.02731808012512581.1902129.63731808012512581.1903158.77731808012512581.1904145.32731808012512581.190512078.5961808012512581.190612075.451808012512581.190712090.4871808012512581.190812083.8481808012512581.1909
3、12073231.398012512581.1901012073198.488012512581.1901112073212.648012512581.1901212073190.558012512581.190131207318075.85712512581.190141207318065.95812512581.190151207318087.25812512581.190161207318097.82412512581.190171207318080150.7112581.1902023/1/5zhaoswallow4181207318080141.5812581.19019120731
4、8080132.3712581.190201207318080156.9312581.190211207318080125138.8881.190221207318080125131.2181.190231207318080125141.7181.190241207318080125149.2981.19025120731808012512560.5829026120731808012512570.9629027120731808012512564.8549028120731808012512575.5299029120731808012512581.1104.8430120731808012
5、512581.1111.2231120731808012512581.198.09232120731808012512581.1120.442023/1/5zhaoswallow5表2 各线路的潮流值（各方案与表1相对应，单位：MW）方案方案线路线路1234560164.78140.87-144.25119.09135.44157.691165.81140.13-145.14118.63135.37160.762165.51140.25-144.92118.7135.33159.983167.93138.71-146.91117.72135.41166.814166.79139.45-145.
6、92118.13135.41163.645164.94141.5-143.84118.43136.72157.226164.8141.13-144.07118.82136.02157.57165.59143.03-143.16117.24139.66156.598165.21142.28-143.49117.96137.98156.969167.43140.82-152.26129.58132.04153.610165.71140.82-147.08122.85134.21156.2311166.45140.82-149.33125.75133.28155.0912165.23140.85-1
7、45.82121.16134.75156.7713164.23140.73-144.18119.12135.57157.214163.04140.34-144.03119.31135.97156.3115165.54141.1-144.32118.84135.06158.262023/1/5zhaoswallow624167.69138.07-144.14119.19137.11157.6525162.21141.21-144.13116.03135.5154.2626163.54141-144.16117.56135.44155.9327162.7141.14-144.21116.74135
8、.4154.8828164.06140.94-144.18118.24135.4156.6829164.66142.27-147.2120.21135.28157.6530164.7142.94-148.45120.68135.16157.6331164.67141.56-145.88119.68135.29157.6132164.69143.84-150.34121.34135.12157.6416166.88141.4-144.34118.67134.67159.2817164.07143.03-140.97118.75133.75158.8318164.27142.29-142.1511
9、8.85134.27158.3719164.57141.44-143.3119134.88158.0120163.89143.61-140.25118.64133.28159.1221166.35139.29-144.2119.1136.33157.5922165.54140.14-144.19119.09135.81157.6723166.75138.95-144.17119.15136.55157.592023/1/5zhaoswallow7 仔细分析题目，可以发现，该问题就是要找仔细分析题目，可以发现，该问题就是要找出出各线路上有功潮流与各线路上有功潮流与8 8台发电机出力的函数关台发电
10、机出力的函数关系系，这在数学上是一个函数拟合问题。，这在数学上是一个函数拟合问题。对函数拟合，可以采用线性函数，也可以采对函数拟合，可以采用线性函数，也可以采用非线性函数，比如多项式函数，三角函数，指用非线性函数，比如多项式函数，三角函数，指数函数等等。在给出具体问题的具体数据时，首数函数等等。在给出具体问题的具体数据时，首先想到的还是最简单的方法下手，采用最简单的先想到的还是最简单的方法下手，采用最简单的函数去拟合，也就是线性函数来表达。函数去拟合，也就是线性函数来表达。1、模型的分析2023/1/5zhaoswallow8 由电网的拓扑结构，线路上的有功潮流由由电网的拓扑结构，线路上的有功
11、潮流由机机组出力决定。又根据功率的叠加原理，各线路组出力决定。又根据功率的叠加原理，各线路上有功潮流应为各发电机组出力的线性组合，上有功潮流应为各发电机组出力的线性组合，考虑对所有实验数据采用最小二乘法进行线性考虑对所有实验数据采用最小二乘法进行线性拟合，从而得到各线路有功潮流关于各发电机拟合，从而得到各线路有功潮流关于各发电机组出力的近似表达式。组出力的近似表达式。2023/1/5zhaoswallow92、模型的建立与求解、模型的建立与求解2023/1/5zhaoswallow10 根据表根据表1 1和表和表2 2围绕方案围绕方案0 0的的1-321-32组实验数组实验数据，可以列出关于未
12、知数的据，可以列出关于未知数的3232个方程的方程个方程的方程组，利用组，利用SASSAS或或MatlabMatlab编程求解方程组，得编程求解方程组，得2023/1/5zhaoswallow11还需要根据样本值运用假设检验来判断，还需要根据样本值运用假设检验来判断，以确定求得的回归方程是否有价值。以确定求得的回归方程是否有价值。在许多国际国内数学建模竞赛中，都有可能用到回归分析。因此，我们介绍线性回归分析的基本原理，对模型好坏的评价指标，可线性化的回归分析，利用统计软件的实现等具体问题。2023/1/5zhaoswallow12二、回归分析方法二、回归分析方法回归分析是研究一个或一组变量（回
13、归分析是研究一个或一组变量（因变量，因变量，结果结果）与另一些变量（）与另一些变量（自变量或回归变量，自变量或回归变量，原因原因）之间的依存关系。）之间的依存关系。在回归模型中，若变量之间的关系是线性关系，在回归模型中，若变量之间的关系是线性关系，称为称为线性回归模型线性回归模型，否则，称为非线性回归模，否则，称为非线性回归模型。型。当自变量只有一个，称为当自变量只有一个，称为一元线性回归一元线性回归，如果如果自变量有多个，称为自变量有多个，称为多元线性回归多元线性回归。2023/1/5zhaoswallow131 1、一元线性回归、一元线性回归一元线性回归模型为一元线性回归模型为满足2023
14、/1/5zhaoswallow14一元线性回归2023/1/5zhaoswallow15则令正规方程组一元线性回归2023/1/5zhaoswallow16整理得整理得一元线性回归2023/1/5zhaoswallow17其中，其中，参数的最小二乘估计一元线性回归2023/1/5zhaoswallow18称作y关于x的一元经验回归方程。一元线性回归2023/1/5zhaoswallow19一元线性回归2023/1/5zhaoswallow20一元线性回归2023/1/5zhaoswallow212 2、多元线性回归、多元线性回归模型为：模型为：2023/1/5zhaoswallow22多元线性
15、回归2023/1/5zhaoswallow23令令多元线性回归注意：矩阵X的第一列全是1.2023/1/5zhaoswallow24则（6）可用矩阵表达为多元线性回归2023/1/5zhaoswallow25对应正规方程组为 在X不是列满秩时，其解虽然不唯一，但对任意一组解都使得残差平方和最小。多元线性回归2023/1/5zhaoswallow26多元线性回归关于多重共线性的知识请参阅韩中庚数学建模方法及其应用。2023/1/5zhaoswallow27 当当 p=1 p=1 时，多元线性回归就变成一元线性回时，多元线性回归就变成一元线性回归分析了，这时参数的求解和误差的方差的无偏估归分析了，
16、这时参数的求解和误差的方差的无偏估计与一元得到的结论是一样的，类似地也有计与一元得到的结论是一样的，类似地也有经验回经验回归平面方程归平面方程。多元线性回归2023/1/5zhaoswallow283 3、回归模型的假设检验、回归模型的假设检验 在许多实际问题中，我们事先并不能断定在许多实际问题中，我们事先并不能断定因变量与自变量之间是否确有线性关系，而前面因变量与自变量之间是否确有线性关系，而前面建立的因变量与多个自变量间的线性关系只是一建立的因变量与多个自变量间的线性关系只是一种假设，尽管这种假设常常不是没有根据的。这种假设，尽管这种假设常常不是没有根据的。这就意味，所求得的经验回归方程是
17、否有实用价值就意味，所求得的经验回归方程是否有实用价值，需要经过假设检验才能确定。，需要经过假设检验才能确定。2023/1/5zhaoswallow29主要从以下几个方面进行检验：主要从以下几个方面进行检验：a、回归方程的检验；b、回归系数的检验；c、回归好坏程度的度量。2023/1/5zhaoswallow30a a、回归方程的检验、回归方程的检验是否全为零。若全为零，则认为线性回归不是否全为零。若全为零，则认为线性回归不显著，否则认为线性回归显著。为此，在上显著，否则认为线性回归显著。为此，在上述模型中作假设述模型中作假设 要检验（6）的变量间有没有这种线性关系，只要检验p个系数2023/
18、1/5zhaoswallow31考虑总偏差平方和，利用正规方程组，有考虑总偏差平方和，利用正规方程组，有为了构造检验统计量，记经验回归方程回归方程的检验2023/1/5zhaoswallow32回归方程的检验2023/1/5zhaoswallow33 它是由自变量它是由自变量X X的取值变化且通过线性回的取值变化且通过线性回归模型对归模型对y y的影响所构成的误差平方和。的影响所构成的误差平方和。它是由随机误差和其他未加控制的因素所引起的误差平方和。回归方程的检验2023/1/5zhaoswallow34回归方程的检验2023/1/5zhaoswallow35构造检验统计量为回归方程的检验20
19、23/1/5zhaoswallow36相应的检验法则为：回归方程的检验2023/1/5zhaoswallow37不全为零，但这并不意味着每个自变量可能会起重要作用，而有的可能起的作用不大或者不起作用。因此，在通过前面的线性回归模型的检验，回归方程的检验2023/1/5zhaoswallow38还有必要从线性回归模型中剔除那些次要的、还有必要从线性回归模型中剔除那些次要的、可有可无的自变量，只保留那些起重要作用的自变量，以从新建立更为简练的线性回归模型，使之有利于实际应用。回归方程的检验2023/1/5zhaoswallow39b b、回归系数的检验、回归系数的检验检验假设2023/1/5zha
20、oswallow40下面的任务是选取检验统计量。下面的任务是选取检验统计量。由（7）所以，回归系数的检验2023/1/5zhaoswallow41则可以证明注意：矩阵C的下标都是从0开始的！回归系数的检验2023/1/5zhaoswallow42回归系数的检验2023/1/5zhaoswallow43 如果回归方程的检验结果是显著的，而且各个如果回归方程的检验结果是显著的，而且各个回归系数的检验结果都为显著时，说明各个自变量回归系数的检验结果都为显著时，说明各个自变量对因变量的单纯影响都是显著的。对因变量的单纯影响都是显著的。若有回归系数经显著性检验为不显著时，说明若有回归系数经显著性检验为不
21、显著时，说明其对应的自变量在回归方程中是不重要的，此时应其对应的自变量在回归方程中是不重要的，此时应该剔除。该剔除。回归系数的检验2023/1/5zhaoswallow44在对变量进行剔除时，需要注意：在对变量进行剔除时，需要注意：1 1）一次只能剔除一个不显著的回归系数对应）一次只能剔除一个不显著的回归系数对应的自变量，而且被剔除的自变量，应该是所的自变量，而且被剔除的自变量，应该是所有不显著的回归系数中的有不显著的回归系数中的t t值最小者。值最小者。2 2）重新进行少一个自变量的多元线性回归分析。重新进行少一个自变量的多元线性回归分析。回归系数的检验2023/1/5zhaoswallow
22、45 前面说的是剔除变量，也会有变量因素考虑不周的情况，这时应该考虑引入新的变量，那么如何引入新的变量？对于模型的选择，目前普遍采用的是逐步回归法。也即，每引入一个变量，要进行逐个检验，将不显著的变量剔除。详细情况请参阅韩中庚数学建模方法及其应用第九章。回归系数的检验2023/1/5zhaoswallow46c c、复相关系数、复相关系数 对一个回归方程来说，即使回归显著，但还对一个回归方程来说，即使回归显著，但还涉及到回归好坏程度的度量。对于一个因变量涉及到回归好坏程度的度量。对于一个因变量和一组自变量之间相关程度，则要采用的复相关和一组自变量之间相关程度，则要采用的复相关系数来度量。系数来
23、度量。研究一个变量与多个变量的线性相关称为复研究一个变量与多个变量的线性相关称为复相关分析。相关分析。2023/1/5zhaoswallow47 复相关系数定义为复相关系数2023/1/5zhaoswallow48但是复相关系数也有一些缺点。当采用的自变量自变量的引入可能是多余的。为了更准确地反映参数个数的影响，采用调整的复相关系数2023/1/5zhaoswallow494 4、预测、预测 如果经检验，认为线性回归方程是可信的，而如果经检验，认为线性回归方程是可信的，而且拟合的又好，那么接下来就要用它进行预测。且拟合的又好，那么接下来就要用它进行预测。时对y做区间估计，即以一定的置信度预测y
24、的观察值的取值范围，也即y的预测区间。2023/1/5zhaoswallow50预测2023/1/5zhaoswallow51因而其中此时预测2023/1/5zhaoswallow52预测2023/1/5zhaoswallow53预测2023/1/5zhaoswallow54三、可线性化的一元非线性回归模型三、可线性化的一元非线性回归模型 上面主要讲的是线性回归，而对于一元回归，上面主要讲的是线性回归，而对于一元回归，非线性回归的情形也是很常见的，对这些问题做回非线性回归的情形也是很常见的，对这些问题做回归就是曲线回归。归就是曲线回归。配置曲线回归的一个基本方法是通过适当的变配置曲线回归的一个
25、基本方法是通过适当的变量代换把非线性回归化为线性回归。具体如下：先量代换把非线性回归化为线性回归。具体如下：先画出观察值的散点图，通过与常见的函数曲线对比，画出观察值的散点图，通过与常见的函数曲线对比，经验的选择曲线类型。经验的选择曲线类型。常见的是下面六类曲线：常见的是下面六类曲线：2023/1/5zhaoswallow55（1 1）双曲线）双曲线 可线性化的一元非线性回归模型2023/1/5zhaoswallow56（2 2）幂函数曲线）幂函数曲线可线性化的一元非线性回归模型2023/1/5zhaoswallow57（3 3）指数曲线：）指数曲线：可线性化的一元非线性回归模型2023/1/
26、5zhaoswallow58（4 4）倒指数曲线：）倒指数曲线：可线性化的一元非线性回归模型2023/1/5zhaoswallow59（5 5）对数曲线：）对数曲线：可线性化的一元非线性回归模型2023/1/5zhaoswallow60（6 6）S S型曲线：型曲线：可线性化的一元非线性回归模型2023/1/5zhaoswallow61设有模型线性回归模型：实验数据按上面的变量代换算出可线性化的一元非线性回归模型2023/1/5zhaoswallow62再按前面的线性回归公式计算参数估计，得当y与x适合模型可线性化的一元非线性回归模型2023/1/5zhaoswallow63 其他几种曲线都可
27、通过适当的变量代换转化为其他几种曲线都可通过适当的变量代换转化为线性回归模型。这类回归模型就称为可线性化的线性回归模型。这类回归模型就称为可线性化的一元非线性回归模型。一元非线性回归模型。表面上看，该模型比上面的模型简单，然而它却无法化成线性回归，因为它是所谓本质上非线性的模型。可线性化的一元非线性回归模型 值得注意的是，并非所有的曲线回归问题都可线性化，例如 2023/1/5zhaoswallow64 多项式回归的处理方法和前面的曲线回归类似，多项式回归的处理方法和前面的曲线回归类似，通过变量转换化成多元线性回归来解决。通过变量转换化成多元线性回归来解决。对于一元m次多项式回归，可线性化的一
28、元非线性回归模型2023/1/5zhaoswallow65因此可以用前面的方法解决多项式回归问题。二元多项式回归处理方法类似。值得注意的是，随着自变量个数的增加,多元多项式回归分析的计算量急剧增加。因此，在多项式回归中较为常用的是一元二次多项式回归和一元三次多项式回归。可线性化的一元非线性回归模型2023/1/5zhaoswallow66四、软件应用四、软件应用 解决线性回归问题的常用软件有：Matlab，统计软件SPSS和SAS。SPSS的求解与SAS相同。这里介绍Matlab和SAS的求解方法。2023/1/5zhaoswallow671 1、线性回归的、线性回归的matlabmatlab
29、实现实现 回归分析的求解在回归分析的求解在MatlabMatlab中可用中可用regressregress实现，实现，其使用格式为：其使用格式为：其中y为列向量，表示因变量的取值；X为矩阵，代表自变量的取值；(注意：第一列全是1)alpha为置信水平，缺省时取0.05。b,bint,r,rint,stats=regress(y,X,alpha)2023/1/5zhaoswallow68 当置信区间包含当置信区间包含0 0时，说明该参数未通过时，说明该参数未通过T T检检验，可认为验，可认为0 0。r-残差向量，取值为Y-X*b。rint-残差的置信度为1-alpha的置信区间。stats-回归
30、方程的统计量，stats(1)为复相关系数，stats(2)为F值，stats(3)为F值对应的概率值，stats(4)为误差方差的估计值。线性回归的matlab实现2023/1/5zhaoswallow69 对照前面所讲的参数意义，采用Matlab可方便求解该问题。第一个回归模型计算结果如下，其他类似。第 1条线路回归方程参数:系数，置信下限，置信上限110.29651，109.37571，111.21731 0.08284，0.08109，0.08459 0.04828，0.04432，0.05224 0.05297，0.05164，0.05430 0.11993，0.11684，0.12
31、303-0.02544，-0.02737，-0.02351 0.12201，0.11939，0.12463 0.12158，0.11855，0.12461-0.00123，-0.00335，0.00090线性回归的matlab实现2023/1/5zhaoswallow70统计量值R2=0.9995,F=5861.51944,p=0.00000方案0的原始值，预测值，相对误差百分比:164.7800 164.7120 0.0413140.8700 140.8238 0.0328-144.2500 -144.2051 0.0312119.0900 119.0412 0.0410线性回归的matla
32、b实现2023/1/5zhaoswallow712 2、SASv9SASv9求解过程求解过程（1 1）启动）启动SASSAS软件，鼠标点击软件，鼠标点击Solutions-Solutions-Analysis-AnalystAnalysis-Analyst，启动分析家。，启动分析家。2023/1/5zhaoswallow72（2）在弹出的表中输入数据，结果如图4.2。其中1-32行为32组实验数据（方案0未选，后面将作为测试数据）。8台机组的出力为（由于数据较多，可将数据拷贝到记事本或Excel中，然后由SAS直接读入更方便。）SASv9求解过程2023/1/5zhaoswallow73SAS
33、v9求解过程2023/1/5zhaoswallow74（3）鼠标点击Statistics-Regression-Linear Regression,SASv9求解过程2023/1/5zhaoswallow75SASv9求解过程2023/1/5zhaoswallow76SASv9求解过程2023/1/5zhaoswallow77第一行分别给出的是，自变量个数p，回归平方和，平均回归平方和值，F值，第二行依次是，n-p-1，残差平方和，平均残差平方和。第三行依次是，n-1，总偏差平方和。SASv9求解过程2023/1/5zhaoswallow78最后是参数的估计，每一行依次是，参数，自由度，参数的
34、估计值，标准误差，t值，SASv9求解过程2023/1/5zhaoswallow79SAS9 可以同时完成6个回归模型参数及各指标的计算，上面只列出了第一个回归计算结果，其他类似。从复相关系数，均方误差，显著性检验和对原方案的预测几个方面来看，6个回归方程都拟合的很好，从数学的角度说明方程真实地反映了6条线路与8个机组出力的函数关系。SASv9求解过程2023/1/5zhaoswallow80五、应用案例五、应用案例（1）CUMCM2004-A：奥运临时超市网点设计：奥运临时超市网点设计（2）CUMCM2005-A：长江水质的评价和预测：长江水质的评价和预测（3）CUMCM2006-B：艾滋病疗法的评价及疗：艾滋病疗法的评价及疗 效的预测效的预测（4）CUMCM2008-B：高等教育学费标准探讨：高等教育学费标准探讨2023/1/5zhaoswallow81参考书目参考书目数学建模简明教程数学建模简明教程，西北工业大学数学建模，西北工业大学数学建模指导委员会，高等教育出版社，指导委员会，高等教育出版社，2008.数学建模方法及应用数学建模方法及应用，韩中庚，高等教育出，韩中庚，高等教育出版社，版社，2005.