《第2章最小二乘法精选PPT.ppt》由会员分享，可在线阅读，更多相关《第2章最小二乘法精选PPT.ppt（23页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第2章最小二乘法第1页，此课件共23页哦2因此，怎样从给定的一组数据出发，在某个函数类中寻求一个“最好”的函数（x）来拟合这组数据，是一个值得讨论的问题。随着拟合效果“好”、“坏”标准的不同，解决此类问题的方法也不同。这里介绍一种最常用的曲线拟合方法，即最小二乘法。2 什么是最小二乘法什么是最小二乘法如前所述，在一般情况下，我们不能要求近似曲线y=f（x）严格地通过所有数据点，亦即不能要求所有拟合曲线函数在xi 处的偏差（亦称残差）都严格地趋于零。但是，为了使近似曲线尽量反映所给数据点的变化趋势，要求i都较小还是需要的。达到这一目标的途径很多，常见的有：(1)选取（x），使偏差绝对值之和最小，
2、即(2.1)第2页，此课件共23页哦3(2)选取（x），使偏差最大绝对值最小，即(2.2)(3)选取（x），使偏差平方和最小，即(2.3)为了方便计算、分析与应用，我们较多地根据“偏差平方和最小偏差平方和最小”的原则（称为最小二乘原则最小二乘原则）来选取拟合曲线y=（x）按最小二乘原则选择拟合曲线的方法，称为最小二乘法最小二乘法。本章要着重讨论的线性最小二乘问题，其基本提法是：对于给定数据表xx1x2xmyy1y2ym第3页，此课件共23页哦4要求在某个函数类（其中nm）中寻求一个函数(2.4)使*(x)满足条件(2.5)式中是函数类中任一函数。满足关系式（2.5）的函数，称为上述最小二乘问题
3、的最小二乘解最小二乘解。由上可知，用最小二乘法解决实际问题包含两个基本环节两个基本环节：先根据所给数据点的变化趋势与问题的实际背景确定函数类,即确定所具有的形式；然后按最小二乘法原则（2.3）求取最小二乘解，即确定其系数。第4页，此课件共23页哦5最小二乘解的求法最小二乘解的求法 由最小二乘解（2.4）应满足条件（2.5）知，点是多元函数的极小点，从而满足方程组即第5页，此课件共23页哦6亦即若对任意的函数h(x)和g(x)，引入记号则上述方程组可以表示成写成矩阵形式即(3.1)(3.2)第6页，此课件共23页哦7方程组(3.2)称为法方程组法方程组。当线性无关时，可以证明它有唯一解并且相应的
4、函数(2.4)就是满足条件(2.5)的最小二乘解。综上分析可得 定理定理1 对任意给定的一组实验数据(其中互异),在函数类(线性无关）中,存在唯一的函数使得关系式(2.5)成立，并且其系数可以通过解方程组(3.2)得到。作为曲线拟合的一种常用的情况，若讨论的是代数多项式拟合，即取则由(3.1)知第7页，此课件共23页哦8故相应的法方程组为下面，通过两个具体的例子来说明用最小二乘法解决实际的问题的具体步骤与某些技巧。(3.3)第8页，此课件共23页哦9例例 1某种铝合金的含铝量为，其熔解温度为c，由实验测得与的数据如表表3-1左边三列。使用最小二乘法建立与之间的经验公式。解解 根据前面的讨论，解
5、决问题的过程如下：（1）将表中给出的数据点描绘在坐标纸上，如图图3-1所示。（2）确定拟合曲线的形式。由图图3-1可以看出，六个点位于一条直线的附近，故可以选用线性函数（直线）来拟合这组实验数据，即令180图3-1y30026022030507090 x第9页，此课件共23页哦10其中a,b为待定常数。（3）建立法方程组。由于问题归结为一次多项式拟合问题，故由(3.3)知，相应的法方程组形如经过计算（表表3-1）即得确定待定系数a，b的法方程组（4）解法方程(3.5)得a=95.3524,b=2.2337代入(3.4)即得经验公式y=95.3524+2.2337x(3.4)(3.5)(3.6)
6、第10页，此课件共23页哦11 i 136.91811361.616678.9 246.71972180.899199.9 363.72354057.6914969.5 477.82706052.8421006.0 584.02837056.0023772.0 687.52927656.2525550.0396.6145828365.28101176.3表表 3-1第11页，此课件共23页哦12所得经验公式能否较好地反映客观规律,还需通过实践来检验.由(3.6)式算出的函数值(称为拟合值拟合值)与实际值有一定的偏差。由表3-2可以看出，偏差的平方和平方和，其平方根（称为均方误差均方误差）在一定
7、程度上反映了所得经验公式的好坏。同时，由表表3-2还可以看出，最大偏差最大偏差 .如果认为这样的误差都允许的话，就可以用经验公式(3.6)来计算含铝量在36.987.5%之间的溶解度。否则，就要用改变函数类型或者增加实验数据等方法来建立新的经验公式。例例 2在某化学放应里，测得生成物的浓度y%与时间t的数据表见表表3-3，是用最小二乘法建立t与y的经验公式。解解 将已知数据点描述在坐标纸上，见图图3-2。由图3-2及问题的物理背景可以看出，拟合曲线应具下列特点：第12页，此课件共23页哦13i12345636.946.763.777.884.087.5177.78199.67237.64269
8、.13282.98290.80181197235270283292-3.222.672.64-0.87-0.02-1.2010.377.136.970.760.00041.4426.6704表表 3-2第13页，此课件共23页哦14 t12345678y4.006.408.008.809.229.509.709.86t910111213141516y10.0010.2010.3210.4210.5010.5510.5810.60表表 3-3（1）曲线随着t的增加而上升，但上升速度由快到慢。y10504812t16图图 3-2第14页，此课件共23页哦15（2）当t=0时，反应还未开始，即y=0
9、;当时，y趋于某一常数.故曲线应通过原点(或者当t=0时以原点为极限点)，且有一条水平渐近线。具有上述特点的曲线很多。选用不同的数学模型，可以获得不同的拟合曲线与经验公式。下面提供两种方案:方案方案1:设想是双曲线型的，并且具有下面的形式(3.7)此时，若直接按最小二乘法原则去确定参数a和b,则问题归结为求二元函数的极小点，这将导致求解非线性方程组非线性方程组:(3.8)第15页，此课件共23页哦16给计算带来了麻烦。可通过变量替换来将它转化为关于待定参数的线.性形函数。为此，将(3.7)改写成于是，若引入新变量则(3.7)式就是第16页，此课件共23页哦17同时，由题中所给数据表表3-3可以
10、算出新的数据表表表3-4这样，问题就归结为：根据数据表表3-4，求形如的最小二乘解.参照例1的做法，解方程组i123161.000000.500000.333330.062500.250000.156250.125000.09434表表 3-4第17页，此课件共23页哦18既得a=80.6621,b=161.6822代入(3.7),既得经验公式(3.9)方案方案2：设想具有指数形式为了求参数a和b时，避免求解一个非线形方程组，对上式两边取对数此时，若引入新变量并记A=lna,B=b,则上式就是(3.10)第18页，此课件共23页哦19又由数表表3-3可算出新的数据表表3-5。表表 3-5于是将
11、问题归为：根据数据表表3-5，求形如的最小二乘解。参照方案1，写出相应的法方程组并解之，即得A=-4.4807，B=-1.0567于是i123161.000000.500000.333330.062501.386291.856302.079442.36085第19页，此课件共23页哦20故得另一个经验公式将两个不同的经验公式(3.9)和(3.11)进行比较（表表3-6），从均方误差与最大偏差这两个不同角度看，后者均优于前者。因此，在解决实际问题时，常常要经过反复分析，多次选择，计算与比较，才能获得好的数学模型。表表 3-6下面以常用的多项式拟合为例，说明最小二乘法在电子计算机上实现的步骤。经验
12、公式均方误差最大偏差（3.9）式（3.11)式(3.11)第20页，此课件共23页哦21设有一组实验数据，今要用最小二乘法求一n(nm)次多项式曲线来拟合这组数据。显然，求的实质就是要确定其系数。由前面讨论可知，问题可归结为建立和求解法方程组(3.3).为了便于编制程序并减少工作量，引入矩阵则法方程组(3.3)的系数矩阵（用A表示）和右端向量（用b表示）分别为:第21页，此课件共23页哦22相应的程序框图如图图3-3所示,其中中间矩阵C的生成方法见图图3-4。输出 生成法方程组(3.3)的右端向量生成中间矩阵C 输入 及m,n 解法方程组(3.3)得 生成法方程组(3.3)的系数矩阵图图(3-3)第22页，此课件共23页哦23图图 3-4第23页，此课件共23页哦