《第03章曲线拟合的最小二乘法精选文档.ppt》由会员分享，可在线阅读，更多相关《第03章曲线拟合的最小二乘法精选文档.ppt（45页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第03章曲线拟章曲线拟合的最小二乘合的最小二乘法法本讲稿第一页，共四十五页本章内容本章内容n3.1 引言引言n3.2 什么是最小二乘法什么是最小二乘法n3.3 最小二乘解的求法最小二乘解的求法n3.4 加权最小二乘法加权最小二乘法n小结小结n作业与实验作业与实验2本讲稿第二页，共四十五页本章要求本章要求n1.熟悉插值法和拟合法的区别；熟悉插值法和拟合法的区别；n2.了解偏差的概念了解偏差的概念;n3.掌握使用最小二乘法进行数据拟合。掌握使用最小二乘法进行数据拟合。3本讲稿第三页，共四十五页3.1 引言引言n本节内容本节内容一一.问题提出问题提出二二.科学计算中两类逼近问题科学计算中两类逼近问
2、题三三.多项式逼近多项式逼近四四.函数逼近问题描述函数逼近问题描述五五.插值和拟合的概念与区别插值和拟合的概念与区别返回章节目录返回章节目录4本讲稿第四页，共四十五页3.1 引言引言n一一.问题提出问题提出某种合成纤维的强度与其拉伸倍数有直接关系，某种合成纤维的强度与其拉伸倍数有直接关系，下表是实际测定的下表是实际测定的 24 个纤维样品的强度与相应个纤维样品的强度与相应拉伸倍数的记录。拉伸倍数的记录。提示：将拉伸倍数作为提示：将拉伸倍数作为 x，强度作为，强度作为 y，在座标，在座标纸上标出各点，可以发现什么纸上标出各点，可以发现什么?5本讲稿第五页，共四十五页3.1 引言引言6本讲稿第六页
3、，共四十五页3.1 引言引言从图中可以看出从图中可以看出,纤维纤维强度与拉伸倍数大致强度与拉伸倍数大致成线形关系成线形关系,并且并且 24 个点大致分布在一条个点大致分布在一条直线附近直线附近,可用一条直可用一条直线来表示两者之间的线来表示两者之间的关系。关系。解：设解：设 y*=a+bxi 我们希望我们希望y*=a+bxi与所有的数据点与所有的数据点(样本点样本点)(xi,yi)越越接近越好。即令接近越好。即令=yi-y*i最小。必须找到一种最小。必须找到一种度量标准度量标准来来衡量什么曲线衡量什么曲线最接近所有数据点最接近所有数据点。7本讲稿第七页，共四十五页3.1 引言引言n二二.科学计
4、算中科学计算中两类逼近两类逼近问题：问题：1、关于、关于数学函数数学函数的逼近问题：的逼近问题：计算机只能做计算机只能做算术运算算术运算，因此，在计算机上计算数，因此，在计算机上计算数学函数必须用其它学函数必须用其它简单的函数简单的函数来逼近，且用它来代替来逼近，且用它来代替原来精确的数学函数的计算。原来精确的数学函数的计算。如：如：f(x)=sin(x)用用 代替等。代替等。函数逼近的特点：函数逼近的特点：（1）要求高精度逼近；）要求高精度逼近；（2）要求快速计算（计算量要小）。）要求快速计算（计算量要小）。无穷级数与函数逼近8本讲稿第八页，共四十五页3.1 引言引言2、建立、建立实验数据实
5、验数据的数学模型：的数学模型：给定函数的实验数据，需要用给定函数的实验数据，需要用较简单和合适较简单和合适的函数来的函数来逼近（或逼近（或拟合拟合实验数据）实验数据）例：已知例：已知 y=f(x)实验数据实验数据 希望建立希望建立y=f(x)数学模型（近似表达式）数学模型（近似表达式）数据逼近的特点：数据逼近的特点：（1）要求适度的精度；）要求适度的精度；（2）实验数据有小的误差；）实验数据有小的误差；（3）有些问题会有特殊信息来选择数学模型。）有些问题会有特殊信息来选择数学模型。9本讲稿第九页，共四十五页3.1 引言引言n三三.多项式逼近（已学过）多项式逼近（已学过）1、Taylor多项式逼
6、近函数（在多项式逼近函数（在xx0点）点）（详见教材（详见教材P88）n例：教材例：教材89例例12、插值多项式逼近函数、插值多项式逼近函数 （详见教材（详见教材P88，另教材第，另教材第2章）章）P88?10本讲稿第十页，共四十五页3.1 引言引言n四四.函数逼近问题描述函数逼近问题描述设设f(x)为为a,b上连续函数上连续函数,寻求一个近似函数寻求一个近似函数P(x)(多项式多项式)使在使在a,b上均匀逼近上均匀逼近f(x)。11本讲稿第十一页，共四十五页3.1 引言引言n五五.插值和拟合的概念与区别插值和拟合的概念与区别插值法是使用插值多项式来逼近未知或复杂函数的插值法是使用插值多项式来
7、逼近未知或复杂函数的,它要求插值函数与被插函数在它要求插值函数与被插函数在插值节点上函数值相同插值节点上函数值相同,而在其他点上没有要求。在非插值节点上有时函数值会相而在其他点上没有要求。在非插值节点上有时函数值会相差很大。差很大。最佳逼近问题要求在被插函数的最佳逼近问题要求在被插函数的定义区间上定义区间上,所选近似函所选近似函数都能与被插函数有数都能与被插函数有较好的近似较好的近似。最佳逼近是在函数空间最佳逼近是在函数空间 M中选中选 P(x)满足满足12本讲稿第十二页，共四十五页3.1 引言引言但由于绝对值函数不宜进行分析运算但由于绝对值函数不宜进行分析运算,常将上式化为常将上式化为 来讨
8、论来讨论,于是最佳逼近问题变为于是最佳逼近问题变为最佳平方逼近最佳平方逼近问题问题,而离散的最佳平方逼进问题就是常说的而离散的最佳平方逼进问题就是常说的曲线拟合曲线拟合 它们都可用最小二乘法求解。它们都可用最小二乘法求解。插值法插值法适用于适用于数据精确或可靠度较高的情况数据精确或可靠度较高的情况 曲线拟合法曲线拟合法适用于适用于数据本身就有误差的情况数据本身就有误差的情况13本讲稿第十三页，共四十五页3.2 什么是最小二乘法什么是最小二乘法n本节内容本节内容一一.问题背景问题背景二二.偏差的概念偏差的概念三三.最小二乘原则最小二乘原则四四.最小二乘法最小二乘法返回章节目录返回章节目录14本讲
9、稿第十四页，共四十五页3.2 什么是最小二乘法什么是最小二乘法n一一.问题背景问题背景科学实验，统计分析，获得大量数据科学实验，统计分析，获得大量数据15本讲稿第十五页，共四十五页3.2 什么是最小二乘法什么是最小二乘法 16本讲稿第十六页，共四十五页3.2 什么是最小二乘法什么是最小二乘法当当数据量特别大时数据量特别大时一般不用插值法。这是因为数据量一般不用插值法。这是因为数据量很大时所求插值曲线中的未知参数就很多，而且数据很大时所求插值曲线中的未知参数就很多，而且数据量很大时，多项式插值会出现高次插值（效果不理想）量很大时，多项式插值会出现高次插值（效果不理想）或分段低次插值（精度不高）；
10、另外，测量数据本身或分段低次插值（精度不高）；另外，测量数据本身往往就有误差，所以，使插值曲线刻意经过这些点也往往就有误差，所以，使插值曲线刻意经过这些点也不必要。不必要。而曲线拟合是，首先根据物理规律或描点画草图确定而曲线拟合是，首先根据物理规律或描点画草图确定一条用来拟合的函数曲线形式，也可选择低次多项式一条用来拟合的函数曲线形式，也可选择低次多项式形式（所含参数比较少），然后按最小二乘法求出该形式（所含参数比较少），然后按最小二乘法求出该曲线，它未必经过所有已知点，但它能反映出数据的曲线，它未必经过所有已知点，但它能反映出数据的基本趋势，且误差最小，效果比较好。基本趋势，且误差最小，效果
11、比较好。17本讲稿第十七页，共四十五页3.2 什么是最小二乘法什么是最小二乘法n二二.偏差（残差）的概念偏差（残差）的概念在回归分析中称为残差在回归分析中称为残差仍然是已知仍然是已知 x1 xm;y1 ym,求一个简单易算求一个简单易算的近似函数的近似函数 y(x)f(x)。但是但是 m 很大；很大；i 本身是测量值本身是测量值,不准确不准确,即即i f(xi)这时没必要取这时没必要取 (xi)=yi,而要使而要使 (xi)yi 总体总体上尽可能小。上尽可能小。P7118本讲稿第十八页，共四十五页3.2 什么是最小二乘法什么是最小二乘法 常见做法：常见做法：使使 最小最小/*minimax p
12、roblem*/偏差最大绝对值最小偏差最大绝对值最小 使使 最小最小 偏差绝对值之和偏差绝对值之和使使 最小最小 /*Least-Squares method*/偏差平方和最小偏差平方和最小 太复杂不可导，求解困难19本讲稿第十九页，共四十五页3.2 什么是最小二乘法什么是最小二乘法n三三.最小二乘原则最小二乘原则1.最小二乘原则最小二乘原则n使使偏差平方和最小偏差平方和最小（上页中方法（上页中方法3）的原则称为）的原则称为最小最小二乘原则二乘原则；2.最小二乘法最小二乘法n按最小二乘原则选择拟合曲线按最小二乘原则选择拟合曲线y=(x)的方法的方法P7120本讲稿第二十页，共四十五页3.2 什
13、么是最小二乘法什么是最小二乘法n四四.最小二乘法最小二乘法P7221本讲稿第二十一页，共四十五页3.2 什么是最小二乘法什么是最小二乘法22本讲稿第二十二页，共四十五页3.3 最小二乘解的求法最小二乘解的求法n本节内容本节内容一一.最小二乘解的求法最小二乘解的求法二二.最小二乘拟合多项式的存在唯一性最小二乘拟合多项式的存在唯一性三三.一般最小二乘拟合一般最小二乘拟合返回章节目录返回章节目录23本讲稿第二十三页，共四十五页3.3 最小二乘解的求法最小二乘解的求法n一一.最小二乘解的求法最小二乘解的求法24本讲稿第二十四页，共四十五页3.3 最小二乘解的求法最小二乘解的求法P73 3.3.225本
14、讲稿第二十五页，共四十五页3.3 最小二乘解的求法最小二乘解的求法26本讲稿第二十六页，共四十五页3.3 最小二乘解的求法最小二乘解的求法P74 m次多项式拟合27本讲稿第二十七页，共四十五页3.3 最小二乘解的求法最小二乘解的求法（1）直线拟合（一次多项式拟合）直线拟合（一次多项式拟合）若若 ，a0,a1满足法方程组满足法方程组 即即a0,a1是法方程组的解。是法方程组的解。28本讲稿第二十八页，共四十五页3.3 最小二乘解的求法最小二乘解的求法例例1 已知一组试验数据已知一组试验数据试用试用直线拟合直线拟合这组数据这组数据.(计算过程保留计算过程保留3位小数位小数)。解解 设直线设直线ya
15、0+a1x，那么，那么a0,a1满足的法方程组公式为满足的法方程组公式为29本讲稿第二十九页，共四十五页故法方程组为故法方程组为解得解得a0=1.229 a1=1.483 所求直线方程为所求直线方程为 y=1.229+1.483x 3.3 最小二乘解的求法最小二乘解的求法计算列表如下：计算列表如下：30本讲稿第三十页，共四十五页3.3 最小二乘解的求法最小二乘解的求法（2）二次多项式拟合）二次多项式拟合 若若 满足法方程组满足法方程组 即即a0,a1,a2是法方程组的解。是法方程组的解。31本讲稿第三十一页，共四十五页3.3 最小二乘解的求法最小二乘解的求法例例2 已知一组试验数据已知一组试验
16、数据 试用试用二次多项式二次多项式拟合这组数据拟合这组数据.(计算过程保留计算过程保留2位小数位小数)解解 设设 满足的法方程组满足的法方程组32本讲稿第三十二页，共四十五页3.3 最小二乘解的求法最小二乘解的求法计算列表如下：计算列表如下：33本讲稿第三十三页，共四十五页3.3 最小二乘解的求法最小二乘解的求法故法方程组为故法方程组为解得解得a0=5.05 a1=-4.04 a2=1.01所求二次多项式为所求二次多项式为 y=5.054.04x+1.01x234本讲稿第三十四页，共四十五页3.3 最小二乘解的求法最小二乘解的求法n二二.最小二乘拟合多项式的存在唯一性最小二乘拟合多项式的存在唯
17、一性 定理：设点定理：设点x0,x1,xm互异，则法方程组互异，则法方程组 存在唯一的一组解存在唯一的一组解 证明：用反证法（略）证明：用反证法（略）35本讲稿第三十五页，共四十五页3.3 最小二乘解的求法最小二乘解的求法n三三.一般最小二乘拟合一般最小二乘拟合36本讲稿第三十六页，共四十五页3.3 最小二乘解的求法最小二乘解的求法两种非线性最小二乘问题的求解途径两种非线性最小二乘问题的求解途径 （1）化为线性最小二乘问题）化为线性最小二乘问题 部分可化为线性拟合问题的常见函数类型见部分可化为线性拟合问题的常见函数类型见下页表下页表 （2）马奎特（）马奎特（Marquardt）方法）方法 是在
18、计算机上求解非线性最小二乘拟合问题的是在计算机上求解非线性最小二乘拟合问题的最为常用和有效的方法之一。（略）最为常用和有效的方法之一。（略）37本讲稿第三十七页，共四十五页3.3 最小二乘解的求法最小二乘解的求法38本讲稿第三十八页，共四十五页3.4 加权最小二乘法加权最小二乘法n本节内容本节内容一一.加权最小二乘法加权最小二乘法二二.例例返回章节目录返回章节目录39本讲稿第三十九页，共四十五页3.4 加权最小二乘法加权最小二乘法n一一.加权最小二乘法加权最小二乘法 重度：即权重或者密度，统称为重度：即权重或者密度，统称为权系数权系数。它的大小反。它的大小反映了数据（映了数据（xi,yi）地位
19、的强弱。）地位的强弱。定义加权平方误差为：定义加权平方误差为：40本讲稿第四十页，共四十五页3.4 加权最小二乘法加权最小二乘法41本讲稿第四十一页，共四十五页3.4 加权最小二乘法加权最小二乘法n二二.例例 例例3 已知一组实验数据（已知一组实验数据（xi,yi）及权）及权 Wi 如表所示。若如表所示。若 x 与与 y 之间有线性关系之间有线性关系ya+bx，试用最小二乘法确定试用最小二乘法确定系数系数 a 和和 b。P8442本讲稿第四十二页，共四十五页3.4 加权最小二乘法加权最小二乘法n解解 因拟合曲线为一次多项式曲线（直线）因拟合曲线为一次多项式曲线（直线）1(x)=a+bx，故相应
20、的法方程组形式如，故相应的法方程组形式如式式。将表中各已知数据代入即得法方程组将表中各已知数据代入即得法方程组 解之得解之得43本讲稿第四十三页，共四十五页小结小结n3.1 引言引言n3.2 什么是最小二乘法什么是最小二乘法n3.3 最小二乘解的求法最小二乘解的求法n3.4 加权最小二乘法加权最小二乘法44本讲稿第四十四页，共四十五页作业与实验作业与实验n作业（上作业本）：作业（上作业本）：习题三（习题三（P89P89）：）：1 1、3 3n实验实验实验名称：实验二实验名称：实验二 最小二乘法最小二乘法实验目的：验证多项式曲线拟合的最小二乘解，进一步加深对最实验目的：验证多项式曲线拟合的最小二乘解，进一步加深对最小二乘法的理解。小二乘法的理解。实验日期：实验日期：n0909计计1111：5 5月月1313日（周五）日（周五）7 7、8 8节、节、2020日（周五）日（周五）7 7、8 8节节n0909计计6161：5 5月月1010日（周二）日（周二）1 1、2 2节、节、1717日（周二）日（周二）1 1、2 2节节具体要求见另外文档具体要求见另外文档45本讲稿第四十五页，共四十五页