《数值分析函数逼近与最小二乘法精品文稿.ppt》由会员分享，可在线阅读，更多相关《数值分析函数逼近与最小二乘法精品文稿.ppt（52页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、数值分析课件函数逼近与最小二乘法数值分析课件函数逼近与最小二乘法第1页，本讲稿共52页函数逼近函数逼近n 问题问题l 数值计算中经常要计算函数值，如计算机中计算基本 初等函数及其他特殊函数；(连续情形)l 当函数只在有限点集上给定函数值，要在包含该点集 的区间上用公式给出函数的简单表达式.(离散情形)n 这些都涉及到在已知区间上用这些都涉及到在已知区间上用简单函数简单函数逼近已逼近已 知复杂函数或未知函数的问题，这就是知复杂函数或未知函数的问题，这就是函数逼函数逼 近问题近问题l插值方法就是一种逼近，要求在给定的节点处插值方法就是一种逼近，要求在给定的节点处P P(x x)与与f f(x x)
2、相等（甚至导数值相等），因此在节点附近，逼近相等（甚至导数值相等），因此在节点附近，逼近效果较好，而在远离节点的地方，由效果较好，而在远离节点的地方，由RungeRunge现象知道，有现象知道，有时效果会很差。时效果会很差。第2页，本讲稿共52页函数逼近函数逼近l由观测得到的实验数据不可避免地带有误差，甚至是由观测得到的实验数据不可避免地带有误差，甚至是 较大的误差，此时要求近似函数较大的误差，此时要求近似函数P P(x x)过全部已知点，过全部已知点，相当于保留全部数据误差，所以使用插值法不合理。相当于保留全部数据误差，所以使用插值法不合理。l对逼近函数对逼近函数P P(x x)不必要求不必
3、要求过给定的点过给定的点，只要求，只要求总体上 尽可能小，即要求即要求P P(x x)尽可能反映给定数据点的总体尽可能反映给定数据点的总体 趋势，在趋势，在某种意义某种意义（要求或标准）下与函数最（要求或标准）下与函数最“逼近逼近”。函数逼近问题可叙述为函数逼近问题可叙述为函数逼近问题可叙述为函数逼近问题可叙述为：对函数类对函数类对函数类对函数类 A A A A 中给定的函数中给定的函数中给定的函数中给定的函数 f f f f(x x x x)，需要在另一类较简单的便于计算的函数类，需要在另一类较简单的便于计算的函数类，需要在另一类较简单的便于计算的函数类，需要在另一类较简单的便于计算的函数类
4、 B B B B （B B B BA A A A）中，）中，）中，）中，找一个函数找一个函数找一个函数找一个函数P P P P(x x x x)，使，使，使，使P P P P(x x x x)与与与与f f f f(x x x x)之差在某种之差在某种之差在某种之差在某种度量意义度量意义度量意义度量意义下达到下达到下达到下达到最小。最小。最小。最小。第3页，本讲稿共52页最常见的两种度量标准最常见的两种度量标准l一致逼近（均匀逼近）一致逼近（均匀逼近）一致逼近（均匀逼近）一致逼近（均匀逼近）以以以以 作为度量误差作为度量误差作为度量误差作为度量误差f f(x x)-)-P P(x x)的的的的
5、 “大小大小大小大小”标准。标准。标准。标准。l l平方逼近（均方逼近）平方逼近（均方逼近）平方逼近（均方逼近）平方逼近（均方逼近）以以以以 作为度量误差作为度量误差作为度量误差作为度量误差f f(x x)-)-P P(x x)的的的的 “大小大小大小大小”标准。标准。标准。标准。第4页，本讲稿共52页预备知识预备知识l 线性空间、线性相关、线性无关线性空间、线性相关、线性无关l 基、维数、有限维空间与无限维空间基、维数、有限维空间与无限维空间l 常见线性空间：常见线性空间：Rn、Hn、Ca,b、Cma,b赋范线性空间赋范线性空间Ca,b2-范数：范数：-范数：范数：1-范数范数：线性空间线性
6、空间 Ca,b，f(x)Ca,b 第5页，本讲稿共52页(1)(2)(3)(4)，等号当且仅当等号当且仅当 u=0 时成立时成立内积空间内积空间内积空间内积空间设设 X 是数域是数域 K(R 或或 C)上的线性空间，对上的线性空间，对 u,v X 有有 K 中的一个数中的一个数(u,v)与之对应，且满足与之对应，且满足 称称(u,v)为为 X上的内积，定义了内积的线性空间称为上的内积，定义了内积的线性空间称为内积内积空间空间 u,v正交正交(u,v)=0第6页，本讲稿共52页内积空间内积空间定理定理设设 X 是一个内积空间，对是一个内积空间，对 u,v X 有有Cauchy-Schwarz不等
7、式不等式定理定理设设 X 是是 内积空间，内积空间，u1,u2,un X，定义矩，定义矩阵阵则则 G非奇异非奇异当且仅当当且仅当 u1,u2,un 线性无关。线性无关。Gram矩阵矩阵第7页，本讲稿共52页内积内积内积导出范数：内积导出范数：例：例：Rn 上的内积：上的内积：导出的范数为导出的范数为 加权内积加权内积给定给定正实数正实数 1,2,n,定义定义正实数正实数 1,2,n称为称为加权系数加权系数第8页，本讲稿共52页内积内积例：例：Cn 上的内积：上的内积：加权内积加权内积 1,2,n为正实数为正实数例：例：Ca,b 上的内积：上的内积：第9页，本讲稿共52页权函数权函数权函数权函数
8、设设 (x)是是 a,b 上的非负函数，满足上的非负函数，满足(1)，存在且为有限值，存在且为有限值(2)对对 a,b 上的任意非负连续函数上的任意非负连续函数 g(x)，则称则称 (x)是是 a,b 上一个权函数上一个权函数la,b 可以是无限区间，即可以是无限区间，即a,b 可以是无穷大可以是无穷大l权函数与定义区间有关权函数与定义区间有关若若 ，则则(k=0,1,2,)第10页，本讲稿共52页常见的权函数常见的权函数q 常见的权函数常见的权函数第11页，本讲稿共52页带权内积带权内积带权内积带权内积设设 (x)是是 a,b 上的权函数，上的权函数，f(x),g(x)Ca,b导出范数导出范
9、数性质性质设设 0,1,n Ca,b，则，则 0,1,n 线线性无关当且仅当性无关当且仅当 det(G)0，其中，其中第12页，本讲稿共52页正交函数族正交函数族定义定义 设设 f(x),g(x)Ca,b，(x)是是 a,b 上的权上的权函数，若函数，若则称则称 f(x)与与 g(x)在在 a,b上上 带权带权 (x)正交正交定义定义若函数族若函数族 0(x),1(x),n(x)Ca,b 满足满足则称则称 k(x)是是 a,b上上 带权带权 (x)的正交函数族的正交函数族若所有若所有 Ak=1，则称为，则称为 标准正交函数族标准正交函数族 第13页，本讲稿共52页举例举例例：例：三角函数系三角
10、函数系1，cosx，sinx，sin2x，cos2x，在在-,上是带权上是带权 (x)=1的正交函数族的正交函数族证：证：(m,n=1,2,3,)(m,n=0,1,2,)第14页，本讲稿共52页正交多项式正交多项式定义定义设设 n(x)是首项系数不为是首项系数不为 0 的的 n 次多项式，若次多项式，若 则称则称 为为 a,b上带权上带权 (x)正交正交 称称 n(x)为为 n次正交多项式次正交多项式设设 是是 a,b上带权上带权 (x)的正交多项式族，的正交多项式族，则则 n(x)在在(a,b)内有内有 n个不同的零点个不同的零点性质性质 1第15页，本讲稿共52页正交多项式正交多项式性质性
11、质 2设设 是是 a,b上带权上带权 (x)的正交多项式族，的正交多项式族，则对则对 p(x)Hn-1，有，有性质性质 3设设 是是首项系数为首项系数为 1 的正交多项式族，则有的正交多项式族，则有其中其中 0(x)=1,1(x)=x，n=1,2,第16页，本讲稿共52页 只要给定区间a,b及权函数(x),均可由一族线性无关的幂函数 1,x,xn,利用逐个正交化手续(Gram-Schmidt正交化方法)：n构造出正交多项式序列 。第17页，本讲稿共52页正交多项式正交多项式lLegendre多项式多项式l Chebyshev多项式多项式l 第二类第二类 Chebyshev多项式多项式l Lag
12、uerre多项式多项式l Hermite多项式多项式q 几类重要的正交多项式几类重要的正交多项式第18页，本讲稿共52页LegendreLegendre多项式多项式l Pn(x)的首项的首项 xn 的系数为：的系数为：Legendre 多项式多项式在在-1,1上带权上带权 (x)=1的正交多项式称为的正交多项式称为 勒让德多项式勒让德多项式x-1,1，n=1,2,记号：记号：P0,P1,P2,.则则 是是首项系数为首项系数为 1 的勒让德多项式的勒让德多项式 l 令令第19页，本讲稿共52页Legendre Legendre 多项式多项式q 勒让德多项式有以下性质：勒让德多项式有以下性质：(1
13、)正交性：正交性：(3)递推公式：递推公式：其中其中P0(x)=1,P1(x)=x，n=1,2,(4)Pn(x)在在(-1,1)内有内有n个不同的零点个不同的零点(2)奇偶性：奇偶性：(5)P2n(x)只只含含偶次幂，偶次幂，P2n+1(x)只只含奇含奇次幂次幂第20页，本讲稿共52页LegendreLegendre多项式多项式第21页，本讲稿共52页函数逼近函数逼近 记记 Hn 为所有次数不超过为所有次数不超过 n的多项的多项式组成的集合，给定函数式组成的集合，给定函数 f(x)Ca,b，若，若 P*(x)Hn 使得使得则称则称 P*(x)为为 f(x)在在 Ca,b上的上的 最佳逼近多项式
14、最佳逼近多项式最佳逼近最佳逼近取不同的范数，就可以定义不同的最佳逼近方式取不同的范数，就可以定义不同的最佳逼近方式第22页，本讲稿共52页函数逼近函数逼近最佳平方逼近最佳平方逼近最佳一致逼近最佳一致逼近第23页，本讲稿共52页曲线拟合曲线拟合能否找到一个简单易算的能否找到一个简单易算的 p(x)，使得，使得 f(x)p(x)已知已知 f(x)在某些点的函数值：在某些点的函数值：xx0 x1xmf(x)y0y1ym但是但是(1)m通常很大通常很大(2)yi本身是测量值，不准确，即本身是测量值，不准确，即 yi f(xi)这时不要求这时不要求 p(xi)=yi,而只要而只要 p(xi)yi 总体上
15、尽可能小总体上尽可能小 第24页，本讲稿共52页l 使使 最小最小l 使使 最小最小曲线拟合曲线拟合 p(xi)yi 总体上尽可能小总体上尽可能小 l 使使 最小最小q 常见做法常见做法太复杂太复杂 不可导，求不可导，求解困难解困难 最小二乘法：最小二乘法：目前最好的多项式曲线拟合算法目前最好的多项式曲线拟合算法第25页，本讲稿共52页最小二乘最小二乘曲线拟合的最小二乘问题曲线拟合的最小二乘问题l这个问题实质上是最佳平方逼近问题的这个问题实质上是最佳平方逼近问题的离散形式离散形式。可以将求连续函数的最佳平方逼近函数的方法直接用于求解该可以将求连续函数的最佳平方逼近函数的方法直接用于求解该问题。
16、问题。已知函数值表已知函数值表(xi,yi)，在函数空间，在函数空间 中求中求 S*(x)，使得，使得其中其中 i 是点是点 xi 处的权。处的权。第26页，本讲稿共52页注注最小二乘问题中，如何选择最小二乘问题中，如何选择数学模型数学模型很重要，即如何选取很重要，即如何选取函数空间函数空间 =span 0,1,n，通常需要根据物理，通常需要根据物理意义，或所给数据的分布情况来选取合适的数学模型。意义，或所给数据的分布情况来选取合适的数学模型。第27页，本讲稿共52页最小二乘求解最小二乘求解对任意对任意 S(x)=span 0,1,n，可设可设S(x)=a0 0+a1 1+an n(x)则求则
17、求 S*(x)等价于求下面的多元函数的最小值点等价于求下面的多元函数的最小值点k=0,1,n最小值点最小值点第28页，本讲稿共52页最小二乘求解最小二乘求解(k=0,1,n)这里的内积是这里的内积是离散带权内积离散带权内积，即，即，法方程法方程G法方程法方程第29页，本讲稿共52页最小二乘求解最小二乘求解法方程存在唯一解法方程存在唯一解 det(G)0Haar条件条件 0,1,n 的任意线性组合在点集的任意线性组合在点集 x0,x1,xm 上上至多只有至多只有 n个不同的零点，则称个不同的零点，则称 0,1,n在点在点集集 x0,x1,xm 上满足上满足 Haar条件条件 0,1,n 线性无关
18、线性无关m n若若 0,1,n Ca,b在点集在点集x0,x1,xm 上满足上满足Haar条件，则法方程的解存在唯一条件，则法方程的解存在唯一第30页，本讲稿共52页最小二乘求解最小二乘求解设法方程的解为：设法方程的解为：a0*,a1*,an*,则则 S*(x)=a0*0+a1*1+an*n(x)结论结论S*(x)是是 f(x)在在 中的中的 最小二乘解最小二乘解第31页，本讲稿共52页举例举例例：例：给定函数值表，求给定函数值表，求 f(x)的最小二乘拟合函数的最小二乘拟合函数 S*(x)i123456789 13456789101054211234解：解：将所给数据点画在坐标纸上，如图可以
19、看出将所给数据点画在坐标纸上，如图可以看出第32页，本讲稿共52页即有即有这些点大致在一条抛物线上。这些点大致在一条抛物线上。设拟合曲线方程为设拟合曲线方程为相应的正规方程组为相应的正规方程组为第33页，本讲稿共52页于是可得因而所求拟合多项式为 第34页，本讲稿共52页多项式拟合多项式拟合 Hn=span1,x,.,xn,即即 i=xi,则相应的法方程为则相应的法方程为此时此时 为为 f(x)的的 n次最小二乘次最小二乘拟合多项式拟合多项式多项式最小二乘曲线拟合多项式最小二乘曲线拟合第35页，本讲稿共52页举例举例例：例：求下面数据表的二次最小二乘拟合多项式求下面数据表的二次最小二乘拟合多项
20、式 得法方程得法方程xi00.250.500.751.00f(xi)1.00001.28401.64872.11702.7183解：解：设二次拟合多项式为设二次拟合多项式为解得解得所以此组数据的二次最小二乘拟合多项式为所以此组数据的二次最小二乘拟合多项式为(1)若题目中没有给出各点的权值若题目中没有给出各点的权值 i，默认为，默认为 i=1(2)该方法不适合该方法不适合 n 较大时的情形较大时的情形（病态问题）（病态问题）第36页，本讲稿共52页正交多项式拟合正交多项式拟合带权正交（离散情形）带权正交（离散情形）给定点集给定点集 以及各点的权系数以及各点的权系数 ，如果函数族，如果函数族 满足
21、满足则称则称 关于点集关于点集 带权带权 正交正交若若 0,1,n 是多项式，则可得正交多项式族是多项式，则可得正交多项式族第37页，本讲稿共52页正交多项式拟合正交多项式拟合用正交多项式做最小二乘用正交多项式做最小二乘设多项式设多项式 p0,p1,pn 关于点集关于点集 x0,x1,xm 带权带权 0,1,m 正交，则正交，则 f(x)在在 Hn中的中的最小二乘最小二乘拟合多项式拟合多项式为为其中其中k=0,1,nl 误差误差离散形式的离散形式的 2-范数范数第38页，本讲稿共52页正交多项式的构造正交多项式的构造给定给定 和权系数和权系数 ，如何构造正交多项式族，如何构造正交多项式族可以证
22、明：可以证明：关于点集关于点集 带权带权 正正交交l 三项递推公式：三项递推公式：k=1,n-1其中其中(k=0,1,n-1)(k=1,2,n-1)第39页，本讲稿共52页几点注记几点注记(1)可以将构造正交多项式族、解法方程、形成拟合多项式穿可以将构造正交多项式族、解法方程、形成拟合多项式穿插进行；插进行；(2)n 可以事先给定，或在计算过程中根据误差来决定；可以事先给定，或在计算过程中根据误差来决定；(3)该方法非常适合编程实现，只用递推公式，并且当逼近次该方法非常适合编程实现，只用递推公式，并且当逼近次数增加时，只要将相应地增加程序中的循环次数即可。数增加时，只要将相应地增加程序中的循环
23、次数即可。(4)该方法是目前多项式拟合最好的计算方法，有通用程序。该方法是目前多项式拟合最好的计算方法，有通用程序。第40页，本讲稿共52页举例举例例：例：给定数据点及权系数，求二次最小二乘拟合多项式给定数据点及权系数，求二次最小二乘拟合多项式 xi00.50.60.70.80.91.0yi 1.001.751.962.192.442.713.00 i1111111解：解：通过直接计算，可得通过直接计算，可得 Matlab正交多项式最小二乘拟合函数正交多项式最小二乘拟合函数:polyfit(x,y,n)Matlab曲线拟合工具箱：曲线拟合工具箱：cftool第41页，本讲稿共52页非线性最小二
24、乘非线性最小二乘有时需要其它函数，如有时需要其它函数，如 ，等拟合给等拟合给定的数据，这时建立的法方程是一个非线性方程组，称这定的数据，这时建立的法方程是一个非线性方程组，称这类拟合问题为类拟合问题为非线性最小二乘问题非线性最小二乘问题。xi1.001.251.501.752.00yi 5.105.796.537.458.46xi0.10.20.30.40.50.60.70.8yi 0.61.11.61.82.01.91.71.3例：例：用指数函数用指数函数 拟合下面的数据拟合下面的数据例：例：用函数用函数 拟合表中的数据拟合表中的数据第42页，本讲稿共52页可化为线性拟合问题的常见函数类可化
25、为线性拟合问题的常见函数类 拟合函数类型拟合函数类型拟合函数类型拟合函数类型 变量代换变量代换变量代换变量代换 化成的拟合函数化成的拟合函数化成的拟合函数化成的拟合函数 对于一些较特殊的非线性拟合函数类型，可以通过适当对于一些较特殊的非线性拟合函数类型，可以通过适当对于一些较特殊的非线性拟合函数类型，可以通过适当对于一些较特殊的非线性拟合函数类型，可以通过适当的变量代换后化为线性最小二乘问题的变量代换后化为线性最小二乘问题的变量代换后化为线性最小二乘问题的变量代换后化为线性最小二乘问题q 第43页，本讲稿共52页非线性拟合举例非线性拟合举例在某化学反应里，根据实验所得生成物的浓度与时间在某化学
26、反应里，根据实验所得生成物的浓度与时间在某化学反应里，根据实验所得生成物的浓度与时间在某化学反应里，根据实验所得生成物的浓度与时间关系数据见下表，求浓度关系数据见下表，求浓度关系数据见下表，求浓度关系数据见下表，求浓度y y与时间与时间与时间与时间t t 的拟合曲线的拟合曲线的拟合曲线的拟合曲线y y=F F(t t)：t ti i1 12 23 34 45 56 67 78 8y yi i(*10(*10-3-3)4.04.00 06.46.40 08.08.08.88.80 09.29.22 29.59.50 09.79.70 09.89.86 6t ti i9 9101011111212
27、1313141415151616y yi i(*10(*10-3-3)10.010.010.210.210.3210.3210.4210.4210.5210.5210.5510.5510.5810.5810.6010.6061086422yx1816141210840将数据标在将数据标在将数据标在将数据标在坐标纸上如图坐标纸上如图坐标纸上如图坐标纸上如图第44页，本讲稿共52页（1 1）取拟合函数为）取拟合函数为）取拟合函数为）取拟合函数为双曲型双曲型双曲型双曲型 可见可见可见可见y y关于参数关于参数关于参数关于参数a a,b b是非线性的为确定是非线性的为确定是非线性的为确定是非线性的为确
28、定a a,b b可令：可令：可令：可令：则拟合函数化为则拟合函数化为则拟合函数化为则拟合函数化为y y=a a+b tb t，而将数据，而将数据，而将数据，而将数据(t ti i,y yi i)相应地变相应地变相应地变相应地变 ，如下表：，如下表：，如下表：，如下表：t ti i1 11/21/21/31/31/41/41/51/51/61/61/71/71/81/8y yi i(*10(*10-3-3)0.25000.25000.15620.15625 50.12560.12560 00.11360.11364 40.10840.10846 60.10520.10526 60.10300.1
29、0309 90.10140.10142 2t ti i1/91/91/101/101/111/111/121/121/131/131/141/141/151/151/161/16y yi i(*10(*10-3-3)0.10140.10142 20.09800.09804 40.09690.09690 00.09590.09597 70.09520.09524 40.09470.09479 90.09450.09452 20.09430.09434 4第45页，本讲稿共52页（2 2）取拟合函数为）取拟合函数为）取拟合函数为）取拟合函数为指数型指数型指数型指数型 第46页，本讲稿共52页 同拟
30、合函数为双曲线型过程类似，先由同拟合函数为双曲线型过程类似，先由同拟合函数为双曲线型过程类似，先由同拟合函数为双曲线型过程类似，先由(t ti i,y yi i)算出相应的算出相应的算出相应的算出相应的(t ti i,y yi i)，然后进行多项式拟合，解得，然后进行多项式拟合，解得，然后进行多项式拟合，解得，然后进行多项式拟合，解得a a=4.48072,=4.48072,b b=1.056691.05669，从而得，从而得，从而得，从而得a a=e e a a=1.1325310=1.13253102 2，所以拟合函数：，所以拟合函数：，所以拟合函数：，所以拟合函数：一般可通过比较拟合函数
31、与所给数据误差大小来确定。一般可通过比较拟合函数与所给数据误差大小来确定。一般可通过比较拟合函数与所给数据误差大小来确定。一般可通过比较拟合函数与所给数据误差大小来确定。可见可见可见可见y y=F F2 2(t t)的误差比较小，的误差比较小，的误差比较小，的误差比较小，用它作为拟合曲线更好。用它作为拟合曲线更好。用它作为拟合曲线更好。用它作为拟合曲线更好。第47页，本讲稿共52页最佳平方逼近最佳平方逼近设设 f(x)Ca,b，0(x),1(x),n(x)Ca,b 线性无关，线性无关，令令求求 S*(x)，使得使得S*(x)称为称为 f(x)在在 中的中的 最佳平方逼近函数最佳平方逼近函数 其
32、中其中第48页，本讲稿共52页最佳平方逼近最佳平方逼近如何求如何求 S*(x)？对任意对任意 S(x)，可设可设S(x)=a0 0+a1 1+an n(x)则求则求 S*(x)等价于求下面的多元函数的最小值点等价于求下面的多元函数的最小值点k=0,1,n第49页，本讲稿共52页最佳平方逼近最佳平方逼近即即k=0,1,n法方程法方程G第50页，本讲稿共52页最佳平方逼近最佳平方逼近法方程存在唯一解法方程存在唯一解 det(G)0 0,1,n 线性无关线性无关最佳平方逼近函数的存在唯一性最佳平方逼近函数的存在唯一性设法方程的解为：设法方程的解为：a0*,a1*,an*,则则 S*(x)=a0*0+a1*1+an*n(x)性质性质S*(x)是是 f(x)在在 中中 唯一最佳平方逼近函数，唯一最佳平方逼近函数，且逼近误差为且逼近误差为证明：证明：(板书板书)第51页，本讲稿共52页求求 在在0,1上的一次最佳平方逼近多项式上的一次最佳平方逼近多项式举例举例例：例：解：解：S*(x)=0.934+0.426x第52页，本讲稿共52页