《计算方法第三章曲线拟合的最小二乘法ppt课件.ppt》由会员分享，可在线阅读，更多相关《计算方法第三章曲线拟合的最小二乘法ppt课件.ppt（36页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法1第三章第三章曲线拟合的最小二乘法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么一、数据拟合的最小二乘法的思想一、数据拟合的最小二乘法的思想 已知离散数据：已知离散数据：(xi,yi
2、),i=0,1,2,m,假设我们用函假设我们用函数数 逼近函数逼近函数f(x)，则两个函数在每一个点，则两个函数在每一个点xi都会产都会产生一个误差：生一个误差：考虑整体误差考虑整体误差1 1 曲线拟合与最小二乘法曲线拟合与最小二乘法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法3应该使应该使整体达最小整体达最小（误差的平方和最小）（误差的平方和最小）。通过这种通过这种度量标准度量标准求
3、得拟合曲线的方法，就称作求得拟合曲线的方法，就称作曲线拟曲线拟合的最小二乘法合的最小二乘法(最小二乘逼近最小二乘逼近)。在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法4二、最小二乘法拟合曲线的步骤二、最小二乘法拟合曲线的步骤第二步：根据图示判断点第二步：根据图示判断点(xi,yi)所反映的函数类，确定曲线所反映的函数类，确定曲线 所属的所属的函数类型函数类型，例如，例如多项式函数类、三角
4、函数多项式函数类、三角函数 类、指数函数类、对数函数类类、指数函数类、对数函数类等。假设所确定的等。假设所确定的 函数类的基函数为函数类的基函数为第一步：根据如下已知点的坐标，在坐标系里描点第一步：根据如下已知点的坐标，在坐标系里描点则所求的函数可以表示为：则所求的函数可以表示为：只要确定了系数，就可以求出拟合曲线。只要确定了系数，就可以求出拟合曲线。经验公式经验公式在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第
5、三章 曲线拟合的最小二乘法5第三步：对于其整体误差第三步：对于其整体误差所求的解应该使以上二次函数所求的解应该使以上二次函数达到极小达到极小，由极值原理应有：，由极值原理应有：令：令：在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法6令令则有则有这样就给出了求解这样就给出了求解 方程组方程组：离散内积离散内积在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为
6、浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法7同样称其为同样称其为法方程组法方程组法方程组法方程组。解法方程组求得。解法方程组求得便得到最小二乘拟合曲线便得到最小二乘拟合曲线为了便于求解，我们再对为了便于求解，我们再对法方程组法方程组的导出作进一步分析。的导出作进一步分析。在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点
7、点算不了什么2022/12/29第三章 曲线拟合的最小二乘法8得到得到法方程组法方程组系数矩阵系数矩阵系数矩阵系数矩阵第第 j 行的元素为：行的元素为：由由在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法9于是法方程组的于是法方程组的系数矩阵系数矩阵可写为：可写为：将右端第二个矩阵记为将右端第二个矩阵记为：在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪
8、费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法10则则系数矩阵系数矩阵可以表示为：可以表示为：此外，关于法方程组的此外，关于法方程组的右端项右端项（常数项）（常数项）：在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法11由由得到得到在日常生活中，随处都可以看到浪费粮
9、食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法12最后可以将最后可以将法方程组法方程组表示为：表示为：其中其中这样可以较快写出这样可以较快写出法方程组法方程组来。来。在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法1
10、3如果所求得最小二乘拟合函数为如果所求得最小二乘拟合函数为n次多项式次多项式，则：，则：这时这时：误差误差：在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法14例例3.1 根据如下根据如下离散数据离散数据拟合曲线并估计误差拟合曲线并估计误差 x 1 2 3 4 6 7 8 y 2 3 6 7 5 3 2解解:step1:描点描点 1 2 3 4 5 6 7 8 7 6 5 4 3 2 1*
11、step2:从图形可以看出拟从图形可以看出拟合曲线为合曲线为一条抛物线一条抛物线：step3:根据基函数给出法根据基函数给出法方程组方程组2 2 多项式拟合函数多项式拟合函数在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法15由由得到得到即即又又求得求得法方程组为法方程组为：在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中
12、，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法16解得解得：求得拟合二次多项式函数求得拟合二次多项式函数误差为：误差为：先计算出拟合函数值：先计算出拟合函数值：得到得到：或者：或者：xi1234678 p21.72724.00015.50026.22755.36373.77261.4087在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022
13、/12/29第三章 曲线拟合的最小二乘法17 解：在坐标轴描点解：在坐标轴描点例例 3.2 根据如下离散数据拟合曲线并估计误差根据如下离散数据拟合曲线并估计误差 xi-3-2 -1 0 1 2 3 yi 4 2 3 0-1 -2 -5从离散点的图形上从离散点的图形上看看不出不出原函数属于哪一原函数属于哪一类型，一般多采用多类型，一般多采用多项式拟合，在此我们项式拟合，在此我们用二次多项式拟合。用二次多项式拟合。在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为
14、浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法18根据如下离散数据给出法方程组根据如下离散数据给出法方程组 xi-3-2 -1 0 1 2 3 yi 42 3 0-1 -2 -5这时这时求得求得得到法方程组得到法方程组在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法19所求二次拟合曲线为所求二次拟合曲线为 拟合曲线的均方偏差为拟合曲线的均方偏差为由由解得：解得：在日
15、常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法20例例3.3 对如下数据作形如对如下数据作形如 y=aeb x 的拟合曲线的拟合曲线 解解:由于函数集合由于函数集合=aeb x|a,b R 不是一线性空间，不是一线性空间，因此直接作拟合曲线是困难的。因此直接作拟合曲线是困难的。为了便于计算，在函数为了便于计算，在函数 y=a eb x 两端分别取两端分别取对数对数得到得到这时，需要将这时，需
16、要将原函数表原函数表进行转换如下进行转换如下令令 z=ln y ,A=ln a,B=b,则则 z=A+Bxln y=ln a+bx xi12345678 yi15.320.527.436.649.165.687.8117.6在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法21对对 z=A+Bx 作线性拟合曲线，取作线性拟合曲线，取这时这时 xi12345678 yi15.320.527.4
17、36.649.165.687.8117.6 xi12345678 zi2.723.023.313.603.894.184.484.77在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法22得正则方程组得正则方程组解得解得 于是有于是有拟合曲线为拟合曲线为：在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮
18、食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么例例3.4 3.4 利用最小二乘法解下列超定（矛盾）方程组利用最小二乘法解下列超定（矛盾）方程组 解解:超定方程组很难得到一组值使得每一个方程都成立。一超定方程组很难得到一组值使得每一个方程都成立。一般情况下用般情况下用尽量使每一个方程都近似成立尽量使每一个方程都近似成立的的一组值一组值作为超定方作为超定方程的近似解。这时最小二乘法就可以用于解这类方程程的近似解。这时最小二乘法就可以用于解这类方程。采用最小二乘法，考虑如下的误差函数：采用最小二乘法，考虑如下的误差函数：独立方程独立方程数多于变数多于变量数量数4 4 矛盾方程
19、组的最小二乘法矛盾方程组的最小二乘法2022/12/2923在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法24所求的所求的最小二乘最小二乘解应该满足解应该满足在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三
20、章 曲线拟合的最小二乘法25同理可得同理可得：令偏导数等于零令偏导数等于零在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法26法方程组为：法方程组为：解此方程组得最小二乘解：解此方程组得最小二乘解：x1=-0.3141 x2=0.1333 x3=0.0269在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪
21、费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法27关于法方程组的获得，可以用更简便的方法，先将方程组关于法方程组的获得，可以用更简便的方法，先将方程组用矩阵表示用矩阵表示 简化为简化为 两边同乘以系数矩阵的转置矩阵，就得到所需要的法方程组两边同乘以系数矩阵的转置矩阵，就得到所需要的法方程组：具体计算结果如下：具体计算结果如下：在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点
22、点算不了什么2022/12/29第三章 曲线拟合的最小二乘法28与前面计算的法方程组相同，解值得最小二乘解与前面计算的法方程组相同，解值得最小二乘解x1=-0.3141 x2=0.1333 x3=0.0269在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法29最小二乘曲线拟合最小二乘曲线拟合 矛盾方程组求最小二乘解矛盾方程组求最小二乘解矛盾方程组的最小二乘解矛盾方程组的最小二乘解在日常生活
23、中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法30本节本节(1)问题问题1、最小二乘法拟合曲线的步骤是什么？最小二乘法拟合曲线的步骤是什么？2、如何根据离散数据写出法方程组？如何根据离散数据写出法方程组？在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点
24、点算不了什么3、最小二乘法拟合曲线的平方误差最小二乘法拟合曲线的平方误差如何计算？如何计算？例例3.5 确定经验公式确定经验公式 中的参数，使之中的参数，使之 与下列数据拟合与下列数据拟合 xi 0.1 0.2 0.3 0.4 0.5 0.6 yi 0.1720.323 0.484 0.690 1.000 1.5792022/12/2931在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法3
25、2解解:该问题的求解，可以将其化为线性函数进行该问题的求解，可以将其化为线性函数进行由由得到得到令令则则则则再令再令在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法33函数值转化为函数值转化为 xi 0.1 0.2 0.3 0.4 0.5 0.6 yi 0.172 0.323 0.484 0.690 1.000 1.579 xi 0.1 0.2 0.3 0.4 0.5 0.6 yi 5.8
26、14 3.096 2.066 1.449 1.000 0.633这时，法方程组的系数矩阵按下式计算这时，法方程组的系数矩阵按下式计算在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法34在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法35由由计算出计算出法方程组法方程组在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么2022/12/29第三章 曲线拟合的最小二乘法36解得解得 a0 =6.0631 a1=-0.0474 a2=-10.0748利用利用得到得到最后得到最后得到