《差值与最小二乘法.ppt》由会员分享，可在线阅读，更多相关《差值与最小二乘法.ppt（85页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、差值与最小二乘法1现在学习的是第1页，共85页第五章 差值与最小二乘法n5.1 差值问题与差值多项式n5.2 Lagrange差值n5.3 均差与Newton差值公式 n5.4 差分与Newton前后差值公式n5.5 Hermite差值n5.6 分段低次差值n5.7 三次样条差值n5.8 曲线拟合的最小二乘法n5.9 正交多项式及其在最小二乘的应用2现在学习的是第2页，共85页5.1 差值问题与差值多项式称为插值区间。含插值节点的区间称为插值节点，包的插值函数，点为就称，使上近似在区间于计算的解析表达式个简单的，便上是连续的，要求用一在区间且如果表函数上的一个列是区间实际问题中若给定函数,)(
2、)(,1,0,)()(,)(,)(,),1,0)(,(,)(010baxxxfxpniyxpxfbaxpbaxfbxxxaniyxbaxfyniinii3现在学习的是第3页，共85页5.2 Lagrange差值n5.2.1 线性差值与二次差值n5.2.2 Lagrange差值多项式n5.2.3 差值余项与误差估计4现在学习的是第4页，共85页5.2.1 线性差值与二次差值点式：项式是一条直线，即两，通过此两点的插值多、对两点)(,()(,(1100 xfxxfx 101001011)(xfxxxxxfxxxxxL就是线性插值，这里)(1xL的线性插值基函数。与为则称若记101001011010
3、)(),()()(xxxlxlxxxxxlxxxxxl5现在学习的是第5页，共85页5.2.1 线性差值与二次差值)(,(),(,(),(,(2221100 xfxxfxxfxn，给出三点当)()()()()()(2,1,0,0,1)(,2211002210 xflxfxlxfxlxLjiijijxlxxxji为二次插值多项式可表示它满足的二次插值基函数，称为关于点)()()()()()()()()(120210221012012010210 xxxxxxxxxlxxxxxxxxxlxxxxxxxxxl6现在学习的是第6页，共85页5.2.2 Lagrange差值多项式应受的约束。系数满足的约
4、束条件获得其按预设：使得：试求多项式个点得实函数，过给定是设mmmiiinnaaaxpxaxaxaaxpnixfyxpxpyxyxnxxfy,)()(),1,0(),()()(),(),(1)(10221000nmnmnnmmmmyxaxaxaayxaxaxaayxaxaxaa221011212110002020107现在学习的是第7页，共85页直接求解太烦运算量大矩阵，非奇异为此时系数方阵故可取时说名为矛盾方程组当程个数）时解不唯一；方（即未知数个数由线性方程组理论，当eVandermondxxxxxxxxxAnmnmnmnnnnnn21211020011111118现在学习的是第8页，共8
5、5页5.2.2 Lagrange差值多项式nixfxLxLyxniinnii,1,0),()()(),(1，使项式来构造出插值多个插值节点拉格朗日利用niiinxfxlxL0)()()(：用插值基函数方法可得)()()()()()()(110110niiiiiiniiixxxxxxxxxxxxxxxxxl其中次插值基函数它满足：的称为关于nxxxn,10njiijijxlji,1,0,0,1)(9现在学习的是第9页，共85页5.2.2 Lagrange差值多项式)()()()()()()()()()()()(111101101ininiiniiiiiiinnnxxxxxlxlxxxxxxxxx
6、xxxxxxx可改写为于是则记可改写为表达式：从而)(xLnniiininnxfxxxxxL011)()()()()(式的存在唯一性结论。并有以下关于插值多项10现在学习的是第10页，共85页5.2.2 Lagrange差值多项式是存在唯一性的。项式的插值多定理：满足条件nniinHxLnixfxL)(,1,0),()(可用反证法证明之。用。适用于作理论分析和应，清晰的特点，故插值公式具有结构紧凑Lagrange插值公式。由此引入带来不便计算函数随着改变。给实际缺点是节点变动时，基Newton,11现在学习的是第11页，共85页5.2.3 差值余项与误差估计12现在学习的是第12页，共85页5
7、.3 均差与Newton差值公式 n5.3.1 均差及其性质n5.3.2 Newton差值13现在学习的是第13页，共85页5.3.1 均差及其性质：展开也可写成下列形式，基底插值多项式，可按次个相异节点上的对于)(,),(110ixxxxLagrangenn)()(1101nnxxxxxxa)()()(102010 xxxxaxxaaxPn得由下面来确定nixPxfaaainin,1,0),()(,1014现在学习的是第14页，共85页5.3.1 均差及其性质)()(10nnnnxxxxa)()()()()()(12022021020110100 xxxxaxxaaxfxxaaxfaxf)(
8、)()(102010 xxxxaxxaaxfnnnn15现在学习的是第15页，共85页5.3.1 均差及其性质均差由此引入即可解出：故而依次唯一的决定了,)()()(,)()(,0)(2101202021022100101100100 xxxfxxxxxxaaxfaxxfxxxfxfaxfaaaaxxnjiij16现在学习的是第16页，共85页5.3.1 均差及其性质称为二阶均差。一阶均差的差商：上的一阶均差。在为上定义，则称在区间设ikjikjdefkjijiijijdefjijixxxxfxxfxxxfxxxfxxxfxfxxfxxxfy,)()()(,)(17现在学习的是第17页，共85
9、页5.3.1 均差及其性质阶差商：递归定义1kikikiikiikiiixxxxfxxfxxxf11111,阶均差。阶均差的差商称为阶均差，称为1kkk18现在学习的是第18页，共85页5.3.1 均差及其性质kikiiiiiiikxxxxxxxxxfxxxf011010)()()()(,的线性组合，即：阶均差可表示为函数值均差对称性；：均差具有以下重要性质)(),(),()1(10kxfxfxfk次多项式。的是)1(,10mxxxxxfkk次多项式，则的是如果mxxxxfk,)2(019现在学习的是第19页，共85页5.3.1 均差及其性质定理证明。可由其中互异，则有并且若Rollebanf
10、xxxfnibaxbaCfnnin),(,!)(,),1,0(,)3()(1020现在学习的是第20页，共85页21现在学习的是第21页，共85页5.3.2 Newton差值)(,)(,)(,)()(,01010110100000nnnnxxxxxfxxxfxxxfxxxxxfxxfxxfxxxxfxfxfbax上一点，可得看成根据均差的定义，把可得：把后式带入前一式，就22现在学习的是第22页，共85页)(,)()(0100 xxxxfxfxf)(,10210 xxxxxxxf)(,)()(,101010 xxxxfxxxxxxxfnnnn)()(xRxNnn)(,)()(0100 xxxx
11、fxfxNn其中)()(,)(,10010210nnxxxxxxfxxxxxxxf)(,)()()(10 xxxxfxNxfxRnnnn23现在学习的是第23页，共85页)()()(,)(102010 xxxxaxxaaxNnxNnn它就是形如次数不超过显然满足插值条件，且)()(10nnxxxxa，便于程序设计。插值的优点是计算量少相对中加横线的各阶均差就是均差表均差多项式，系数为称其系数为的多项式LagrangeaNewtonxNnkxafaknkk.)(,1,0,024现在学习的是第24页，共85页5.4 差分与Newton前后差值公式n5.4.1 差分及其性质n5.4.2 等距节点差值
12、公式25现在学习的是第25页，共85页5.4.1 差分及其性质后差分算子分别称为差分算子及向及后差分。符号及一阶向为步长的一阶向前差分处以在分别称为hxxfk)(记定义：设,1,0,),(0nkkhxxxffkkk11kkkkkkffffff二阶向后差分二阶向前差分2112111222kkkkkkkkkkkkffffffffffff26现在学习的是第26页，共85页阶向后差分阶向前差分及一般的可定义mm1111kmkmkmkmkmkmffffff为：及位移算子定义不变算子EI1,kkkkfEffIf可得,)(1kkkkkkfIEIfEffff1EIIE27现在学习的是第27页，共85页差分的性
13、质值表示、各阶差分均可用函数性质1njnjjkjnjkjjnjnknknfCfEICfEIf0011)1()()(同理njjnkjjnnjnjkjjnjnkjjnjnknknfCfECfIECfIEf000)1()1()()(28现在学习的是第28页，共85页差分的性质数值、可用各阶差分表示函性质2njkjknkjnjknknknknfjnffjnfIfEff00,)(,于是因为例、可用向前差分表示、均差与差分的关系性质329现在学习的是第29页，共85页差分的性质可得：又、均差与差分的关系性质),(,!)(,2,1,1!1,2,1,1!1,3)(101banfxxxfnmfhmxxxfnmf
14、hmxxfnnkmmmkkkkmmmkk),(),()(nkknnmxxfhf30现在学习的是第30页，共85页5.4.2 等距节点差值公式thxxNewtonhktttxxxfhkxxxfkkjjkkkk0101010,)()1()()(1!1,分形式：设均差插值公式写出其差便可由及：根据均差与差分的关系31现在学习的是第31页，共85页5.4.2 等距节点差值公式nkknkkkknkkknnktttkfhkttthkffDthtPxP000000)1()1(!)1()1(!)()()()!1()()1()!1()()()1(11)1(nnnnnfhnntttnxfxR32现在学习的是第32
15、页，共85页5.5 Hermite差值值多项式。插的插值多项式称为值相等，满足这种要求阶导数相等，有的甚至要求高且还要求节点上导数值而等在差值节点上函数值相在实际应用中不仅要求Hermite,33现在学习的是第33页，共85页5.5 Hermite差值满足函数构造插值及微商值和相应的设给定)(,101010 xHmmyyxx；是不超过三次的多项式；)()2(,1,0,)(,)()1(xHnjmxHyxHjjjj34现在学习的是第34页，共85页5.5 Hermite差值满足：上构造两个插值基函数在每个点性组合。数，在由所给数据作线相应的插值基函插值函数的方法先确定按来确定在由条件设的方法：多项
16、式确定两点)(),();(),(,)2()1(,)()1()(110010332210 xHxhxHxhxxLagrangeaxaxaxaaxHxHHermitej35现在学习的是第35页，共85页5.5 Hermite差值，且为三次多项式数值为处函，在处的函数值及导数值为在现确定10:)(010 xxxh21010100)(21()(xxxxxxxxxh36现在学习的是第36页，共85页20101121010000211100020101011)()(,)()(,)()()(,)(:)(,)(21()(xxxxxxxHxxxxxxxHxHxxxxxxxxHxHxxxxxxxxxh同理有表示为
17、不超过三次的多项式此外为零，故有因子处的微商值在处的函数值为零在因为继续确定同理37现在学习的是第37页，共85页)()()()()(11001100 xHmxHmxhyxhyxHHermite插值多项式为至此可写出被插函数的38现在学习的是第38页，共85页误差估计2120)4(10)4(310)()(!4)()()()(,)(,)(,)(xxxxfzHxfxRbaxbaxxbaxfbaCxfHermitexxxH，使，存在则对内存在，在插值多项式，的是过设39现在学习的是第39页，共85页Hermite插值的两个性质有，故按上述条件估计应在上述节点上的多项式也可视为则值多项式插上的在节点都
18、是和设插值的唯一性)()(,)()()()1(121021xHxHHermitexxxxfxHxHHermitennjjxh01)(故而0)()!22()()()(2)22(121xnHxHxHn)()(12)()2(xfxHnxf 次多项式，则为不超过若40现在学习的是第40页，共85页5.6 分段低次差值n5.6.1 多项式差值的收敛性问题n5.6.2 分段线性差值n5.6.3 分段三次Hermite差值41现在学习的是第41页，共85页5.6.1多项式差值收敛性问题n前面介绍了n+1个插值节点上构造不超过n次的插值多项式的方法，并分析了他们的余项，从余项的表达式看到，插值多项式与被插函数
19、逼近的程度是与分点的数目、位置及被插函数的特性有关。n考虑如下问题：n是否分点越多，插值多项式对函数的逼近程度就越好呢？龙格现象42现在学习的是第42页，共85页题上考虑等距节点差值问在对给定函数5,5.11)(2xxxf43现在学习的是第43页，共85页5.6.2 分段线性差值n由于高次插值收敛性没有保证，实际的计算稳定性也没保证。n因此当插值节点n较大时通常不采用高次多项式插值，而改用低次分段插值。44现在学习的是第44页，共85页在每个小区间上表示为为分段线性插值函数，则称上为线性函数。在每个小区间满足条件若一折线函数上的函数值为设已知节点hhiihiihhhiniiiinnIxInix
20、xxInifxIbaCxIxIhhxxhfffbxxxa)()1,1,0(,)()3(;,1,0,)()2(;,)()1()(,max,1111101011111,)(iiiiiiiiiihxxxfxxxxfxxxxxI45现在学习的是第45页，共85页,00,0,)(11111111iiiiiiiiiiiiixxxbaxixxxxxxxixxxxxxxxl略去略去，其中上可表示为在区间niiihxlfxIba0)()(,46现在学习的是第46页，共85页有估计式则余项若，一致收敛于时则当定理：若)()()(,)()()(0,)(2xIxfxRbaCxfxfxIhbaCxfhh)(max,8)
21、(2xfMMhxRbxa 47现在学习的是第47页，共85页5.6.3 分段三次Hermite差值上的表达式为间插值函数，在每个子区的分段三次是则称得多项式。是次数不大于上在每个子区间满足条件若一阶导数值为上的函数值为在节点设函数,)(3)10(,)3();,1,0(,)(,)()2(;,)1(,)(111101010iihhiiiihiihhhnnnxxHermitexfIInixxnifxIfxIbaCIIffffffbxxxaxf48现在学习的是第48页，共85页121112111)(21()(21()(iiiiiiiiiiiiiihfxxxxxxxxfxxxxxxxxxI1211211
22、)()(iiiiiiiiiifxxxxxxfxxxxxx上用插值基函数表示为在,ba其中,)()()(0niiiiihfxfxxI49现在学习的是第49页，共85页,00,)(21(0,)(21()(111211112111iiiiiiiiiiiiiiiiiiixxxixxxxxxxxxxxixxxxxxxxxxxx略去略去50现在学习的是第50页，共85页,00,)(0,)()(1112111211iiiiiiiiiiiiiiixxxixxxxxxxxxixxxxxxxxxx略去略去).()(0),(max,)(110 xfxIhxxhbaCxfhiini一致收敛于时则当可以证明，若51现在
23、学习的是第51页，共85页5.7 三次样条差值n5.7.1 三次样条函数n5.7.2 三弯矩方程n5.7.3 三次样条差值收敛性52现在学习的是第52页，共85页5.7.1 三次样条函数n多项式插值虽有许多优点，但由于多项式“在一点的性质足以决定其整体性质”的特点，难以描述自然界“在不同的区域内的性状可以完全不相关”的大范围现象；另方面分段线性插值和分段Hermite插值的光滑性不够（例如船体、飞机的外形曲线设计常需二阶可导）。n下面介绍的样条是一种分段多项式，各相邻段又具有某种连接性质，因而它既保持了多项式的简单性，又在各段保持了相对独立的局部性质。53现在学习的是第53页，共85页工程必须
24、的。处处均有曲率此时曲线，便得到三次样条插值对次插值多项式。上为则称阶导数。上具有于数多项式。的实系数代上是一个次数不超过于每个区间满足：分段函数定义：设给定一组节点)(,3),()(1),()()2(,)1()(1110 xsnnxsnxsnxxxsxxxxjjNN54现在学习的是第54页，共85页暂记：简洁方法但我们还是愿意用以下来求设虽然可在每个子区间段,)()(23xsdxcxbxaxsiiii)1,0(),0()(,)(1 nixxhniMxsfxsiiiiiiiiiiiiihxxMhxxMxs11)(其插值形式为：上应为一次多项式，故在上为三次多项式，从而在由于,)(,)(11 j
25、jjjxxxsxxxs55现在学习的是第55页，共85页iiiiiiiiiiiiiiiCxChxxMhxxMxsChxxMhxxMxs213131121216)(6)()(2)(2)()(两次积分别得：分别为待定系数。，这里iiiiiCCMnixxx211,1,0)(56现在学习的是第56页，共85页表出得：由获得首先由差值条件12111,)(,)(iiiiiiiiMMCCfxsfxsiiiiiiiiiiiiiiiiiixMhhfxMhhfCMMhhffC)6()6(6)(1112111上的表示便有在据此应有,)(1iixxxs57现在学习的是第57页，共85页)1,2,1(26)()(26)
26、()(1111111nihMMMhhffxshMMMhhffxsiiiiiiiiiiiiiiiiii连续性方程组的等式形成的方程组个关于便获得由上述即存在再由要求iiiiMnxsxsxs1),()(,)(58现在学习的是第58页，共85页,6,21111111iiiiiiiiiiiiiiiiiixxxfdhhhhhhdMMM其中：经整理即：三弯矩关系。处的中心插商为被插数据在的二阶导数的加权平均点明了插值函数在相邻三倍，因此连续性方程说插商的出的二阶中心为插值数据在的长度比份额，表示相邻区间义：连续性方程组的力学意iiiiiiiiixxdxxxx3,1159现在学习的是第59页，共85页5.7
27、.2 三弯矩方程于是有给定两端点处的导数值，如况在区间的端点处给定条件，往往根据具体情加两个个未知数，因此尚需添连续性方程组有,)1(10nmmn nnnnnnndhffmhMMdmhffhMM)(62)(62111110000101060现在学习的是第60页，共85页nnnnnnnnnnddddddMMMMMM1221012210112222112100002000020000200002000012:为此时方程组的矩阵形式61现在学习的是第61页，共85页)()()()(00nnxsxsxsxs:)()()3(,)2(00会自然给定外给定周期要求于是有数值给定两端点处的二阶导nnxsxsM
28、M数角方程组来确定样条函注：也可通过获得三转而获得样条函数赶法找出其唯一解，从因而可用追三对角方程组以上均获得对角占优的.,62现在学习的是第62页，共85页63现在学习的是第63页，共85页5.7.3 三次样条差值收敛性64现在学习的是第64页，共85页5.8 曲线拟合的最小二乘法。和观测为基础的天文学最小二乘法起源于测量响整体近似的效果。常具有强震荡，从而影多项式通多时，获得的高次插值外若给出的观测数据较要的。另的影响，这是我们不需曲线保留全部观测误差金斯关系多项式的求法使所求得数据总含有误差，插值面给出的多项式，然而，由于上似关系如前所述的插值之间的一个近与去获取变量的数据中，往往要从一
29、组测得在科学试验或统计研究yxyxyxyxnn),(,),(),(110065现在学习的是第65页，共85页，设有一组数据如下年解决了多余观测问题在1794Gaussbaxy大致成线性关系：点散点图进行观测，这些先描出这些数据间的关系示要求用一简单的式子表,66现在学习的是第66页，共85页使得，即找些观测点所描述的规律表这线，能在某种意义下代能否找到一条较好的直。据的信息，因而不准确测数的值，且未用到多条观这样就会获得多组取两点即可，若按插值的思想只需任现在来确定bababa,iiiybxaYbxaY,67现在学习的是第67页，共85页小，即：据点的距离的平方和最所找到的直线到所有数原理，但
30、常用的是最小二乘定可以有很多种方法来确,baniiniiiniiiJybxayYbaQ121212:)()(),(。下面根据这一原则求求解有困难最小），但最小的或者也有使bayYyYiiii,max(68现在学习的是第68页，共85页:方法，另由高等数学求最小值的niiiniiniiniiiiniiniiniiiyxbxaxxybxabbaQybxnaybxaabaQ112111110)(20),(0)(20),(求解步骤：69现在学习的是第69页，共85页求解法方程组写出法方程组和列表并计算出:3:2,:122StepStepyxxyxyxxStepiiiiiiii70现在学习的是第70页，
31、共85页:,线性曲线下述非选定合适的拟合曲线如所给观测点的散点图根据并不限于线性函数，应数据的最小二乘拟合法ZbaYcebXaYXaXaaYX11;22210问题：个求解非线性方程组的接按上述做法会带来一，但直现，上述作法依然可行参数以非线性的方式出即拟合曲线中的于假如散点图的曲线适合,bXaeY 71现在学习的是第71页，共85页问题：个求解非线性方程组的接按上述做法会带来一，但直现，上述作法依然可行参数以非线性的方式出即拟合曲线中的于假如散点图的曲线适合,bXaeY miibxyaebaQi12)(),(72现在学习的是第72页，共85页mibxiinibximibxinibxiiiiey
32、xaexaeyeabQaQ11221120令BXAYbBaAYYbXaY:,ln,ln:lnln得关系此时记化，如取对数：这时可以做某种近似转型也有类似的讨论。对baXY 73现在学习的是第73页，共85页.6),(nmn实际中常取多项式否则插值多项式是被拟待拟函数而言，总是设对多项式作为最优拟合曲线。后比较其误差最小者为和，然可选用几种曲线进行拟通常对一给定散点图，74现在学习的是第74页，共85页mmmiiniiniiimaaaxSSpanxSyxspan110000010)(,)(,即寻找和权数据对给定我们选用函数表一般的最小。使niiiimyxSaaaI0210)(),(：由求极值的必
33、要条件有0)()()()(210100ikimminiiikxxaxaaxaaImk,1,075现在学习的是第75页，共85页和记号：引入向量带权内积定义miikiikmiikijikjxyyxx00)(),()()(),(为：于是上面的方程组便成76现在学习的是第76页，共85页),(),(),(),(),(),(),(),(),(),(),(),(1010101111000100mmmmmmmmyyyaaa在唯一。条件，则法方程组解存满足个不同零点上至少有线性无关，且在点集称为法方程，若HaarmmnxxxZxxn)(,)(),(101077现在学习的是第77页，共85页0det,)()(
34、),(,)()(),(11010nnnGbaxxxbaCkxxx上无关在，则，：设命题),(),(),(),(),(000010nnnnnnGG其中78现在学习的是第78页，共85页niiinCspanff0*102222*,:2法方程组的解满足命题79现在学习的是第79页，共85页5.9 正交多项式及其在最小二乘的应用n5.9.1 内积与正交多项式n5.9.2 Legendre多项式n5.9.3 Chebyshev多项式n5.9.4 其他正交多项式n5.9.5 用正交多项式作最小二乘法80现在学习的是第80页，共85页5.9.1 内积与正交多项式81现在学习的是第81页，共85页5.9.2 Legendre多项式82现在学习的是第82页，共85页5.9.3 Chebyshev多项式83现在学习的是第83页，共85页5.9.4 其他正交多项式84现在学习的是第84页，共85页5.9.5 用正交多项式作最小二乘法85现在学习的是第85页，共85页