《数据处理方法.pptx》由会员分享，可在线阅读，更多相关《数据处理方法.pptx（40页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、一、数据处理方法综述实验数据处理的本质：给定一组相互独立的自变量x1,x2,x3.(xi均为n维向量)和因变量y（n维向量），找出一个“最佳”的映射，来刻画自变量和因变量之间的关系。关于“最佳”的两种理解：逼近和插值。第1页/共40页一、数据处理方法综述实验数据处理方法的分类：按照自变量的个数，可分为一元和多元两大类；按照映射（函数）形式，可分为线性和非线性两大类。于是一共有2*2=4大类。第2页/共40页二、线性方法考虑到线性方法已经规定了函数形式为线性，故在线性方法中，“最佳”的判据只能是逼近。按照自变量个数，分为一元线性回归和多元线性回归。第3页/共40页二、线性方法多元线性回归模型：（
2、1）（2）令其中 为随机误差，均为实际问题的解释变量，是已知函数。假设作了n次试验得到n组观测值为：第4页/共40页二、线性方法代入（2）中可得（3）（其中 为第i次试验时随机误差）该模型关于回归系数 是线性的，u为一般向量，若用矩阵形式，（3）变为：第5页/共40页二、线性方法即第6页/共40页二、线性方法其中X是模型设计矩阵，Y与 是随机向量且 ，（I为n阶单位阵）是不可观测的随机误差向量，是回归系数构成的向量，是未知、待定的常数向量。第7页/共40页二、线性方法选取 的一个估计值 使随机误差 的平方和达到最小第8页/共40页二、线性方法由上式对 求导（向量函数的求导），可得：由上式（正规
3、方程组）记系数矩阵 ，常数矩阵如果 存在，称其为相关矩阵第9页/共40页二、线性方法1.可以证明：对任意给定的X,Y，正规方程组总有解，虽然当X不满秩时，其解不唯一，但对任意一组解 都能是残差平方和最小，即2.当X满秩时，即则正规方程组的解为 ，即为回归系数的估计值3.性质第10页/共40页二、线性方法显著性检验与拟合性检验。主要是检验模型是否一定与解释变量有密切的关系。在模型的检验显著的情况下，需要进一步地做拟合性检验，目的是检验是否一定为（2）所给的形式，即是否还存在其他的影响因素没有考虑到。第11页/共40页三、非线性方法理论上来说，对于需要处理的数据，如果已知所需拟合的函数的形式，那么
4、通常都可以通过变量替换化成线性方式求解。那么，为什么要提出非线性方法呢？第12页/共40页三、非线性方法对于非线性方法，与线性方法类似，同样可以按照自变量的个数分为一元非线性回归（曲线拟合）和多元非线性回归（曲面拟合）。第13页/共40页（一）曲线拟合对于曲线拟合，其“最佳”的理解可以有插值和逼近两种方式。若按照插值来理解，那么就是数值计算中的插值法。若按照逼近来理解，那么就是非线性规划中的一种特殊的无约束最优化问题非线性最小二乘法。第14页/共40页插值法Lagrange插值(含线性插值、抛物插值、n次Lagrange插值公式)；牛顿（Newton）插值及余项、差商的定义与性质;埃尔米特(H
5、ermite)插值公式及余项；等距节点的多项式插值、分段低次多项式插值、三次样条插值。第15页/共40页插值法插值唯一性定理插值唯一性定理证明：利用范德蒙行列式证明：利用范德蒙行列式定理：(唯一性)满足 的 n 阶插值多项式是唯一存在的。第16页/共40页插值法一、解方程组法：二、基函数法：一种既能避免解方程组，又能适合于计算机求解的方法，下面将具体介绍。第17页/共40页拉格朗日插值公式拉格朗日（Lagrange）插值公式的基本思想是，把pn(x)的构造问题转化为n+1个插值基函数li(x)(i=0,1,n)的构造。线性插值函数抛物插值函数N次插值函数 第18页/共40页一次Lagrange
6、插值多项式由直线两点式可知，通过A，B的直线方程为它也可变形为显然有第19页/共40页一次Lagrange插值多项式记 可以看出：称 为节点 ,的线性插值基函数。第20页/共40页一次Lagrange插值多项式线性插值基函数的特点：节点值；均为一次函数。注意她们的特点对下面的推广很重要。第21页/共40页二次Lagrange插值多项式由基函数方法得：其中：第22页/共40页N次Lagrange插值多项式我们看到，两个插值点可求出一次插值多项式，而三个插值点可求出二次插值多项式。从而，当插值点增加到n+1个时，我们可以利用Lagrange插值方法写出n次插值多项式。第23页/共40页N次Lagr
7、ange插值多项式构造各个插值节点上的基函数满足如下条件：100001000001第24页/共40页N次Lagrange插值多项式因此令：又由 ，得：第25页/共40页N次Lagrange插值多项式从而得n 阶拉格朗日（Lagrange）插值公式：第26页/共40页Newton插值Lagrange插值虽然易算，但若要增加一个节点时，全部基函数都需要重新计算。Newton插值的承袭性增加一个节点后：第27页/共40页Hermite插值在实际问题中，对所构造的插值多项式，不仅要求函数值重合，而且要求若干阶导数也重合。把此类插值多项式称为埃米尔特（Hermite）插值多项式或称带导数的插值多项式，记
8、为H(x)。第28页/共40页分段插值高次插值的龙格现象分段插值。所谓分段插值，就是将被插值函数逐段多项式化。第29页/共40页非线性最小二乘法从本质上看，非线性最小二乘法就是一种特殊的无约束最优化问题，因此，所有非线性规划中关于无约束最优化问题的算法，理论上都可以直接应用到非线性最小二乘法问题中。最速下降法，牛顿法，修正牛顿法，共轭梯度法，变度量法，Powell方法等一系列算法都可以用来解非线性最小二乘问题。第30页/共40页非线性最小二乘法但是，由于非线性最小二乘问题的特殊性，可以有一些更加行之有效的方法来解。包括GaussNewton法，LevenbergMarquartdt法等。仅介绍
9、GaussNewton法。第31页/共40页GaussNewton法Newton法：牛顿法基本思想：利用目标函数f(x)的二次泰勒展开式，并将其最小化。第32页/共40页GaussNewton法(二次近似).如果二阶海赛阵正定,那么存在最小点(方法同上)第33页/共40页GaussNewton法说明:实际应用中,迭代方向通过解方程第34页/共40页GaussNewton法GaussNewton法由于非线性最小二乘问题的特殊性，f(x)的梯度与黑塞矩阵有更为简洁的表达形式：如下：即为Gauss-Newton法。第35页/共40页GaussNewton法GaussNewton法的收敛性：距离初值偏差大时，收敛效果并不好。d是下降方向，但仍不能保证f（x）依次减小。可以参考修正Newton法，加入一维搜索策略。第36页/共40页（二）曲面拟合对于“最佳”的理解：逼近与多元线性回归在原理和形式上较为相似。根据拟合的曲面在取样处的值与实际值之差的平方和达到最小求得。基于最小二乘原理。第37页/共40页（二）曲面拟合详见基于最小二乘的曲面拟合算法研究。参考多元线性回归部分的内容，则比较容易理解。第38页/共40页第39页/共40页感谢您的观看！第40页/共40页