《线性代数课件7-4向量到子空间的距离 最小二乘法.ppt》由会员分享，可在线阅读，更多相关《线性代数课件7-4向量到子空间的距离 最小二乘法.ppt（9页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第四节第四节 向量到子空间的距离向量到子空间的距离 最小二乘法最小二乘法 在欧氏空间中可以引入向量间的距离概念。在欧氏空间中可以引入向量间的距离概念。定义定义 8 长度长度|称为向量称为向量和和的距离，记的距离，记为为d(,).不难证明距离的三条基本性质：不难证明距离的三条基本性质：（1）d(,)=d(,)；（2）d(,)0 当且仅当当且仅当=时等号时等号成立。成立。（3）d(,)d(,)+d(,)在中学几何中学过一个点到一个平面（或一在中学几何中学过一个点到一个平面（或一条直线）上所有点的距离以垂线为最短，下面可条直线）上所有点的距离以垂线为最短，下面可以证明一个固定向量和一个子空间中各向量
2、间的以证明一个固定向量和一个子空间中各向量间的距离也以距离也以“垂线最短垂线最短”。先设一个子空间先设一个子空间W,它是由向量它是由向量 1,2,k所生成，即所生成，即W=L(1,2,k).说一个说一个向量向量垂直于子空间垂直于子空间W，就是指向量就是指向量垂直于垂直于 W 中任意一个向量。现给定中任意一个向量。现给定，设，设是是 W中的向量，中的向量，满足满足 垂直于垂直于 W，则对则对W中任意向量中任意向量，有有|证明证明 =（）+（）因 W 是子空间，是子空间，W，W，则则 W，故故 垂直垂直于于 。W由勾股定理由勾股定理|2+|2=|2故故|这个几何事实可以用来解决一些实际问题。这个几
3、何事实可以用来解决一些实际问题。其中的一个应用就是解决最小二乘法问题。其中的一个应用就是解决最小二乘法问题。最小二乘法问题：线性方程组最小二乘法问题：线性方程组可能无解，即任何一组数可能无解，即任何一组数x1,x2,xs都能使都能使不等于不等于0。我们设法找。我们设法找 x10,x20,xs0使（使（2）最小，）最小，称为方程组（称为方程组（1）的最小二乘解。这种问题就叫最）的最小二乘解。这种问题就叫最小二乘问题。小二乘问题。（1）（2）令令（3）用距离的概念，（用距离的概念，（2）就是）就是|yB|2。由（由（3）把把A的各列向量分别记为的各列向量分别记为 1,2,s，由由它们生成的子空间为
4、它们生成的子空间为L(1,2,s)，y 就是其中的向量。就是其中的向量。于是，找于是，找 x 使（使（2）最小，就是在）最小，就是在L(1,2,s)中中找到一个向量找到一个向量 y,使得使得 B 到它的距离比到到它的距离比到该子空间中其他向量的距离都短。该子空间中其他向量的距离都短。设设是所求向量，则是所求向量，则必须垂直于子空间必须垂直于子空间L(1,2,s)，从从而有而有即即而而刚好排成矩阵刚好排成矩阵AT，于是有于是有或或这就是最小二乘解所满足的代数方程，它是一个这就是最小二乘解所满足的代数方程，它是一个线性方程组。线性方程组。例例1 设有一组实验数据设有一组实验数据:(1,2),(2,3),(3,5),(4,7)。从数据点的趋势看接近直线，实验者希。从数据点的趋势看接近直线，实验者希望使直线望使直线y=a+bx 最好的拟合数据点，求最佳最好的拟合数据点，求最佳拟合直线。拟合直线。解解 把数据代入把数据代入y=a+bx 得得记作记作其最小二乘解为其最小二乘解为其中其中则则最佳拟合直线为最佳拟合直线为y=1.7x。从而从而