《组合测量的最小二乘法课件.ppt》由会员分享，可在线阅读，更多相关《组合测量的最小二乘法课件.ppt（86页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1第五章第五章 线性参数的最小二线性参数的最小二 乘法与回归分析乘法与回归分析n教学重点与难点教学重点与难点教学重点与难点教学重点与难点l最小二乘法原理最小二乘法原理最小二乘法原理最小二乘法原理l线性参数的最小二乘法线性参数的最小二乘法线性参数的最小二乘法线性参数的最小二乘法l组合测量组合测量组合测量组合测量l一元回归原理与方法一元回归原理与方法一元回归原理与方法一元回归原理与方法l回归方程的方差分析和显著性检验回归方程的方差分析和显著性检验回归方程的方差分析和显著性检验回归方程的方差分析和显著性检验2第五章第五章 线性参数的最小二线性参数的最小二 乘法与回归分析乘法与回归分析n本章内容本章内
2、容本章内容本章内容5.1 5.1 最小二乘原理最小二乘原理最小二乘原理最小二乘原理 5.2 5.2 5.2 5.2 正规方程正规方程正规方程正规方程5.3 5.3 5.3 5.3 精度估计精度估计精度估计精度估计5.4 5.4 5.4 5.4 组合测量的最小二乘法组合测量的最小二乘法组合测量的最小二乘法组合测量的最小二乘法5.5 5.5 5.5 5.5 回归分析回归分析回归分析回归分析总结总结总结总结3第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.1 5.1 最小二乘原理最小二乘原理5.1 最小二乘原理最小二乘原理 n最小二乘法是一种在最小二乘法是一种在最小二
3、乘法是一种在最小二乘法是一种在数据处理和数据处理和数据处理和数据处理和误差估计误差估计误差估计误差估计等等等等多学科领域多学科领域多学科领域多学科领域得到得到得到得到广泛应广泛应广泛应广泛应用用用用的的的的数学工具数学工具数学工具数学工具。n最小二乘法已经最小二乘法已经最小二乘法已经最小二乘法已经成为参数估计成为参数估计成为参数估计成为参数估计、数据处理数据处理数据处理数据处理、回归分析回归分析回归分析回归分析、经验公式拟经验公式拟经验公式拟经验公式拟合合合合中中中中必不可少的手段必不可少的手段必不可少的手段必不可少的手段，并已形成，并已形成，并已形成，并已形成统统统统计推断的一种准则计推断的
4、一种准则计推断的一种准则计推断的一种准则。4第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.1 5.1 最小二乘原理最小二乘原理1 1 1 1、问题的引入、问题的引入、问题的引入、问题的引入有有有有待测量待测量待测量待测量（难以直接测量难以直接测量难以直接测量难以直接测量）：）：）：）：直接测量直接测量直接测量直接测量量：量：量：量：它们的关系（它们的关系（它们的关系（它们的关系（测量方程测量方程测量方程测量方程）：）：）：）：直接测量直接测量直接测量直接测量量量量量Y Y的的的的测量值测量值测量值测量值：直接测量直接测量直接测量直接测量量量量量Y Y的的的的估
5、计值估计值估计值估计值：有有有有待测量待测量待测量待测量量量量量X X的的的的估计值估计值估计值估计值：5第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.1 5.1 最小二乘原理最小二乘原理问题：问题：问题：问题：如何根据测得值和测量方程如何根据测得值和测量方程如何根据测得值和测量方程如何根据测得值和测量方程 ，解得解得解得解得待测量的待测量的待测量的待测量的X X估计值？估计值？估计值？估计值？测量方程测量方程测量方程测量方程现有现有现有现有n n次测量，得到次测量，得到次测量，得到次测量，得到Y Y的的的的n n个测个测个测个测量值量值量值量值L L直接测量
6、量Y的测量值待测量的量X直接测量量Y6n n n n个方程解个方程解个方程解个方程解n n n n个未知数个未知数个未知数个未知数X X X X，可以直接求得估计值，可以直接求得估计值，可以直接求得估计值，可以直接求得估计值方程组有冗余，有利于减小随机误差，采方程组有冗余，有利于减小随机误差，采方程组有冗余，有利于减小随机误差，采方程组有冗余，有利于减小随机误差，采用最小二乘原理求用最小二乘原理求用最小二乘原理求用最小二乘原理求 。讨论：讨论：讨论：讨论：最小二乘原理：最小二乘原理：最小二乘原理：最小二乘原理：n n最可信赖的值最可信赖的值最可信赖的值最可信赖的值,应使应使应使应使残余误差平方
7、和最小。残余误差平方和最小。残余误差平方和最小。残余误差平方和最小。第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.1 5.1 最小二乘原理最小二乘原理72 2 2 2、最小二乘原理、最小二乘原理、最小二乘原理、最小二乘原理设直接测量量设直接测量量设直接测量量设直接测量量 的估计值为的估计值为的估计值为的估计值为 ，则有（，则有（，则有（，则有（Y Y的估计值的估计值的估计值的估计值y y与与与与X X的估计值的估计值的估计值的估计值x x的关系）的关系）的关系）的关系）由此得测量数据由此得测量数据由此得测量数据由此得测量数据 的残余误差（估计值的残余误差（估计
8、值的残余误差（估计值的残余误差（估计值y y与测量值与测量值与测量值与测量值l l的差）的差）的差）的差）残差方程式残差方程式残差方程式残差方程式第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.1 5.1 最小二乘原理最小二乘原理若若若若 不存在系统误差不存在系统误差不存在系统误差不存在系统误差，相互独立相互独立相互独立相互独立并服从正态分布并服从正态分布并服从正态分布并服从正态分布，标准差分别为，标准差分别为，标准差分别为，标准差分别为 ，则，则，则，则 出现在相应真值附近出现在相应真值附近出现在相应真值附近出现在相应真值附近 区域内的概率为区域内的概率为区域
9、内的概率为区域内的概率为8由概率论可知，各测量数据由概率论可知，各测量数据由概率论可知，各测量数据由概率论可知，各测量数据同时出现在相应区域同时出现在相应区域同时出现在相应区域同时出现在相应区域的的的的概率概率概率概率为为为为要使要使要使要使P P P P最大最大最大最大，应有，应有，应有，应有最小最小最小最小第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.1 5.1 最小二乘原理最小二乘原理回顾：正态分布概率密度函数回顾：正态分布概率密度函数li出现在出现在di区域内的概率区域内的概率9最小最小最小最小以残差的形式表示为以残差的形式表示为以残差的形式表示为以残
10、差的形式表示为最小最小最小最小等精度测量的方差等精度测量的方差等精度测量的方差等精度测量的方差 2 2相等。所以等精度测量最小二乘原理相等。所以等精度测量最小二乘原理相等。所以等精度测量最小二乘原理相等。所以等精度测量最小二乘原理：最小最小最小最小 不等精度测量的最小二乘原理不等精度测量的最小二乘原理不等精度测量的最小二乘原理不等精度测量的最小二乘原理(引入权引入权引入权引入权p p p pi i i i)最小最小最小最小第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.1 5.1 最小二乘原理最小二乘原理n最小二乘原理（其他分布也适用）最小二乘原理（其他分布也适
11、用）最小二乘原理（其他分布也适用）最小二乘原理（其他分布也适用）103 3 3 3、等精度测量的、等精度测量的、等精度测量的、等精度测量的线性线性线性线性参数最小二乘参数最小二乘参数最小二乘参数最小二乘 原理原理原理原理线性参数的测量方程线性参数的测量方程线性参数的测量方程线性参数的测量方程和和和和相应的估计相应的估计相应的估计相应的估计量量量量为为为为残差方程为残差方程为残差方程为残差方程为第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.1 5.1 最小二乘原理最小二乘原理测量值测量值估计值估计值11令令令令则残差方程的则残差方程的则残差方程的则残差方程的矩阵
12、表达式矩阵表达式矩阵表达式矩阵表达式为为为为等精度测量最小二乘原理的矩阵形式等精度测量最小二乘原理的矩阵形式等精度测量最小二乘原理的矩阵形式等精度测量最小二乘原理的矩阵形式(残差平方和为最残差平方和为最残差平方和为最残差平方和为最小小小小)第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.1 5.1 最小二乘原理最小二乘原理代入残差表达式代入残差表达式代入残差表达式代入残差表达式12不等精度测量最小二乘原理的矩阵形式不等精度测量最小二乘原理的矩阵形式不等精度测量最小二乘原理的矩阵形式不等精度测量最小二乘原理的矩阵形式l l思路一：利用权矩阵思路一：利用权矩阵思路一
13、：利用权矩阵思路一：利用权矩阵P P P P权矩阵权矩阵权矩阵权矩阵4 4 4 4、不等精度测量的线性参数最小二、不等精度测量的线性参数最小二、不等精度测量的线性参数最小二、不等精度测量的线性参数最小二 乘原理乘原理乘原理乘原理第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.1 5.1 最小二乘原理最小二乘原理13l l思路二：不等精度等精度思路二：不等精度等精度思路二：不等精度等精度思路二：不等精度等精度则有：则有：则有：则有：第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.1 5.1 最小二乘原理最小二乘原理用权乘以残差方程得
14、到用权乘以残差方程得到14第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程5.2 正规方程正规方程正规方程：正规方程：正规方程：正规方程：误差方程误差方程误差方程误差方程按按按按最小二乘法原理最小二乘法原理最小二乘法原理最小二乘法原理转化得到的转化得到的转化得到的转化得到的有确定解的有确定解的有确定解的有确定解的代数方程组代数方程组代数方程组代数方程组。5.2.1 5.2.1 等精度测量线性参数最小二等精度测量线性参数最小二等精度测量线性参数最小二等精度测量线性参数最小二 乘处理的正规方程乘处理的正规方程乘处理的正规方程乘处理的正规方
15、程残差方差平方后，求残差方差平方后，求残差方差平方后，求残差方差平方后，求偏导数，并令其为零偏导数，并令其为零偏导数，并令其为零偏导数，并令其为零15得得得得正规方程正规方程正规方程正规方程特点特点特点特点l l相对于主对角线相对于主对角线相对于主对角线相对于主对角线对称分布的各对称分布的各对称分布的各对称分布的各系数系数系数系数两两相等两两相等两两相等两两相等。由由第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程l l主对角线主对角线主对角线主对角线分布着平方项分布着平方项分布着平方项分布着平方项系数系数系数系数，正数正数正数正数；
16、和和16看正规方程组中第看正规方程组中第看正规方程组中第看正规方程组中第r r r r个方程个方程个方程个方程等式左边展开等式左边展开等式左边展开等式左边展开即即即即第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程上式展开后，合并，并且分别提出上式展开后，合并，并且分别提出上式展开后，合并，并且分别提出上式展开后，合并，并且分别提出a air ir括号中为括号中为括号中为括号中为 i i所以所以所以所以17仿此方法处理可得仿此方法处理可得仿此方法处理可得仿此方法处理可得正规方程方程组正规方程方程组正规方程方程组正规方程方程组正规方程的
17、矩阵形式正规方程的矩阵形式正规方程的矩阵形式正规方程的矩阵形式第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程18将代入到中，得将代入到中，得将代入到中，得将代入到中，得（待测量的无偏估计）（待测量的无偏估计）（待测量的无偏估计）（待测量的无偏估计）令令令令第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程19已知铜棒的长度和温度之间具有线性关系已知铜棒的长度和温度之间具有线性关系已知铜棒的长度和温度之间具有线性关系已知铜棒的长度和温度之间具有线性关系 为为为为 。现测得不同温
18、度下铜棒的。现测得不同温度下铜棒的。现测得不同温度下铜棒的。现测得不同温度下铜棒的长度长度长度长度 ，如下表。求，的最可信赖值。，如下表。求，的最可信赖值。，如下表。求，的最可信赖值。，如下表。求，的最可信赖值。i i1 12 23 34 45 56 61010202025253030404045452000.362000.362000.722000.722000.82000.82001.072001.072001.482001.482000.62000.60 0解：解：解：解：1 1 1 1）列出误差方程）列出误差方程）列出误差方程）列出误差方程令令令令 为为为为两个待估参量两个待估参量两个
19、待估参量两个待估参量，则误差方程为，则误差方程为，则误差方程为，则误差方程为例例例例题题题题5.1 5.1 5.1 5.1 第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程长度长度yt的的测得值测得值长度长度yt的估的估计值计值20按照最小二乘的矩阵形式计算按照最小二乘的矩阵形式计算按照最小二乘的矩阵形式计算按照最小二乘的矩阵形式计算则有则有则有则有因此因此因此因此拟合方程拟合方程拟合方程拟合方程第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程长度长度长度长度测量测量测量测量
20、值值值值本题就是本题就是本题就是本题就是6 6次试验次试验次试验次试验c c、d d的系数，的系数，的系数，的系数，c c前前前前系数恒为系数恒为系数恒为系数恒为1 1，d d前前前前系数就是系数就是系数就是系数就是t ti i215.2.2 不等精度测量线性参数最不等精度测量线性参数最不等精度测量线性参数最不等精度测量线性参数最 小二乘处理的正规方程小二乘处理的正规方程小二乘处理的正规方程小二乘处理的正规方程由此可得不等精度测量线性参数最小二乘处理的由此可得不等精度测量线性参数最小二乘处理的由此可得不等精度测量线性参数最小二乘处理的由此可得不等精度测量线性参数最小二乘处理的正规方程正规方程正
21、规方程正规方程第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程因为因为22与等精度测量相同的过程（展开后合并）与等精度测量相同的过程（展开后合并）与等精度测量相同的过程（展开后合并）与等精度测量相同的过程（展开后合并）。经过整理得。经过整理得。经过整理得。经过整理得不等精度的正规方程不等精度的正规方程不等精度的正规方程不等精度的正规方程写成矩阵形式写成矩阵形式写成矩阵形式写成矩阵形式第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程23将代入上式，得将代入上式，得将代入上式，得
22、将代入上式，得（待测量的无偏估计）（待测量的无偏估计）（待测量的无偏估计）（待测量的无偏估计）第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程回顾等精度测量：回顾等精度测量：24某测量过程的残差方程式及相应的标准某测量过程的残差方程式及相应的标准某测量过程的残差方程式及相应的标准某测量过程的残差方程式及相应的标准差：差：差：差：试求试求试求试求 的最可信赖值的最可信赖值的最可信赖值的最可信赖值(每次测量的标准差不同，是不每次测量的标准差不同，是不每次测量的标准差不同，是不每次测量的标准差不同，是不等精度测量等精度测量等精度测量等精度测
23、量)。解：首先确定各式的权解：首先确定各式的权解：首先确定各式的权解：首先确定各式的权例例例例题题题题5.2 5.2 5.2 5.2 第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程25第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.2 5.2 正规方程正规方程26第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 n n目的：给出最小二乘估计量目的：给出最小二乘估计量目的：给出最小二乘估计量目的：给出最小二乘估计量 的精度的精度的精度的精度(用
24、标准差表示用标准差表示用标准差表示用标准差表示)。5.3.1 测量数据测量数据测量数据测量数据l l精度估计精度估计精度估计精度估计1.1.等精度测量数据等精度测量数据等精度测量数据等精度测量数据l l的精度估计的精度估计的精度估计的精度估计对对对对 进行进行进行进行n n n n次等精度测量，其标准差可按下式计算。次等精度测量，其标准差可按下式计算。次等精度测量，其标准差可按下式计算。次等精度测量，其标准差可按下式计算。5.3 精度估计精度估计其中其中其中其中n n是测量次数是测量次数是测量次数是测量次数，t t是待估计量是待估计量是待估计量是待估计量X X的个数的个数的个数的个数。2.2.
25、2.2.不等精度测量数据的精度估计不等精度测量数据的精度估计不等精度测量数据的精度估计不等精度测量数据的精度估计27例例题题5.3 5.3 求例题求例题求例题求例题5.15.15.15.1中中中中铜棒长度的测量精度铜棒长度的测量精度铜棒长度的测量精度铜棒长度的测量精度，且已知，且已知，且已知，且已知i i1 12 23 34 45 56 61010202025253030404045452000.362000.362000.722000.722000.82000.82001.072001.072001.482001.482000.602000.60拟合方程拟合方程拟合方程拟合方程解：残差方程为
26、解：残差方程为解：残差方程为解：残差方程为第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 六次测六次测六次测六次测量的残量的残量的残量的残差差差差28第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 残差平方和残差平方和残差平方和残差平方和测量量的标准差测量量的标准差测量量的标准差测量量的标准差两个估计量两个估计量y0，。t=2。测量次。测量次数数n=6295.3.2 最小二乘估计量最小二乘估计量最小二乘估计量最小二乘估计量x x的精度的精度的精度的精度 估计估计估计估计1
27、.1.等精度测量最小二乘估计量等精度测量最小二乘估计量等精度测量最小二乘估计量等精度测量最小二乘估计量x x(t t个个个个)的精度估计的精度估计的精度估计的精度估计设有正规方程设有正规方程设有正规方程设有正规方程有有有有不定乘数不定乘数不定乘数不定乘数矩阵矩阵矩阵矩阵用矩阵第一行乘以正规方程每一方程组两边用矩阵第一行乘以正规方程每一方程组两边用矩阵第一行乘以正规方程每一方程组两边用矩阵第一行乘以正规方程每一方程组两边第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 30方程组相加方程组相加方程组相加方程组相加第五章第五章 线性参数的
28、最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 合并，合并，合并，合并，提出提出提出提出x xi i31因为因为因为因为x x1 1系数等于系数等于系数等于系数等于1 1，其它等于，其它等于，其它等于，其它等于0 0。上面方程简化为。上面方程简化为。上面方程简化为。上面方程简化为第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 令令令令x x x x1 1 1 1前系数等于前系数等于前系数等于前系数等于1 1 1 1令令令令x x x x2 2 2 2、x x x x2 2 2 2、,x,x,x,
29、xt t t t，前系数都等于前系数都等于前系数都等于前系数都等于0 0 0 0其中有其中有其中有其中有32将方程将方程将方程将方程其中其中其中其中第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 展开后，按照展开后，按照展开后，按照展开后，按照l li i合并合并合并合并33由于由于由于由于 为等精度、标准差为为等精度、标准差为为等精度、标准差为为等精度、标准差为 的相互的相互的相互的相互独立的正态随机变量，则独立的正态随机变量，则独立的正态随机变量，则独立的正态随机变量，则(两边取方差，等两边取方差，等两边取方差，等两边取方差，等
30、精度测量方差相同精度测量方差相同精度测量方差相同精度测量方差相同)同理可得同理可得同理可得同理可得则相应的最小二乘估计值的标准差为则相应的最小二乘估计值的标准差为则相应的最小二乘估计值的标准差为则相应的最小二乘估计值的标准差为第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 如何获得不定乘数如何获得不定乘数如何获得不定乘数如何获得不定乘数d dii ii?测量数据l的的方差方差估计值估计值x1的的方差方差34第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 l l不定乘数的获
31、得不定乘数的获得不定乘数的获得不定乘数的获得解方程组解方程组解方程组解方程组共共t2个方程，可解个方程，可解t2个系个系数数aij。写成矩阵形式。写成矩阵形式35第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 矩阵方程矩阵方程矩阵方程矩阵方程解出矩阵对角线上即为解出矩阵对角线上即为dii。正规方程正规方程中的系数中的系数矩阵矩阵36.不等精度测量最小二乘估计量不等精度测量最小二乘估计量不等精度测量最小二乘估计量不等精度测量最小二乘估计量x x x x 的精度估计的精度估计的精度估计的精度估计代入权，与等精度推导过程代入权，与等精度推
32、导过程代入权，与等精度推导过程代入权，与等精度推导过程同理可得：同理可得：同理可得：同理可得：各不定乘数各不定乘数各不定乘数各不定乘数 由由由由 求得：求得：求得：求得：式中式中式中式中 是是是是测量数据测量数据测量数据测量数据l l的单位权标准差的单位权标准差的单位权标准差的单位权标准差。第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 37例例题题5.4 5.4 求例题求例题求例题求例题5.15.15.15.1中铜棒长度和线膨胀系数估计量中铜棒长度和线膨胀系数估计量中铜棒长度和线膨胀系数估计量中铜棒长度和线膨胀系数估计量的测量精度
33、的测量精度的测量精度的测量精度i i1 12 23 34 45 56 61010202025253030404045452000.362000.362000.722000.722000.82000.82001.072001.072001.482001.482000.602000.60解：解：解：解：待估计参数为待估计参数为y0的系数为的系数为1。Y0前的系数是前的系数是ti。已知：棒的测量精度已知：棒的测量精度已知：棒的测量精度已知：棒的测量精度(即测量量精度即测量量精度即测量量精度即测量量精度)(上例求得上例求得上例求得上例求得)第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘
34、法与回归分析 5.3 5.3 精度估计精度估计 不定乘数为不定乘数为不定乘数为不定乘数为38所以估计量所以估计量所以估计量所以估计量a=ya=y0 0，b=yb=y0 0的标准差为的标准差为的标准差为的标准差为因为因为因为因为a=ya=y0 0，b=yb=y0 0(y(y0 0=1999.97)=1999.97)。所以。所以。所以。所以第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析 5.3 5.3 精度估计精度估计 39第五章线性参数的最小二乘法与回归分析第五章线性参数的最小二乘法与回归分析5.45.4组合测量的最小二乘法组合测量的最小二乘法 n n组合测量：组合测
35、量：组合测量：组合测量：通过通过通过通过直接测量待测参数直接测量待测参数直接测量待测参数直接测量待测参数的的的的组组组组合量合量合量合量(一般是等精度一般是等精度一般是等精度一般是等精度)，然后对这些测量数然后对这些测量数然后对这些测量数然后对这些测量数据进行处理据进行处理据进行处理据进行处理，从而求得待测参数的估计量从而求得待测参数的估计量从而求得待测参数的估计量从而求得待测参数的估计量，并求其精度估计并求其精度估计并求其精度估计并求其精度估计。n n以检定三段刻线间距为例，要求检定刻线以检定三段刻线间距为例，要求检定刻线以检定三段刻线间距为例，要求检定刻线以检定三段刻线间距为例，要求检定刻
36、线A A、B B、C C、D D间的距离间的距离间的距离间的距离 。5.4 组合测量的最小二乘法组合测量的最小二乘法组合测量的最小二乘法组合测量的最小二乘法ABCDABCD测量测量测量测量l li i，根据，根据，根据，根据l li i与与与与x xi i的关系，用最小二乘法求出的关系，用最小二乘法求出的关系，用最小二乘法求出的关系，用最小二乘法求出x xi i。40直接测量各组合量，得直接测量各组合量，得直接测量各组合量，得直接测量各组合量，得首先列出残差方程首先列出残差方程首先列出残差方程首先列出残差方程第五章线性参数的最小二乘法与回归分析第五章线性参数的最小二乘法与回归分析5.45.4组
37、合测量的最小二乘法组合测量的最小二乘法 ABCDABCD41由此可得：由此可得：由此可得：由此可得：则最小二乘估计为则最小二乘估计为则最小二乘估计为则最小二乘估计为第五章线性参数的最小二乘法与回归分析第五章线性参数的最小二乘法与回归分析5.45.4组合测量的最小二乘法组合测量的最小二乘法 42l l现求上述估计量的精度估计。将最佳估计值代入现求上述估计量的精度估计。将最佳估计值代入现求上述估计量的精度估计。将最佳估计值代入现求上述估计量的精度估计。将最佳估计值代入误差方程中，误差方程中，误差方程中，误差方程中，有有有有第五章线性参数的最小二乘法与回归分析第五章线性参数的最小二乘法与回归分析5.
38、45.4组合测量的最小二乘法组合测量的最小二乘法 43测量数据测量数据测量数据测量数据 的标准差为的标准差为的标准差为的标准差为第五章线性参数的最小二乘法与回归分析第五章线性参数的最小二乘法与回归分析5.45.4组合测量的最小二乘法组合测量的最小二乘法 不定乘数矩阵不定乘数矩阵不定乘数矩阵不定乘数矩阵6个测量量，3个待估计量44则最小二乘估计量则最小二乘估计量则最小二乘估计量则最小二乘估计量 的标准差为的标准差为的标准差为的标准差为第五章线性参数的最小二乘法与回归分析第五章线性参数的最小二乘法与回归分析5.45.4组合测量的最小二乘法组合测量的最小二乘法 45第五章第五章 线性参数的最小二乘法
39、与回归分析线性参数的最小二乘法与回归分析5.5 5.5 回归分析回归分析5.5 回归分析回归分析回归分析回归分析1 1 1 1、变量之间的关系、变量之间的关系、变量之间的关系、变量之间的关系n n变量之间的关系可分为两种类型变量之间的关系可分为两种类型变量之间的关系可分为两种类型变量之间的关系可分为两种类型l l函数关系：函数关系：函数关系：函数关系：可以用明确的函数关系式可以用明确的函数关系式可以用明确的函数关系式可以用明确的函数关系式精确地表示出来；精确地表示出来；精确地表示出来；精确地表示出来；n n回归回归回归回归：从从从从有有有有相关关系相关关系相关关系相关关系或或或或函数关系函数关
40、系函数关系函数关系的的的的若干组自变量与因若干组自变量与因若干组自变量与因若干组自变量与因变量变量变量变量值值值值的的的的对应数据出发对应数据出发对应数据出发对应数据出发，求出反应自变量与因变量关求出反应自变量与因变量关求出反应自变量与因变量关求出反应自变量与因变量关系的未知解析表达式系的未知解析表达式系的未知解析表达式系的未知解析表达式的过程称为回归。的过程称为回归。的过程称为回归。的过程称为回归。5.5.1 回归分析基本概念回归分析基本概念回归分析基本概念回归分析基本概念l l相关关系：相关关系：相关关系：相关关系：这些变量之间既这些变量之间既这些变量之间既这些变量之间既存在着密切的关系存
41、在着密切的关系存在着密切的关系存在着密切的关系，又，又，又，又不不不不能由一个能由一个能由一个能由一个(或几个或几个或几个或几个)自变量的数值精确地求出另一个因自变量的数值精确地求出另一个因自变量的数值精确地求出另一个因自变量的数值精确地求出另一个因变量的数值变量的数值变量的数值变量的数值，而是要，而是要，而是要，而是要通过通过通过通过试验试验试验试验和调查研究和调查研究和调查研究和调查研究，才能确定才能确定才能确定才能确定它们之间的关系它们之间的关系它们之间的关系它们之间的关系。46第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析5.5 5.5 回归分析回归分析2
42、2 2 2、回归分析、回归分析、回归分析、回归分析l l回归是自然科学研究中探明未知规律，回归是自然科学研究中探明未知规律，回归是自然科学研究中探明未知规律，回归是自然科学研究中探明未知规律，把未知的内在规把未知的内在规把未知的内在规把未知的内在规律性表达出来律性表达出来律性表达出来律性表达出来的重要方法。的重要方法。的重要方法。的重要方法。l l该方法常用于该方法常用于该方法常用于该方法常用于建立建立建立建立变量之间的变量之间的变量之间的变量之间的经验公式经验公式经验公式经验公式或者或者或者或者实验定律。实验定律。实验定律。实验定律。n n回归分析是回归分析是回归分析是回归分析是分析回归所得
43、到的解析表分析回归所得到的解析表分析回归所得到的解析表分析回归所得到的解析表达式达式达式达式可靠性的过程可靠性的过程可靠性的过程可靠性的过程，是，是，是，是处理变量之间相处理变量之间相处理变量之间相处理变量之间相关关系关关系关关系关关系的一种的一种的一种的一种数理统计方法数理统计方法数理统计方法数理统计方法。475.5.2 一元线性回归一元线性回归一元线性回归一元线性回归n n一元线性回归一元线性回归一元线性回归一元线性回归：确定两个变量之间：确定两个变量之间：确定两个变量之间：确定两个变量之间的线性关系，即直线拟合问题。的线性关系，即直线拟合问题。的线性关系，即直线拟合问题。的线性关系，即直
44、线拟合问题。一、一、一、一、一元线性回归方程一元线性回归方程一元线性回归方程一元线性回归方程1.1.1.1.回归方程的求法回归方程的求法回归方程的求法回归方程的求法确定某段导线的电阻与温度之间的关系。确定某段导线的电阻与温度之间的关系。确定某段导线的电阻与温度之间的关系。确定某段导线的电阻与温度之间的关系。19.119.125.025.030.130.136.036.040.040.046.546.550.050.076.3076.3077.8077.8079.7579.7580.8080.8082.3582.3583.9083.9085.1085.10解：做散点图解：做散点图解：做散点图解：
45、做散点图如图：如图：如图：如图：2030354045 50767882808425例例例例题题题题5.55.55.55.5 第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析5.5 5.5 回归分析回归分析48l l从散点图可以看出：电阻与温度从散点图可以看出：电阻与温度从散点图可以看出：电阻与温度从散点图可以看出：电阻与温度大致成线性关系。大致成线性关系。大致成线性关系。大致成线性关系。l l设测量数据有如下结构形式：设测量数据有如下结构形式：设测量数据有如下结构形式：设测量数据有如下结构形式：式中，式中，式中，式中，分别表示分别表示分别表示分别表示其它随机因素其它随
46、机因素其它随机因素其它随机因素对对对对电阻值电阻值电阻值电阻值 影响的总和。影响的总和。影响的总和。影响的总和。n n要求电阻要求电阻要求电阻要求电阻y y y y与与与与x x x x的关系，即的关系，即的关系，即的关系，即根据测量数据根据测量数据根据测量数据根据测量数据要求出要求出要求出要求出 的估计值。的估计值。的估计值。的估计值。和和和和第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析5.5 5.5 回归分析回归分析n n思路：思路：思路：思路：根据测量数据根据测量数据根据测量数据根据测量数据(7(7(7(7组组组组)，可以得到，可以得到，可以得到，可以得到7
47、 7 7 7个测量方程个测量方程个测量方程个测量方程，未知数有两个未知数有两个未知数有两个未知数有两个，而，而，而，而方程个数大于未知数的个数方程个数大于未知数的个数方程个数大于未知数的个数方程个数大于未知数的个数，适合适合适合适合于用于用于用于用最小二乘法最小二乘法最小二乘法最小二乘法求解。求解。求解。求解。49设得到的回归方程设得到的回归方程设得到的回归方程设得到的回归方程残差方程为残差方程为残差方程为残差方程为根据最小二乘原理可求得回归系数根据最小二乘原理可求得回归系数根据最小二乘原理可求得回归系数根据最小二乘原理可求得回归系数b b b b0 0 0 0和和和和b b b b。对照最小
48、二乘法的矩阵形式，令对照最小二乘法的矩阵形式，令对照最小二乘法的矩阵形式，令对照最小二乘法的矩阵形式，令第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析5.5 5.5 回归分析回归分析回归值回归值回归值回归值测量值测量值测量值测量值相当于二乘法公相当于二乘法公相当于二乘法公相当于二乘法公式中的测量值式中的测量值式中的测量值式中的测量值l l l li i i i相当于二乘法公相当于二乘法公相当于二乘法公相当于二乘法公式中的系数矩阵式中的系数矩阵式中的系数矩阵式中的系数矩阵A A A A相当于二乘法公相当于二乘法公相当于二乘法公相当于二乘法公式中的待求量式中的待求量式中
49、的待求量式中的待求量X X X X待求量待求量待求量待求量b b b b0 0 0 0系数为系数为系数为系数为1 1 1 1，b b b b前系数为前系数为前系数为前系数为x x x xi i i i。l l仿照最小二乘法的解，仿照最小二乘法的解，仿照最小二乘法的解，仿照最小二乘法的解，则有则有则有则有 的解的解的解的解为为为为50误差方程的矩阵形式为误差方程的矩阵形式为误差方程的矩阵形式为误差方程的矩阵形式为l l回顾：最小二乘法回顾：最小二乘法回顾：最小二乘法回顾：最小二乘法第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析5.5 5.5 回归分析回归分析的解为的解
50、为的解为的解为相当于将相当于将相当于将相当于将x x换换换换成成成成b b，A A换成换成换成换成x x51将测得值将测得值将测得值将测得值x xt t,y,yt t分别代入上式，可计算得分别代入上式，可计算得分别代入上式，可计算得分别代入上式，可计算得第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析5.5 5.5 回归分析回归分析将上式拆写成将上式拆写成52第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析5.5 5.5 回归分析回归分析其中其中其中其中53第五章第五章 线性参数的最小二乘法与回归分析线性参数的最小二乘法与回归分析5.5 5.