《平稳随机过程估计理论精.ppt》由会员分享，可在线阅读，更多相关《平稳随机过程估计理论精.ppt（36页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、平稳随机过程估计理论1第1页，本讲稿共36页信号处理的根本任务是要提取有用的信息，有用信号处理的根本任务是要提取有用的信息，有用信息是通过检测、估计的方法对信号进行处理后信息是通过检测、估计的方法对信号进行处理后提取出来的，所以、检测、估计的信号处理方法提取出来的，所以、检测、估计的信号处理方法是信号处理技术的理论基础，它的应用领域十分是信号处理技术的理论基础，它的应用领域十分广泛。广泛。2第2页，本讲稿共36页3第3页，本讲稿共36页 声纳系统声纳系统-利用声波信号确定船只的位置利用声波信号确定船只的位置 图象处理图象处理-使用红外检测是否有飞机出现使用红外检测是否有飞机出现 图图象象分分析
2、析-根根据据照照相相机机的的图图象象估估计计目目标标的的位位置置和和方方向向，用机器人抓目标时是必须的用机器人抓目标时是必须的 生物医学生物医学-估计胎儿的心率估计胎儿的心率 控控制制-估估计计汽汽艇艇的的位位置置，以以便便采采用用正正确确的的导导航航行行为，如为，如LoranLoran系统系统 地地震震学学-检检测测地地下下是是否否有有油油田田，并并根根据据油油层层和和岩岩层层的密度，根据声反射来估计油田的地下距离。的密度，根据声反射来估计油田的地下距离。4第4页，本讲稿共36页所所有有这这些些问问题题都都有有一一个个共共同同的的特特点点，那那就就是是从从含含有有噪噪声声的的数数据据集集中中
3、去去提提取取我我们们所所需需要要的的有有用用信信息息，这这些些有有用用信信息息可可能能是是“目目标标出出现现与与否否”、“数数字字源源发发射射的的是是0 0还还是是1 1”或或者者“目目标标的的距距离离”、“目目标标的的方方位位”，或或”目目标标的的速速度度”等等，由由于于噪噪声声固固有有的的随随机机性性，因因此此，有有用用信信息息的的提提取取必必须须采采用用统统计计的的方方法法，这这些些统统计计方方法法的的基基础础就就是是检检测测理理论论与与估估计计理理论论，就就是是本本课课程程后后续续章章节节学学习的内容。习的内容。5第5页，本讲稿共36页5.5.信号的估计问题信号的估计问题5.1 估计的
4、基本概念估计的基本概念 5.2 确定性信号处理的最小平方问题确定性信号处理的最小平方问题5.3 随机信号参数的最小均方估计随机信号参数的最小均方估计5.4 最小二乘估计：最小二乘估计：观测与估计偏差的平方和最小观测与估计偏差的平方和最小5.5 波形估计波形估计6第6页，本讲稿共36页估计问题通常是以下三种情况：估计问题通常是以下三种情况：n 根据观测样本直接对观测样本的各类统计特性作出估计；根据观测样本直接对观测样本的各类统计特性作出估计；n 根据观测样本，对观测样本中的信号中的未知的待定参量作出估计，根据观测样本，对观测样本中的信号中的未知的待定参量作出估计，称为信号的参量估计问题，又分为称
5、为信号的参量估计问题，又分为点估计点估计和和区间估计区间估计；n 根据观测样本对随时间变化的信号作出波形估计，又称为根据观测样本对随时间变化的信号作出波形估计，又称为过程估计过程估计。5.15.1估计的基本概念估计的基本概念7第7页，本讲稿共36页信源s()P()混合P(n)n估计规则估计规则估计估计()z观测空间观测空间信号参量估计的统计推断模型信号参量估计的统计推断模型5.15.1估计的基本概念估计的基本概念8第8页，本讲稿共36页估计问题基本要素估计问题基本要素5.15.1估计的基本概念估计的基本概念概率传递机制概率传递机制估计准则估计准则9第9页，本讲稿共36页5.25.2确定性信号最
6、小平方估计确定性信号最小平方估计例例1 实数二次型实数二次型10第10页，本讲稿共36页5.25.2确定性信号最小平方估计确定性信号最小平方估计11第11页，本讲稿共36页5.25.2确定性信号最小平方估计确定性信号最小平方估计例例2 多项式多项式由信号由信号估计估计寻求寻求12第12页，本讲稿共36页5.25.2确定性信号最小平方估计确定性信号最小平方估计由由可得使可得使E为最小的向量为最小的向量估计的最小平方误差为估计的最小平方误差为13第13页，本讲稿共36页5.25.2确定性信号最小平方估计确定性信号最小平方估计14第14页，本讲稿共36页1、线性最小均方估计、线性最小均方估计(lin
7、ear minimum mean square error estimation)设随机参量设随机参量 与观测数据与观测数据z有关，且有关，且 在观测过程中不变，在观测过程中不变，根据根据N个观测数据个观测数据z:z1,z2,zN,对参量对参量 作线性最小均方作线性最小均方估计估计 。规定估计量具有线性函数形式：规定估计量具有线性函数形式：选择适当的系数选择适当的系数hk及及b，使估计均方误差最小。，使估计均方误差最小。5.35.3随机信号的线性最小均方估计随机信号的线性最小均方估计15第15页，本讲稿共36页由上两式即可求得由上两式即可求得b及系数及系数hk。实现线性最小均方估计条件：实现线
8、性最小均方估计条件：通常称为通常称为正交条件正交条件，即估计误差与各个观测数据乘积的统计均值等，即估计误差与各个观测数据乘积的统计均值等于零。于零。5.35.3随机信号的线性最小均方估计随机信号的线性最小均方估计16第16页，本讲稿共36页性能分析：性能分析：线性最小均方估计为无偏估计，即有：线性最小均方估计为无偏估计，即有：线性最小均方估计的均方误差等于误差与被估计量乘积的统计线性最小均方估计的均方误差等于误差与被估计量乘积的统计均值，即：均值，即：其中：其中：5.35.3随机信号的线性最小均方估计随机信号的线性最小均方估计17第17页，本讲稿共36页例例1、在平稳白噪声背景中，对参量作线性
9、最小均方估计。、在平稳白噪声背景中，对参量作线性最小均方估计。1)观测数据为：观测数据为：其中其中a为信号幅值，为信号幅值，Ea2=A，Ea=0；nk为均值为零、方差为为均值为零、方差为 的白噪声，且信号幅值与噪声不相关，求的白噪声，且信号幅值与噪声不相关，求a的最佳线性估计。的最佳线性估计。2)若观测数据为：若观测数据为：设设Es2=S，Es=0；其余条件同；其余条件同(1)，试根据二个观测数据求，试根据二个观测数据求s的的最佳线性估计。最佳线性估计。5.35.3随机信号的线性最小均方估计随机信号的线性最小均方估计18第18页，本讲稿共36页1 1、估计量的性能标准、估计量的性能标准 无偏性
10、无偏性 如果估计量的均值等于非随机参量或等于随机参量的均值，如果估计量的均值等于非随机参量或等于随机参量的均值，则称估计量具有无偏性。即满足：则称估计量具有无偏性。即满足：对于确定量，有：对于确定量，有：对于随机量，有：对于随机量，有：5.45.4估计量的性能估计量的性能19第19页，本讲稿共36页 有效性有效性 对于无偏估计，如果估计的方差越小，表明估计量的取值对于无偏估计，如果估计的方差越小，表明估计量的取值越集中于真值附近，估计的性能越好。越集中于真值附近，估计的性能越好。5.45.4估计量的性能估计量的性能20第20页，本讲稿共36页对于有偏估计，尽管估计的方差很小，但估计的误差对于有
11、偏估计，尽管估计的方差很小，但估计的误差可能仍然很大。可能仍然很大。5.45.4估计量的性能估计量的性能21第21页，本讲稿共36页 有效性有效性 对于无偏估计，如果估计的方差越小，表明估计量的取值越集中于对于无偏估计，如果估计的方差越小，表明估计量的取值越集中于真值附近，估计的性能越好。真值附近，估计的性能越好。用估计的方差还不能准确地描述估计的性能用估计的方差还不能准确地描述估计的性能，所以我们可以用均，所以我们可以用均方误差作为评价估计量性能的一个指标。方误差作为评价估计量性能的一个指标。5.45.4估计量的性能估计量的性能22第22页，本讲稿共36页 一致性一致性 即对于任意小数即对于
12、任意小数，若有：，若有：则估计量则估计量 为为一致一致估计量。估计量。若满足若满足则称为则称为均方一致均方一致估计量。估计量。5.45.4估计量的性能估计量的性能23第23页，本讲稿共36页例例1、高斯白噪声中的直流电平估计、高斯白噪声中的直流电平估计-未知参数。设有未知参数。设有N次独立次独立观测观测zi=A+vi，i=1,2,.N，其中，其中viN(0,2)，2已知。已知。5.45.4估计量的性能估计量的性能24第24页，本讲稿共36页2 2、克拉美罗限、克拉美罗限(Cramer-Rao Low bound)(Cramer-Rao Low bound)无偏估计量的估计方差的最小值无偏估计量
13、的估计方差的最小值 非随机参量非随机参量任何无偏估计量的方差满足任何无偏估计量的方差满足 等号成立的条件：等号成立的条件：克拉美-罗限5.45.4估计量的性能估计量的性能25第25页，本讲稿共36页2 2、克拉美罗限、克拉美罗限(Cramer-Rao bound)(Cramer-Rao bound)如果一个无偏估计，它的方差达到如果一个无偏估计，它的方差达到CRLBCRLB，那么，这个估计必定是最，那么，这个估计必定是最大似然估计。这时最大似然估计是最好的。但如果不存在达到大似然估计。这时最大似然估计是最好的。但如果不存在达到CRLBCRLB的估计，最大似然估计就不一定是最好的估计。的估计，最
14、大似然估计就不一定是最好的估计。5.45.4估计量的性能估计量的性能26第26页，本讲稿共36页例例2、高斯白噪声中的高斯白噪声中的DCDC电平。电平。DCDC电平的最大似然估计的方差电平的最大似然估计的方差是否达到是否达到CRLBCRLB？它的估计方差是多少？它的估计方差是多少？5.45.4估计量的性能估计量的性能27第27页，本讲稿共36页2 2、克拉美罗限、克拉美罗限(Cramer-Rao Low bound)(Cramer-Rao Low bound)无偏估计量的估计方差的最小值无偏估计量的估计方差的最小值 随机参量随机参量任何无偏估计量的均方误差满足任何无偏估计量的均方误差满足 等号
15、成立的条件：等号成立的条件：克拉美-罗限5.45.4估计量的性能估计量的性能28第28页，本讲稿共36页2 2、克拉美罗限、克拉美罗限(Cramer-Rao Low bound)(Cramer-Rao Low bound)无偏估计量的估计方差的最小值无偏估计量的估计方差的最小值 随机参量随机参量如果有某个无偏估计达到如果有某个无偏估计达到CRLB,CRLB,那么该估计必定是最大后验概率估那么该估计必定是最大后验概率估计计.而最小均方估计的均方误差也是最小的而最小均方估计的均方误差也是最小的,所以这时最小均方估所以这时最小均方估计与最大后验概率估计等价计与最大后验概率估计等价.5.45.4估计量
16、的性能估计量的性能29第29页，本讲稿共36页例例2 高斯白噪声中的直流电平估计高斯白噪声中的直流电平估计-高斯先验分布。设有高斯先验分布。设有N N次独立观测次独立观测z zi i=A+v=A+vi i,i=1,2,.N,i=1,2,.N，其中，其中vN(0,)vN(0,)，A A ，求，求A A的估计的的估计的CRLBCRLB。5.45.4估计量的性能估计量的性能30第30页，本讲稿共36页1 1、波形估计、波形估计 参量估计适用于非时变参量，无法解决时变参量估计问题。参量估计适用于非时变参量，无法解决时变参量估计问题。关于时变参量甚至时变信号本身的估计称为时变信号估计或波形估关于时变参量
17、甚至时变信号本身的估计称为时变信号估计或波形估计，因此波形估计又称过程估计。计，因此波形估计又称过程估计。波形估计其实质就是给定有用信号和加性噪声的混合波形，寻波形估计其实质就是给定有用信号和加性噪声的混合波形，寻求一种线性运算作用于此混合波形，使信号与噪声实现最佳分离，求一种线性运算作用于此混合波形，使信号与噪声实现最佳分离，最佳的含义是使估计的均方误差最小，故又称为最佳线性滤波理论。最佳的含义是使估计的均方误差最小，故又称为最佳线性滤波理论。5.5 5.5 波形估计波形估计31第31页，本讲稿共36页 波形估计通常分为滤波、平滑、预测三种基本估计。波形估计通常分为滤波、平滑、预测三种基本估
18、计。滤波：滤波：根据当前和过去的观测值根据当前和过去的观测值z(k),k=n0,n0+1,.,n对信号对信号s(n)进行估计进行估计(Filtering)；预测预测:根据当前和过去的观测值根据当前和过去的观测值z(k),k=n0,n0+1,.,nf对未来时对未来时刻刻n(nnf)的信号的信号s(n)进行估计，预测也称为外推；进行估计，预测也称为外推；(Prediction)根据某一区间的观测数据根据某一区间的观测数据z(k),k=n0,n0+1,.,nf对区间内的某对区间内的某一个时刻一个时刻n(n0nnf)的信号进行估计，内插也称为平滑。的信号进行估计，内插也称为平滑。(Smoothing)
19、。5.5 5.5 波形估计波形估计32第32页，本讲稿共36页2 2、维纳滤波、维纳滤波 线性最小均方估计是观测的线性函数，它可以看作为观测线性最小均方估计是观测的线性函数，它可以看作为观测序列通过离散时间线性系统，即序列通过离散时间线性系统，即Wiener-Hopf方程方程 滤波器系数的选择：滤波器系数的选择：正交原理正交原理5.5 5.5 波形估计波形估计33第33页，本讲稿共36页假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统为因果的线性时不变离散时间线性系统为因果的线性时不变离散时间线性系统 5.5 5.5
20、波形估计波形估计34第34页，本讲稿共36页维纳滤波器维纳滤波器信号信号s(n)与观测噪声统计独立时，维纳滤波器为：与观测噪声统计独立时，维纳滤波器为：观测为白噪声时，维纳滤波器为：观测为白噪声时，维纳滤波器为：5.5 5.5 波形估计波形估计35第35页，本讲稿共36页维纳滤波和卡尔曼滤波是实现从噪声中提取信号，完成信号波维纳滤波和卡尔曼滤波是实现从噪声中提取信号，完成信号波形估计的两种线性最佳估计方法。形估计的两种线性最佳估计方法。维纳滤波需要设计维纳滤波器，它的求解要求知道随机信号的统计维纳滤波需要设计维纳滤波器，它的求解要求知道随机信号的统计特性，即相关函数或功率谱密度。当信号的功率谱
21、为有理谱时，采用谱分解特性，即相关函数或功率谱密度。当信号的功率谱为有理谱时，采用谱分解的方法求解滤波器的系统函数，简单易行，物理概念清楚，具有一定的工程的方法求解滤波器的系统函数，简单易行，物理概念清楚，具有一定的工程实用价值，但当功率谱变化时，却不能进行实时处理。维纳滤波的限制是：实用价值，但当功率谱变化时，却不能进行实时处理。维纳滤波的限制是：它仅实用于一维平稳随机信号。它仅实用于一维平稳随机信号。20世纪世纪50年代，为了解决多输入、多输出非平稳随机信号的估年代，为了解决多输入、多输出非平稳随机信号的估计问题，卡尔曼于计问题，卡尔曼于60年采用状态方程和观测方程描述系统的信号模型，年采用状态方程和观测方程描述系统的信号模型，提出离散状态估计的一组递推公式，即卡尔曼滤波器公式。由于卡尔提出离散状态估计的一组递推公式，即卡尔曼滤波器公式。由于卡尔曼滤波采用的递推算法非常适合计算机处理，广泛应用于许多领域。曼滤波采用的递推算法非常适合计算机处理，广泛应用于许多领域。36第36页，本讲稿共36页