《L0范数约束的自适应滤波器设计.docx》由会员分享，可在线阅读，更多相关《L0范数约束的自适应滤波器设计.docx（40页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、本 科 毕 业 设 计（论 文）学院(部)电子信息学院题目L0 范数约束的自适应滤波器设计年级2014 级专业电子信息工程班级14 电信学号1428403050姓名晏萱藤指导老师倪锦根职称副教授论文提交日期2018 年 5 月 20 日目目 录录摘要.1ABSTRACT.2第 1 章 绪论.31.1自适应滤波器.31.1.1自适应滤波器简介.31.1.2自适应滤波器基本原理.31.1.3自适应滤波器的应用.51.2稀疏系统的自适应滤波.71.2.1稀疏系统简介.71.2.2稀疏系统测度.81.2.3针对稀疏系统的自适应滤波算法.81.3本文结构安排.10第 2 章 基于?范数的 LMS 滤波器
2、.112.1LMS 滤波器.112.1.1.维纳解.112.1.2.LMS 算法描述.112.2基于?范数的 LMS 滤波器(?-LMS).122.2.1.?范数.122.2.2.?-LMS 算法描述.122.2.3.算法简要分析.132.3仿真实验.142.3.1仿真条件.142.3.2仿真结果与分析.142.4本章小结.18第 3 章 基于?范数的 APA 滤波器.193.1APA 滤波器.193.1.1APA 算法描述.193.1.2算法简要分析.203.2基于?范数的 APA 滤波器(?-APA).203.3仿真实验.213.3.1仿真条件.223.3.2仿真结果与分析.223.4本章
3、小结.24第 4 章 基于?范数的 RLS 滤波器.264.1RLS 滤波器.264.1.1RLS 算法描述.264.1.2算法简要分析.274.2基于?范数的 RLS 滤波器(?-RLS).274.3仿真实验.294.3.1仿真条件.294.3.2仿真结果与分析.294.4本章小结.31第 5 章 总结与展望.335.1本文总结.335.2问题与展望.33参考文献.34致谢.37苏州大学本科生毕业设计（论文）1摘要摘要稀疏系统是指系统的系数向量中绝大部分元素数值为零或者接近于零。工程应用中稀疏系统普遍存在，诸如回声消除中的回声路径和数字电视传输信道等。传统的自适应滤波算法在处理稀疏系统时往往
4、存在收敛速度过慢的问题。为了提高估计稀疏系统的速率，可以采用低阶范数对自适应滤波器的系数向量进行约束。本文的主要内容是选取稀疏范数中常用的?范数作为约束项，实现基于?范数的自适应滤波器。该设计的基本原理是将?范数作为零吸引子整合进三种经典自适应滤波算法的代价函数，在加快系统收敛的同时兼顾算法的稳态误差。文中首先介绍自适应滤波器的发展历程与研究现状，然后分别介绍三种?范数约束的滤波器基本原理，最后通过仿真实验测试算法的收敛率与稳态误差，并对全文进行总结。关键词：关键词：稀疏系统，自适应滤波，?范数作者：晏萱藤指导教师：倪锦根苏州大学本科生毕业设计（论文）2AbstractA sparse sys
5、tem is defined when most elements of which are zero or close to zero.Itcan be found in a wide diversity of areas and scenarios such as echo cancellation,systemidentification and digital TV transmission channels.The truth that general adaptive filterssuffer from slow convergence when processing spars
6、e systems leads to the proposal ofmany improved algorithms.One popular approach among them is to employ normconstraint.This letter introduces three kinds of adaptive filter algorithms,namely the?-RLS,the?-APA and the?-RLS.They outperform general ones with fasterconvergence rate and smaller mean squa
7、re deviation by integrating?norm into their costfunctions.The letter is organized as follows.A summary of adaptive filters is firstpresented.Then comes introduction of three improved algorithms.Simulations andconclusions which verify new algorithms superiority are drawn in final section.Keywords:Spa
8、rse system,adaptive filtering,?normWritten by Yan XuantengSupervised by Ni Jingen苏州大学本科生毕业设计（论文）3第第 1 1 章章 绪论绪论在现代科技飞速发展的今天，自动驾驶，人脸识别，语音交互各个领域均可见到人们努力尝试革新的身影。数字信号处理作为信息化时代的产物，也在努力寻求“智能化”的道路上不断发展。其中，自适应滤波器作为能够依照环境变化自行调整参数的滤波器，大大简化了数字滤波器针对特定应用系统“量身定制”的环节，被广泛地应用在通信、控制、雷达、声呐以及生物医学工程等各个领域1。1.11.1 自适应滤波器自
9、适应滤波器得益于数字集成电路技术的发展进步，自适应滤波理论产生于上世界中叶，成熟与上世纪七十年代。自适应滤波器的基础是一种以最小均方为求解目标的维纳滤波器，它在处理特性已知的平稳信号时表现较好。然而维纳滤波器的系数是固定不变的，其设计主要基于对已输入信号统计规律的经验认知，一旦输入信号为非平稳时变信号，滤波器性能便会大打折扣。由此引发了对能够自主适应输入信号变化的自适应滤波器的研究浪潮。1.1.11.1.1自适应滤波器简介自适应滤波器简介当噪声和信号的数值统计规律未知时，仍然可以使用递归算法依照误差反馈不断调整滤波器参数，建立性能可靠的滤波器，这便是自适应滤波器的设计初衷。如果输入信号和噪声是
10、平稳的，自适应滤波器系数可以收敛到最优解；如果它们是非平稳的，只要滤波器系数的收敛速度大于系统的变化率，自适应滤波器仍然能够追踪系统的变化并及时调整自身参数实现最佳滤波效果2。最早出现的自适应滤波器基于最小均方(LMS,Least mean square)思想，这一思想于上世纪 60 年代被 Widrow Hoff 提出。LMS 滤波器的核心算法参考了维纳滤波器的基本原理，硬件实现简单，计算量小，是多年来一直被广泛使用的算法，很多后续改进算法均基于 LMS。除了 LMS 以外的另外一种常用滤波器是递归最小二乘滤波器(RLS)。与 LMS 相比，RLS 的不同之处在于其代价函数是在误差函数的加权
11、平方和基础上构建的。这类迭代方式在提升收敛速率的同时也相应地增加了计算复杂度。1.1.21.1.2自适应滤波器基本原理自适应滤波器基本原理自适应滤波器的结构框图如图 1-1 所示。图中()u n代表在n时刻滤波器的输入信苏州大学本科生毕业设计（论文）4号，期望信号()d n是输入信号在通过未知系统时受噪声干扰情况下的输出，而()y n为信号 通过滤波器的产生的输出信号。将()e n标记为误差信号，计算式为()()()e nd ny n。简单来说，自适应滤波器以误差信号为反馈来调整自身的传输函数，从而不断更新滤波器系数以实现最佳滤波效果。图 1-1 自适应滤波器结构框图有三个主要因素是自适应滤波
12、器设计阶段必须要考虑的：滤波器结构、目标函数和自适应算法。这三个要素通过不同的组合来实现不同功能，应用于不同场合。下面就三个因素进行分点介绍：1)滤波器结构和传统的数字滤波器一样，自适应滤波器的实现结构可以有多种。常用的如有限冲激响应(?IR)自适应数字滤波器和无限冲激响应(IIR)自适应数字滤波器。其中以横向滤波器为代表的?IR滤波器普遍采用非递归结构，而 IIR滤波器大多采用标准直接形式结构等递归结构。2)目标函数目标函数是滤波器在系数迭代过程中遵照输入输出信号和参考信号的反馈来不断调整参数使实现最小值的函数。目标函数必须是非负值，且在理想情况下其最优解的值为零。较为普遍使用的目标函数有均
13、方误差(MSE)、最小二乘(LS)、加权最小二乘(WLS)以及瞬时平方值(ISV)等。3)自适应算法自适应算法设计对滤波器性能的影响较大，如前所述，目前常用的算法有两大类：第一类为随机梯度算法，例如非常经典的 LMS 算法3以及由此衍生出的归一化最小均方算法(NLMS)、符号最小均方算法(Sign LMS)和仿射投影算法(APA)等。该类算苏州大学本科生毕业设计（论文）5法因其计算简单的特性在信号处理中应用广泛，多年来一直是最受欢迎的算法之一。另一类算法称为最小二乘算法，它很好地体现了“最佳收敛”效果。这类算法中比较典型的是 RLS 算法，该算法采用误差函数的加权平方和为目标函数，其能够及时追
14、踪输入向量的变化，因而在应对非平稳系统时表现相对更优。在选择算法进行设计时，除了应当考虑应用环境的具体要求和限制，还应当将计算量和算法稳定性等纳入考虑范围。常见的算法性能指标如下：收敛速度-即目标函数实现最优解时的迭代次数。稳态失调-通常而言稳态失调越小越好,常用的稳态失调衡量指标如均方误差(MSE)：2MSE()()()nEd ny n，式中()d n表示期望信号，它是输出信号与噪声的叠加()()()d ny nv n；()y n为系统实际输出信号，E 为计算期望值的符号。鲁棒性-指信源(内部或外部)发生改变时，算法将误差变化控制在一定小范围内的能力。1.1.31.1.3自适应滤波器的应用自
15、适应滤波器的应用虽然不同的应用场合所采用的滤波器特性大不相同，但是其相同点都是利用输出信号和期望信号的误差反馈来调整控制滤波器系数。几种常见的自适应滤波器应用场合介绍如下。1)系统辨识图 1-2 是自适应滤波器在系统辨识中的模型，未知系统和自适应滤波器的输入均为未经延迟的输入信号()u n。未知系统端的输出为期望信号()d n，自适应滤波器端的输出为输出信号()y n。算法根据误差信号()e n的反馈调整滤波器的系数向量，以此来减小输出信号与未知系统之间的偏差，达到对系统进行辨识的目的。诸如通信信道的建模以及回音消除等均会用到系统辨识4,5。图 1-2 系统辨识模型图苏州大学本科生毕业设计（论
16、文）62)信号增强信号增强系统的参考信号是输入信号()u n与噪声1()v n叠加产生的信号，滤波器端以与加性噪声1()v n成相关函数的噪声2()v n为输入。1-3 信号增强模型图其系统模型如图1-3所示，该种结构常用于诸如生物医学工程中的心电信号降噪处理、助听器噪音消除以及通信电子设备的杂音消除等6,7。3)逆系统建模逆系统建模的目的是根据输入信号等对系统传输函数进行估测，并利用该传输函数补偿通信系统信道的线性失真。图 1-4 展示了逆系统建模的框图。图中参考信号()d n是经过延迟的系统输入信号，滤波器的输入为叠加了噪声的输入信号，滤波器参数调整遵照输出信号()y n与参考信号()d
17、n的误差反馈来不断优化设计。逆系统建模在补偿通信系统信号衰落与色散、信道均衡以及旁瓣消除中表现优异，比如在逆系统建模基础上建立的判决反馈均衡器(D?E)在信道严重失真的情况下仍然能够在很短时间内降低噪声8。图 1-4 逆系统建模模型图4)信号预测信号预测在语音信号的线性预测编码、自适应线谱增强(ALE)领域发挥作用较大9。信号预测的模型结构如图 1-5 所示，图中滤波器的作用是对随机信号做出最佳预测，因此系统中的期望信号()d n为未经延迟的输入信号()u n；自适应滤波器以经过延迟的输入信号为输入，通过不断调整自身参数来逼近当前时刻的输入信号()u n，实现对其进行有效预测的目的。苏州大学本
18、科生毕业设计（论文）7图 1-5 信号预测模型图1.21.2 稀疏系统的自适应滤波稀疏系统的自适应滤波1.2.11.2.1稀疏系统简介稀疏系统简介在实际通信过程中，通信信道往往会因迟滞效应被延长，这使得冲激响应只占信道的极小部分，信道其余部分的系数为零或者几乎为零。这种系统被称作稀疏系统，诸如回声消除网络10和数字电视传输信道11等多个应用场合均可见到稀疏系统。稀疏系统可分为两类，一类是普通稀疏系统，如图 1-6(a)所示；另外一类称作簇稀疏系统，图 1-6(b)为簇稀疏系统简图，该类稀疏系统一般都包含几个簇，每个簇都由若干大系数构成。例如声音回波信道是典型的单簇稀疏系统，而卫星电视链路的通信
19、信道是由好几个簇组成的多簇稀疏系统。图 1-6(a)普通稀疏系统图 1-6(b)簇稀疏系统稀疏系统的普遍存在给自适应滤波器在系统辨识等方面的功能实现带来了困难。因为稀疏系统延长了信道，使得其滤波实现需要更长的滤波器，而滤波器长度的增加苏州大学本科生毕业设计（论文）8往往意味着更大的时延；另一方面，尽管稀疏系统中大部分元素接近于零，但是滤波器在处理过程中仍然需要将其考虑计算在内，这就降低了滤波器系数的收敛速度。如何做到快速收敛是自适应滤波器面临的主要问题：收敛速度与稳态误差的不可调和性导致若在保证收敛率的情况下增加全局步长加快收敛，必然会引发更大的稳态失调；若要保证 MSE，则需要减小步长牺牲收
20、敛速度。因此很多算法的改进思路都是在收敛速度和 MSE 两个指标间寻找折中，比如在迭代过程中使用可变步长等。1.2.21.2.2稀疏系统测度稀疏系统测度出于研究分析需要，现提出一种可以量化表示系统稀疏性的方法。由此假设现有一个长度1L 的向量011,0TLw wwwK(1-1)同时定义一个函数10()00lllwf ww(1-2)而后可以表示出w的?范数，即w中非零元素的个数，写作100()Lllf ww(1-3)应当指出()lf w的最小化求解属于 NP 问题(Non-Polynomial hard problem)，一般很少直接使用?范数表达式，实际应用中常用的是?范数连续函数逼近式。除了
21、?范数之外，稀疏系统还可以用?范数、?范数等来量化稀疏程度。w的?范数表达式为，110|Lllww(1-4)w的?范数表达式为1220LTllwww w(1-5)经过推导可以得到?范数、?范数与?范数的关系为10201wwww(1-6)1.2.31.2.3针对稀疏系统的自适应滤波算法针对稀疏系统的自适应滤波算法正如上节所述，系统的稀疏性导致亟需提出可以应对该情况的自适应滤波算法。苏州大学本科生毕业设计（论文）9首先出现的是归一化最小均方自适应滤波器(NLMS)，它能够根据当前的输入信号独立调整每一次迭代过程中的步长。在这种情况下，滤波器的增益按比例分配给每一个系数，数值较大的系数在这个过程中被
22、突显以提升算法整体收敛率。然而尽管这种独立迭代的思想很早就出现，真正意义上应用这一思想的是 Duttweiler 于 2000 年提出的 PNLMS(Proportionate NLMS)13。PNLMS 的本质是以滤波器当前的预测为基础对滤波器系数进行调整，使数值大的系数对应大步长加快收敛，给小系数分配以小步长确保精确度。这一算法自出现以来在回波消除等领域取得广泛应用，同时也成为自适应滤波的经典算法。其后涌现的稀疏系统自适应算法主要可以分为两类，一类以PNLMS 为代表，另外一类以稀疏范数约束为显著特征，其简要介绍如下：1)以 PNLMS 为代表的第一类算法PNLMS 建立在对当前滤波器系数
23、进行估值的基础之上，在使用过程中无需系统的先验经验认知。然而，这种算法从某种程度上来说是以“直觉感知”的方式提出的，因为用于计算步长因子的等式没有基于任何优化标准，而是基于预测和随机14。因此，PNLMS 会在经历最开始的快速迭代之后放慢收敛，甚至在后期慢于 NLMS。此外，该算法对系统的稀疏性非常敏感，仅在系统稀疏程度较高的情形下性能较好。在PNLMS 之后，大量基于该算法的优化算法涌现出来。例如 2002 年 Benesty 等人提出的 IPNLMS15以及 2006 年 Naylor 等人提出的 IIPNLMS16，前者将部分更新和非部分更新结合使用，解决了 PNLMS 遇到较为分散的稀
24、疏系统时收敛慢于 NLMS 的问题；后者对前者进行了进一步改进，提升了 PNLMS 在迭代后期的收敛速度。随后提出的还有 IA?-PNLMS17，AMPNLMS(Adaptive-law PNLMS)18等。还有一个在 PNLMS 思想基础上拓展得到的算法为部分更新的仿射投影算法PAPA(Proportionate APA)，其算法迭代思想与 PNLMS 类似，只不过 PAPA 在计算时记忆并重复使用先前的数据，在某种程度上可以降低MSE，性能优于 PNLMS19。2)稀疏范数约束类算法该类算法基于近年来对压缩感知(CS,Compressive Sensing)20和最小绝对值收敛算子(LAS
25、SO)21的研究，其将稀疏范数作为加快小系数收敛的因子与原算法的代价函数进行整合，由此得到新算法。常用的有?、?和?范数等。比如基于?范数的ZA-LMS 和 RZA-LMS，基于?的 LMS(?-LMS)，?-APA，?-RLS 和?-LMS 等。这些算法均在收敛速度和MSE等方面均有很大改进，具体介绍可参见参考文献22-26。苏州大学本科生毕业设计（论文）101.31.3本本文结构安排文结构安排本文首先简要回顾自适应滤波器的原理和应用、稀疏系统的数理表示以及稀疏系统 自 适 应 算法的 发展 历程，明晰 相关 研究概 念。然后 实现基 于?范 数的LMS(?-LMS)、?-APA 和?-RL
26、S，最后通过仿真实验测试算法的性能。苏州大学本科生毕业设计（论文）11第第 2 2 章章 基于基于?范数范数的的 LMS 滤波器滤波器2.12.1LMS 滤波器滤波器LMS 滤波器作为最早出现的自适应滤波器之一，能够无偏收敛到维纳解，且不需要对矩阵进行求逆运算，大大减小了计算复杂度，因而应用广泛，一直以来备受欢迎。2.1.1.2.1.1.维纳解维纳解最优维纳解是包括 LMS 算法在内的许多自适应信号处理理论的根基，它是在最小均方误差的准则下求得的。自适应滤波算法常用MSE(Mean Square Error)作为目标函数，该目标函数是滤波器系数向量的二次函数，故存在极值并可通过计算求得。通过梯
27、度运算求解可以得到MSE实现最小值时对应的最优滤波器系数为1owR p，式中R是输入信号的自相关矩阵，p为输入信号与期望信号的互相关向量。ow是维纳解。LMS 算法的基本思想就是采用随机梯度下降求解维纳解。2.1.2.2.1.2.LMS 算法算法描述描述在某时刻n，系统在以()(),(1),(1)Tnu n u nu nLuK为输入向量的情况下得到期望信号()d n，其表达式为()()()Tod nnv nw u(2-1)式中ow为滤波器系数向量的最优解，()u n代表在n时刻滤波器的输入信号，()v n为加性噪声。自适应滤波器的输出信号为()()()Ty nnn wu(2-2)其中，011(
28、)(),(),()Lnw n w nwnwK。将期望信号与输出信号之差定义为误差信号()e n，即()()()()Te nd nnnwu(2-3)然后将算法的代价函数定义为误差的平方值，即2()|()|nen(2-4)通过求解该代价函数的最小值，可得滤波器系数向量的更新公式(1)()2()()nne nnwwu(2-5)式中为算法的步长，它决定了算法的迭代收敛速度。需要注意的是，经过数学计算苏州大学本科生毕业设计（论文）12推导发现，只有当的取值范围在max02/()LS时算法才能够实现有效收敛，其中maxS为()nu功率谱密度的最大值。2.22.2基于基于?范数范数的的 LMS 滤波器滤波器
29、(?-LMS)2.2.1.2.2.1.?范数范数?范数在CS中应用广泛，其引入是为了设备在低于奈奎斯特频率的采样频率情况下仍能有效捕捉和重建信号，达到降低成本的目的。如式(1-3)所示，?范数能够表示向量中非零元素的个数，可以很好地表示矩阵和向量的稀疏程度。然而，其本身是非连续函数，对其求解最小化问题是一个 NP 难题。为了解决这一问题，学者们提出了几种?范数的逼近表达式，如?范数的 Gaussian 逼近、Laplace 逼近和 Geman-McClure逼近等。2.2.2.2.2.2.?-LMS 算法算法描述描述将?范数与 LMS 算法的代价函数进行整合，得到新的代价函数如下20()|()
30、|(),0ine nnw(2-6)符号0用以标记向量中非零元素的个数，i表示第i个滤波器抽头。式中的作用是为了平衡两个相加项的大小，控制前项2|()|e n与后项0()inw的数值之差不过于悬殊。根据算法性质，当代价函数值最小时得到最优解。然而对于有?范数的多项式而言，其最小值的求解比较困难，因此在这里采用?范数的 Laplace 逼近式，方便后续计算：1|()|00()(1)iLw ninew(2-7)经过数学推导可以证明，当接近无穷大时，上式两端的数值可视作相等。为避免算法迭代时计算量过大，这里对式(2-7)中的|()|iw ne进行泰勒展开，得到|()|11|()|,|()|0,iiiw
31、 nw nw neelsewhere(2-8)联立式(2-7)、(2-8)并将其带入式(2-6)得到改进后的代价函数为苏州大学本科生毕业设计（论文）131|()|20()|()|(1)iLw nine ne(2-9)当代价函数的值最小时，可得新的滤波器系数迭代方程式(1)()2()()()iiinne nnfnwwuw(2-10)其中()fx是一个分段函数221,01(),00,xxfxxxelsewhere(2-11)同样，根据NLMS算法的基本原理，可以将?范数与NLMS算法结合，得到?-NLMS滤波器的迭代式：()()(1)()(),0()()iiiTe nnnnfniLnn uwwwu
32、u(2-12)式中是为了防止矩阵运算结果为零而引入的值很小的常数。2.2.3.2.2.3.算法简要分析算法简要分析从以上公式可以看出，新算法与原算法相比，改进的地方在于给滤波器系数的迭代公式增加了一个零吸引因子()fx。图 2-1 给出了?范数表达式的函数坐标图。如该图所示，当函数()fx中的自变量x落入函数表达式的零吸引区间时，接近于零的系数会向零逼近，且x越小，算法对其的“吸引力”就越强，从而达到加快算法收敛的目的。另外值得一提的一点是算法中的决定着?范数的吸引区间和吸引力的大小，增加意味着其对滤波器系数的吸引力度增加，但同时会缩小吸引区间的范围，因此在算法应用过程中，应当妥善选取的值，以
33、实现算法最优性能。苏州大学本科生毕业设计（论文）14图 2-1()fx的函数坐标图2.32.3仿真实验仿真实验2.3.12.3.1仿真条件仿真条件为了验证改进后的算法具有更优性能，实验中设定滤波器长度L为 100，同时参考 Godavarti 在论文27中的讨论，本章实验中?-LMS与?-NLMS中的值均取 5；算法性能采用均方偏差(MSD,Mean Square Deviation,单位 dB)来衡量，其表达式为22110001MSD=10log(/)NnNnwww，式中0w是滤波器系数的初始系数向量，nw是自适应滤波器的系数向量，N为选取的仿真实验次数，这里选取为 100 次，取最终平均值
34、。除以上条件外，实验采用的高斯白噪声均值为零、方差为410；有色信号由高斯白噪声通过传递函数为1()1/(1 0.8)H zz的自回归系统产生。2.3.22.3.2仿真结果与分析仿真结果与分析本节将对以下情况进行仿真：1)测试白噪声和有色信号输入情况下?-LMS和?-NLMS的性能，并与 LMS和 NLMS 进行对比。2)探究算法中值的选取对?-LMS性能的影响。第一个实验结果如图 2-2、2-3 和 2-4 所示。图 2-2 为LMS与?-LMS的均方偏差学习曲线，对比图 2-2(a)与图 2-2(b)可以发现，在控制 MSD 相同的情况下，无论输入白噪声还是有色信号，?-LMS都会先于LM
35、S实现全局收敛。并且当输入信号为有色信号时，?-LMS的快速收敛特性会更加明显。苏州大学本科生毕业设计（论文）15图 2-2(a)LMS与?-LMS的均方偏差学习曲线，白噪声输入图 2-2(b)LMS与?-LMS的均方偏差学习曲线，有色信号输入图 2-3(a)和图 2-3(b)为 NLMS与?-NLMS的学习曲线对比。其显示的实验结果与图 2-2 类似，可以看到在引入?范数后，无论输入信号为白噪声还是有色信号，?-NLMS均能在与 NLMS保持最终相同 MSD 的情况下实现更为快速的收敛。此外，当输入信号为有色信号时，?-NLMS在收敛速度上的优势更加明显，由此验证了LMS 家族的算法(LMS
36、、NLMS)在将?范数整合进其代价函数后，能够显著提升自身性能。即使输入信号为有色信号，?-LMS、?-NLMS仍旧能够实现快速收敛。苏州大学本科生毕业设计（论文）16图 2-3(a)NLMS与?-NLMS的均方偏差学习曲线，输入白噪声图 2-3(b)NLMS与?-NLMS的均方偏差学习曲线，输入有色信号此外，图 2-4 进行的实验将 LMS、NLMS、?-LMS与?-NLMS放在一起比较，可以看到，由于 NLMS 在 LMS 的基础上对步长设置进行了改进，整个迭代过程中NLMS 的步长会不断变化调整，因此其整体性能（MSD、收敛速度等）会略微优于LMS。而在引入?范数后，?-LMS与?-LM
37、S的性能差异更加明显。苏州大学本科生毕业设计（论文）17图 2-4(a)LMS、?-LMS、NLMS与?-NLMS的均方偏差学习曲线，输入白噪声图 2-4(b)LMS、?-LMS、NLMS与?-NLMS的均方偏差学习曲线，输入有色信号第二个实验测试算法表达式(2-10)中的对算法性能的影响，由式(2-10)可知，控制?范数约束项在滤波器系数迭代式中的权重。值越大，?范数对算法的约束越强。但同时图 2-1 显示，?范数约束项可以将接近零的系数随机向坐标原点零吸引，增大会导致小系数在零点附近移动加剧，从而带来更大的稳态误差。故在本次实验中通过仿真来验证该推断，实验中采用的输入信号为高斯白噪声。苏州
38、大学本科生毕业设计（论文）18图 2-5 显示值的选取需要在一个合理区间内，当超过该区间时，增大或者减小都会影响?-LMS的性能，甚至导致?-LMS表现逊于 LMS。因此值的选取应当结合系统的实际情况，在收敛速度与 MSD 之间做出折中选择，实现相对最优。图 2-5 不同值的?-LMS学习曲线2.42.4本章小结本章小结本章实现了一种基于?范数的LMS自适应滤波器，并在?-LMS 的基础上将其推广为?-NLMS。仿真实验将 LMS 与?-LMS、NLMS 与?-NLMS进行两两对比，观察它们在 MSD 相同情况下的学习速度，验证了?-LMS和?-NLMS具有更低的MSD 或者更快的收敛速度。此
39、外本章还探究了不同值对?-LMS性能的影响，实验结果与论证相符，即值选取应当在收敛速度与 MSD 之间折中选取，以实现算法的最佳性能。苏州大学本科生毕业设计（论文）19第第 3 3 章章 基于基于?范数范数的的 APA 滤波器滤波器LMS 出现之后受到广泛欢迎，但是它的收敛速度依赖于输入信号，这极大程度地限制了自身的应用场合，其后出现的仿射投影算法(APA,Affine ProjectionAlgorithm)于 1984 年由 Ozeki 等人提出28，它从数学意义上讲是 LMS 的N阶推广。不同于 LMS 仅仅使用当前的信号输入值，APA 的显著特点是重复使用过去的输入信号向量，虽然这样做
40、会略微增加计算复杂度，但是能够大大提升算法的收敛速度，且稳态失调量小。3.13.1 APA 滤波器滤波器因为 LMS 的收敛速度依赖于当前的输入信号特征，所以得到的最优估计值往往不够精准存在偏差。APA 的思想是利用先前N个连续的输入信号作为估计梯度值的参考，使得新的滤波器迭代系数(1)nw尽可能靠近前一个()nw，利用最小距离法则使得后验误差尽可能为零。3.1.13.1.1APA 算法算法描述描述首先定义在n时刻系统中最后的N个输入信号向量组成的矩阵()()(1)(1)nnnnNUuuuL(3-1)滤波器的输出为()()()=()(1)(1)Tnnny ny ny nNyUwL(3-2)系统
41、的参考信号为()()()()(1)(1)nnnd nd nd nNdyvL(3-3)式(3-3)中的()nv为系统的加性噪声。定义下一个滤波器系数与当前滤波器系数的欧几里得距离为(1)Dnw，表达式为21(1)(1)()2Dnnnwww(3-4)算法的核心是令(1)Dnw在后验误差为零的附加条件约束下实现最小值。后验误差写作()()()(1)TnnnnedUw(3-5)将式(3-5)带入(3-4)中解得滤波器系数的迭代方程为苏州大学本科生毕业设计（论文）201(1)()()()()()TnnnnnnwwUUUe(3-6)为了避免矩阵求逆运算作为公式分母出现无穷大的计算结果，在上式中添加一个极小
42、的常量与单位矩阵的乘积以进行修正方便运算，单位矩阵的阶数即为重复利用的输入信号个数。同时加入步长来调控算法迭代速度，得到最终的 APA 滤波器系数迭代式1(1)()()()()()TnnnnnnwwUUUIe(3-7)3.1.23.1.2算法简要算法简要分析分析APA 是在数据重复利用的基础上建立的29，重复利用数据的个数即 APA 滤波器的阶数。当阶数N为 0 时，便得到 APA 的特例：NLMS。图 3-1 APA 超平面滤波器系数向量更新图图 3-1 所示为 APA 算法滤波器系数更新的示意图，先前提到，APA 的迭代更新将 后 验 误 差 为 零 作 为 附 加 条 件，从 空 间 的
43、 角 度 该 条 件 可 以 解 释 为 矩 阵1()()()()TTnnnnUUUIU是过去N个输入向量组成矩阵()nU在+1N个子空间内的正交投影。这种投影非常关键，因为它使新的滤波器系数(1)nw落在当前子空间()S n与过去子空间(1)S n的交集上，从而实现(1)nw与()nw的最短欧几里得距离，即(1)nw在每次迭代中都尽可能接近()nw，达到快速收敛的目的，APA(AffineProjectionAlgorithm)的名字也由此得来。3.23.2 基于基于?范数的范数的 APA 滤波器滤波器(?-APA)与?-LMS 的思想类似，?-APA 也是在滤波器系数的迭代更新算式中添加?
44、范数作为约束项，即写作苏州大学本科生毕业设计（论文）2110(1)()()()()()(1)2TnnnnnnnwwUUUIew(3-8)式中0(1)nw表示对?范数约束项进行梯度运算，需要注意的是该约束项在实际使用时需要采用其他算式逼近，原因之一是?范数的求导属于 NP-hard Problem，这一点已经在第 2 章提到。原因之二是0(1)nw依赖于算法中将要更新得到的滤波器系数(1)nw。而算法采用的思想决定了()nw与(1)nw非常接近，所以可以用已经求得的0()nw来代替0(1)nw，然后为了解决范数约束项的求导问题，这里给出了两种常用的?范数逼近式，它们分别是1|00(1)iLziz
45、e(3-9)1001(1)|1Liizz(3-10)式(3-9)是?范数的 Laplace 逼近式，式(3-10)是?范数的 Geman-McClure 逼近式，有关这两种?范数逼近式的讨论可参见参考文献30-31，经数学推导可以证明当取值足够大时，公式(3-9)和(3-10)中的约等于号两端可视作相等。同时以上两个公式表明，当公式中的iz等于零时，范数项0z表示L个 0 相叠加的结果；当0iz 且值很大时，0z表示L个 1 相加的结果，从而达到统计向量中非零元素个数的目的。将对0z关于iz的求导式记作()ifz，得到两种?范数逼近式的求导式如下，|()()iziifzsign z e(3-1
46、1)2()()(|1)iiisign zfzz(3-12)将求导算式带入公式(3-8)，得到?-APA 最终的迭代公式1(1)()()()()()()2TnnnnnnfnwwUUUIew(3-13)3.33.3 仿真仿真实验实验本节会进行以下几个仿真实验：1)分别在高斯白噪声和有色信号输入的情况下，仿真对比 APA 与?-APA 的性能差异。实验中会采用两种?范数的逼近式并测试这两种逼近式对?-APA 的影响。苏州大学本科生毕业设计（论文）222)测试选取不同阶数N对?-APA 性能的影响。3.3.13.3.1仿真条件仿真条件在以下几个仿真实验中，滤波器的长度均为 100，算法衡量指标为 MS
47、D，APA算式中的正则化系数大小为 0.001，学习曲线取 100 次实验的平均值进行绘制以使曲线更加平滑。此外，实验中选用的高斯白噪声均值为零，方差为410，有色信号由高斯信号通过1()1/(1 0.8)H zz一阶系统产生，即为 AR(1)信号。3.3.23.3.2仿真结果与分析仿真结果与分析1)对比阶数N为 4 的?-APA 与 APA 性能差异:?范数逼近式为 Laplace 逼近，分别输入白噪声和有色信号，结果如图 3-2 所示：图 3-2(a)白噪声输入下 APA 与?-APA 的均方偏差学习曲线，?范数逼近式为 Laplace苏州大学本科生毕业设计（论文）23图 3-2(b)有色
48、信号输入下 APA 与?-APA 的均方偏差学习曲线，?逼近式为式 Laplace图 3-2(a)和图 3-2(b)为采用 Laplace?范数逼近式的算法学习曲线对比图，从中可以清楚地看到在引入?范数后,APA 算法显著提高了收敛速度，并且不同于原 APA 在有色信号输入情况下存在收敛率下降的情况，?-APA 无论在白噪声还是有色信号输入情况下收敛到稳态的迭代次数基本保持不变，算法稳定性更强。图 3-3(a)白噪声输入下 APA 与?-APA 的均方偏差学习曲线，?逼近式为Geman-McClure 逼近苏州大学本科生毕业设计（论文）24图 3-3(b)有色信号输入下 APA 与?-APA
49、的均方偏差学习曲线，?逼近式Geman-McClure 逼近为了进一步验证不同的?范数对算法性能的影响，图 3-3 为选取 Geman-McClure?范数求导式算法的学习曲线图，观察图 3-2 与图 3-3 可以发现，无论采用何种?范数逼近式，?-APA 均具有更快的收敛速度和更小的稳态均方偏差，同时?-APA 可以维持相对稳定的性能。这证实了?范数可以作为零吸引因子被应用在自适应滤波算法中提升其在稀疏系统应用中的迭代速度。2)测试选取不同阶数N对?-APA 性能的影响：实验中对比了三个不同的阶数选择，即N分别取 4、10、20，实验结果如图 3-5 所示，实验中 APA 和?-APA 选取
50、的步长均为 0.1，输入信号为高斯白噪声，?范数逼近式为 Laplace 逼近。图 3-5 不同阶数N对?-APA 性能的影响从图中可以看到，在步长设置相同的情况下，阶数N越高，算法收敛速度越快，但同时MSD也越大。这是因为阶数N代表算法迭代过程在重复使用的输入向量个数，重复使用个数越多，算法越依赖过去的信号。这在一方面会加快系统收敛；但在另一方面，一旦系统波动起伏较大且前后信号不相关，重复使用过去的输入信号会产生较大的 MSD。3.43.4 本章小结本章小结苏州大学本科生毕业设计（论文）25本章介绍了基于?范数的 APA 自适应滤波器，首先就 APA 算法原理进行推导和简单分析，然后基于两种