《第十章-基于超完备字典的图像稀疏表示理论的超分辨率复原课件.ppt》由会员分享，可在线阅读，更多相关《第十章-基于超完备字典的图像稀疏表示理论的超分辨率复原课件.ppt（78页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第十章基于超完备字典的图像稀疏表示理论的超分辨率复原第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.1 概述10.2 信号稀疏分解算法10.3 超完备字典学习算法10.4 基于图像稀疏表示的单幅图像超分辨率算法10.5 实验结果及分析10.6 本章小结第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.1 概概 述述10.1.1 信号的稀疏表示及其研究现状信号的稀疏表示及其研究现状在信号处理中,人们希望把信号变换到适当的域,然后利用信号在这个域的稀疏逼近替代原始信号。信号的稀疏表示有两方面的作用：一方面能够提供数字信号的压缩特性;另一方面能够有效地抓住信号的本质特征,为后续的信
2、号处理提供便利。传统的信号处理通常将已知信号在给定的函数集上进行分解。例如,将信号在余弦函数上进行分解,得到该信号在频域上的展开;将信号在小波函数上进行分解,得到该信号小波域的展开。然而对于自然信号,采用单一的函数集或者函数集的联合往往不能有效地模拟出信号的结构。因此,一直以来,人们希望找到一种更为灵活的方式,它不仅能有效地表示出自然信号的结构,同时使用尽可能少的基函数。在数字信号处理领域,这种简洁、 有效的信号表示方式,能够有效地降低信号处理成本,提高信号压缩率,具有重要的意义。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原基于超完备字典的信号稀疏分解成为近年来研究的热点。这种新的信号
3、表示理论用一种称为字典的超完备基去代替传统的正交基,由于字典的选择没有任何限制,它能够更加有效地表达出原始信号的结构。字典的每一列元素称为一个原子,信号的稀疏分解就是从给定的或者自适应建立的字典中选择最佳线性组合的一定数量原子,去稀疏逼近或者非线性逼近原始信号。对于哺乳类动物的视觉系统的一系列研究表明,视觉皮层对刺激的表达符合超完备稀疏表示的原则。在非线性逼近理论中,超完备系统能得到比传统正交基更好的逼近也得到了证明。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原皮层对刺激的表达符合超完备稀疏表示的原则。在非线性逼近理论中,超完备系统能得到比传统正交基更好的逼近也得到了证明。基于超完备字
4、典的信号稀疏分解理论出现于20世纪90年代, Mallat和Zhang在1993年首次提出了这种信号分解思想并引入了一种贪婪算法匹配跟踪(Marching Pursuit,MP)算法来求解这个问题。随后出现了基于MP算法的各种改进,例如正交匹配跟踪(Orthogonal Matching Pursuit, OMP)算法等。1999年,Donoho等人巧妙地用l1范数代替l0范数问题求解,提出了基追踪(Basis Pursuit, BP)算法,并在2001年给出了利用BP算法对信号进行稀疏分解唯一解的边界条件。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原基于超完备字典的信号稀疏分解算法复
5、杂、 计算量巨大,阻碍了其在工程实践中的应用。目前信号超完备稀疏分解研究主要集中于以下几个方面： 设计逼近程度更好且时间效率更高的信号稀疏表示算法; 根据信号结构,设计超完备字典学习算法,字典对于原始信号的稀疏表示能够得到更高的信噪比,能够得到更快的收敛。目前已经出现很多优秀的超完备字典学习算法,例如K-SVD算法、 在线字典学习(Online Dictionary Learning,ODL)算法和优化方向方法(Method of Optimized Directions, MOD)等。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.1.2 信号稀疏性表示信号稀疏性表示稀疏性是信号表
6、示的一种普遍属性。在信号表示中,信号常常由大量疑似因素中的少量因素决定。一种信号的稀疏性表示与表示手段和度量方式有着密不可分的联系。考虑空间RM由一组线性独立的矢量=iNi组成基,它们张成整个空间。对于RM中的任意给定信号XRM,都可以用iNi的线性组合来表示：(10-1)1=NiiiXa由于张成空间RM的基向量iNi是线性独立的,这样的展开式是唯一确定的。进一步说,如果ij,ij,则iNi称为一组正交基。同样的,可以得到下式的矩阵形式： X= (10-2)第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.1.3 超完备字典的基本概念超完备字典的基本概念1993年由Mallat 和Zh
7、ang首次提出了超完备字典的概念,它实质是一种超完备基。超完备字典的优越性能引起了人们的重视,并在最近几年得到了快速的发展。目前超完备字典的研究主要集中在超完备字典学习算法、 基于超完备字典信号稀疏分解算法及它们的应用领域上。给定一个集合D=dr, r=1,2,3,K,它的每一个元素是张成希尔伯特空间=RN的单位矢量,其中KN,D称为超完备字典,它的每一列元素称为一个原子。对于任意给定的信号X,希望在字典中自适应地选择一定数量的原子对信号进行逼近,即信号表示为字典原子的一组线性组合：X=D (10-3)第十章基于超完备字典的图像稀疏表示理论的超分辨率复原其中,为稀疏系数矩阵,它只包含少量的非零
8、元素。从示意图10-1中可以看到,信号X可以由字典D中三个原子的线性组合来稀疏表示,此时可以用只包含三个非零项的稀疏表示矩阵来描述信号X。在数学上,可通过最小化l0范数问题求解稀疏表示：(10-4)0min . st XD在实际运算中,通常在三种约束条件下解决稀疏表示这个问题。第一种是以稀疏度L为约束条件：(10-5)2020min- s.t. DXL第二种是以求解信号残差为约束条件：(10-6)02202min s.t. DX第十章基于超完备字典的图像稀疏表示理论的超分辨率复原图10-1 信号在超完备字典上的稀疏表示第十章基于超完备字典的图像稀疏表示理论的超分辨率复原第三种是综合考虑稀疏度和
9、信号残差：(10-7)2020min-DX 第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.2 信号稀疏分解算法信号稀疏分解算法10.2.1 引引 言言近年来,人们对找到一种新的信号表示方法表现了极大的兴趣。从传统的傅立叶基到小波基,随后涌现出大量基于字典的信号表示法,例如分段小波、 Gabor字典、 多尺度Gabor字典、 小波包、 余弦包等等。目前出现的很多新的信号表示方法都是基于超完备字典的。基于这种超完备字典的信号分解不是唯一确定的,但是这样的不确定性又同时保证了信号分解的自适应性。一种最优的自适应信号分解算法需要同时满足以下三个条件：(1) 稀疏性。(2) 分辨率。(3)
10、时间效率。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.2.2 框架算法框架算法框架算法(MOF)指出,在所有解中,如果系数矩阵满足最小化l2范数：(10-8)22min s.t XD这样的解就是唯一确定的,记为 。式(10-8)的所有解为RN的子空间,框架算法就是在这个子空间中找到最逼近原信号的原子,通常把它称为最小长度解(Minimum Length Solution)。已知一个矩阵 ,它是D在广义上的一个倒置，求最小长度解就是在线性系统中解决下列问题：(10-9)D1=()TTD X DDDX第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.2.3 匹配追踪算法匹配追
11、踪算法匹配追踪(MP)算法是一种局部最优的贪婪算法,它通过局部求解l0范数问题代替全局求解来减少计算复杂度。匹配追踪算法是一种迭代的过程,在每一次迭代的过程中从字典中选取最能够匹配原信号结构的原子,在约束条件下通过这种迭代获得信号的一组稀疏分解。设原始信号为f,字典D=dr, r=1, 2, 3，,K中的所有原子的范数为1,初始残余项R0=f。匹配追踪算法首先将原始信号f投影到字典的一个原子dr0上,得到dr0,R0dr0,这时信号可以分解为R0=dr0,R0dr0+R1(1010)第十章基于超完备字典的图像稀疏表示理论的超分辨率复原由于R1和dr0是正交的,有下式：(10-11)222000
12、1,rRdRR为了使残余量R1最小,需要求得|dr0,R0|的极大值,设定：(10-12)(10-13)(10-14),sup,rmmrmmr IdRdR1111,mmrmrffdRd11mmRff这时通过对剩余量进行M次迭代,可以得到(10-15)10,MrmmrmMmfdRdR其中剩余量RM满足(10-16)12220,MMrmmmRfdR第十章基于超完备字典的图像稀疏表示理论的超分辨率复原此时有定理指出：对于任意0,当m趋于无穷时,有|Rmf|2m| f |,可知|Rmf |按指数收敛到0。最后可以得到(10-17)1220=,MrmmmfdR这样就完成了对原始信号f在字典D上的分解。很
13、多类似的算法也不断涌现出来,Qian和Chen提出了一种基于Gabor字典的分解方法,Villemoes提出了一种基于Walsh字典的分解算法。匹配追踪算法只需要比较少次数的迭代就能够得到足够稀疏的信号分解,可以通过设定信号分解的目标稀疏度和信号的逼近误差来终止算法迭代。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.2.4 最佳正交基算法最佳正交基算法对于一个特定的字典,可以根据字典的特点设计信号分解算法,最佳正交基(BOB)算法就是这样一个例子。BOB算法由Coifman 和Wickerhauser提出,它在很多基中自适应选择一个单独的正交基底作为“最佳基”。如果定义(sI)I为
14、正交基中的基s的系数向量,定义熵：(10-18)( )( )IIse s其中,e(s)是标量函数。算法通过解决下面问题来得到信号的稀疏分解：(10-19)min |( ): ortho basissD第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.2.5 全局最优算法全局最优算法最常用的全局最优算法是基追踪(BP)算法,它把最小化l0范数问题放松为l1范数问题,然后通过解决一个凸优化(Convex Optimization)问题得到信号在超完备字典上的稀疏表示：(10-20)1min s.t XDl1范数问题则可以通过线性规划(Linear Programming, LP)的方法求解
15、。可以看到,与MOF算法把l0范数问题转换为l2范数问题类似,BP算法把l0范数问题转化为l1范数问题,然而这种简单的差异却导致相差很大的算法效果。MOF算法在线性等式的约束下解决最小二次优化问题,本质还是在线性系统下面求解。而BP算法需要求解的则是凸优化问题,这样一种凸优化问题显得更复杂,但是能够得到更好的效果。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原把BP算法和线性规划(LP)问题建立联系,LP就是在标准形式下解决一个约束优化问题：min cTx s.t. Ax=B, x0(10-21)其中, xRm是一组变量,cTx是目标函数,Ax=B是一个约束等式,x0是设定的一个边界,核
16、心问题是找到为零的那些变量。把标准形式(10-21)通过下列约束关系转换为一个线性规划问题：2 , A( ,- ), (1;1), ( ; ), u-vmpBscxu v (10-22)第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.3 超完备字典学习算法超完备字典学习算法10.3.1 常用的字典学习算法常用的字典学习算法字典学习算法首先从训练集开始。设X为一组训练集,当X长度有限时,把它放入一个NL的矩阵中,即XRNL。字典训练算法的目标就是同时求得字典DRNK和对应的稀疏表示系数RKL,这时的约束条件为保证信号残差=XD和稀疏表示系数的非零项均为最小：(10-23)22, , m
17、in pDDXD 第十章基于超完备字典的图像稀疏表示理论的超分辨率复原1. K-SVD字典学习算法字典学习算法K-SVD字典学习算法由Michal Aharon在2006年提出,随后它在图像压缩、 图像去噪、 图像超分辨等领域得到了广泛的运用。K-SVD算法是一种自适应字典学习算法,它通过迭代的升级字典来得到信号X更为稀疏的表示,在迭代终止时解决式(10-23)中的优化问题。K-SVD算法包含两个基本步骤：(1) 给定一个初始化的字典D0,把信号X在这个初始化的字典上进行稀疏分解,得到稀疏表示系数。(2) 升级字典原子,得到信号X在该新字典上的稀疏表示系数。第十章基于超完备字典的图像稀疏表示理
18、论的超分辨率复原信号的稀疏分解通过正交匹配跟踪(OMP)算法实现,在字典升级过程中,通常只对字典中的一个原子单独进行,此时其他原子保持不变。K-SVD算法的主要创新来自字典原子升级步骤,字典的升级过程始终在式(10-23)的约束条件下进行。定义I为用字典中第j个原子表示的信号X的索引,字典升级通过在字典原子和稀疏表示矩阵的对应行上解决下列优化问题：(10-24)22IIXD问题的结果可以通过下面一个简单的逼近问题得到：(10-25)2T22, , min s.t. 1d gd gEdgd(10-26),Iji IijEXd第十章基于超完备字典的图像稀疏表示理论的超分辨率复原2. MOD算法和迭
19、代最小二乘字典学习算法算法和迭代最小二乘字典学习算法MOD(Method of Optimized Directions)算法和迭代最小二乘字典学习(Iterative Least Squares Dictionary Learning Algorithms, ILS-DLA)算法属于MOD算法族,都可以被应用于解决式(10-23)中的优化问题。与K-SVD算法类似,它们包含以下两步迭代过程：(1) 首先初始化字典D0, 保持字典不变,求解信号在字典上的稀疏表示系数。(2) 保持稀疏表示系数不变,升级字典D原子。可表示为D=(XT)(T)1=BA1(10-27)第十章基于超完备字典的图像稀疏表
20、示理论的超分辨率复原为了更方便地定义这个等式,设B=XT,A=T。MOD算法中迭代的第一步计算量大,这样字典原子每次升级一次都伴随着大量的计算,字典学习过程的时间效率较低,当训练样本较大时更是如此。MOD算法的一类改进是当训练样本较大时,改进MOD算法,提升字典学习的时间效率,可把这类改进称为large-MOD算法。在这种改进中,训练集被随机分为m个相同大小的子集, 记为Bi, i=1, ,m。在迭代过程的第一步,算法只取一个或者少部分子集参与计算,这些子集通常是随机选取的或者按最长时间未使用的原则选择。通过这样的处理,在迭代算法的第一步,求解得到的只是部分训练集在字典D上的稀疏表示系数,就有
21、效地减少了计算量。在迭代过程的第二步,A矩阵和B矩阵则变为(10-28)TT1 mmmmmmABXDBA 第十章基于超完备字典的图像稀疏表示理论的超分辨率复原最小二乘字典学习算法(Least Squares Dictionary Learning Algorithms,LS-DLA)是MOD算法大类中的另一种具体算法,它包含一个遗忘因子(Forgetting Factor)i, 0i1,通过设定可以影响初始化字典被升级替换的速度。LS-DLA算法可以训练无限大的训练集。设下标i表示第i次迭代过程中相应的训练子集为Xi,这样建立起迭代次数和相应训练子集的关系。Di-1用来求解稀疏逼近问题,得到稀
22、疏表示系数i,字典升级的步骤可以表示为Ai=iAi1+iTi Bi=iBi1+XiTi Di=BiA1i(10-29)上式是相当灵活的,如果训练集是完整且有限的,Xi=X,i=0,这时算法退化为MOD算法。另一方面,当每一个训练集为一个向量时, Xi=X,i=1,这时算法和递归最小二乘字典学习(RLS-DLA)算法一致,与在线字典学习算法非常相似。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原3. 在线字典学习算法在线字典学习算法在线字典学习算法(Online Dictionary Learning, ODL)能用式(10-29)进行解释,当训练集为一个向量xi或者为小批量(mini-b
23、atch)训练集Xi时,对应的稀疏表示系数i通过式(10-29) (i=1)得到。在ODL算法中,字典每列(原子)的升级通过下式得到：djdj+(bjDaj)/aj(j), j=1, 2, , K(10-30)其中,dj、 bj和aj分别为D、 Ai和Bi的列,值得注意的是,当式(10-30)重复计算时,字典学习通常是在很少步骤的迭代后就会收敛为最小平方问题： Di=BiAi1。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原4. 递归最小二乘字典学习算法递归最小二乘字典学习算法递归最小二乘字典学习算法(Recursive Least Squares Dictionary Learning
24、 Algorithm, RLS-DLA)与ODL算法类似,在一次迭代过程中只处理一个训练向量,在第i次迭代过程中,当前的字典Di1用来求取对应的稀疏表示系数i。与LS-DLA算法相比,RLS-DLA算法的主要改进在于字典升级过程不是求解一个最小平方问题,通过下面的一个简单的式子得到：Ci=A1i=(Ci1/i) uuT Di=Di+iuT(10-31)第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.3.2 超完备字典学习算法的比较超完备字典学习算法的比较1. 常用超完备字典学习算法的性能对比常用超完备字典学习算法的性能对比取一个164000的矩阵X作为训练样本,目标稀疏度设为4。用超
25、完备字典学习算法对训练样本X进行训练,计算得到一个超完备字典和非零元素为4的稀疏表示系数,这时训练样本X能用字典中四个原子的线性组合表示。此时通过稀疏表示信号的信噪比和算法的收敛曲线来对比几种常用超完备字典学习算法的性能。K-SVD算法、 ILS-DLA(MOD)算法、 RLS-DLA算法的迭代次数都被设定为200次,且能够基本达到收敛,它们的收敛曲线如图10-2所示。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原图10-2 K-SVD算法、 ILS-DLA算法和RLS-DLA算法性能对比第十章基于超完备字典的图像稀疏表示理论的超分辨率复原2. 遗忘因子对遗忘因子对RLS-DLA算法性能
26、的影响算法性能的影响在上一节中提到遗忘因子的大小关系到初始字典原子更新的速率,同时也对算法性能产生影响。这一节里,将讨论遗忘因子对RLS-DLA算法性能的影响,第一个实验设为固定值,可得到一组RLS-DLA算法的收敛曲线,如图10-3所示。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原图10-3 对RLS-DLA算法性能的影响第十章基于超完备字典的图像稀疏表示理论的超分辨率复原从收敛曲线可以看出不同的对算法性能影响相当大,可通过调整来改善算法性能,但是这通常来说是相当困难的。在上一节提到RLS-DLA算法呈现一种搜索并收敛的思路,通过不断地增大使得算法在合理的迭代次数后得到收敛,第二个实
27、验将自适应地改变的值,这时RLS-DLA算法的收敛曲线为图10-4所示。由图可知,当自适应增长时,RLS-DLA算法性能相较于固定时有很大提升。增长率对算法收敛速度影响很大,增长率为0.25时算法收敛速度最快。同时可以看到,不同的增长率对稀疏表示信号的信噪比影响不大,但是几种情况都表现出优异的性能,信号信噪比超过了K-SVD算法和ILS-DLA算法。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原图10-4 增长率对RLS-DLA算法性能的影响第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.4 基于图像稀疏表示的单幅图像超分辨率算法基于图像稀疏表示的单幅图像超分辨率算法图像超分辨
28、率重建的目标是从一幅或多幅低分辨率(Low Resolution, LR)图像重建出高分辨率(High Resolution, HR)图像,传统的基于重建的图像超分辨率算法需要同一场景的多幅超分辨率图像作为输入, 每一幅低分辨率图像给出了一组关于未知高分辨率图像的线性约束条件,当输入的低分辨率图像数量足够多时,这样的多组线性约束条件就能够求得一个唯一确定的解,可以通过这个解重建出高分辨率图像。然而在实际应用中,得到同一场景的多幅低分辨率图像是相当困难的,且当目标放大倍数较大时,重建效果急剧下降。由于传统图像超分辨率重建算法的诸多局限性,单幅图像(基于学习的)超分辨率重建算法得到了更广泛的应用。
29、第十章基于超完备字典的图像稀疏表示理论的超分辨率复原在基于学习的图像超分辨算法中,低分辨率图像块和高分辨率图像块的映射关系(先验知识)通过一个包含低分辨率和高分辨率图像块对的训练库学习而来,这样的映射关系被应用到输入的单幅低分辨率图像,重建出它对应的最有可能的高分辨率版本。基于学习的图像超率算法打破了传统的基于重建的图像超分辨率算法的诸多限制,但是它同时也表现出一些缺点： 一方面,不同于传统的图像超分辨率算法,基于学习的图像超分辨率算法重建出的图像高分辨细节信息不能保证是完全真实的;另一方面,基于学习的图像超分辨率重建算法通常需要一个包含大量低分辨率和高分辨率图像块对的训练库来学习得到先验知识
30、,当训练库包含的样本数目过少时,重建效果急剧下降。针对这两个弊端,本节算法采取了以下策略：第十章基于超完备字典的图像稀疏表示理论的超分辨率复原(1) 超分辨率重建所需的先验知识应该尽可能由输入的单幅高分辨率图像提供而不是额外的训练样本,这样就在一定程度上保证了重建高分辨率信息的真实性。(2) 超分辨率算法不要过于依赖训练库样本的数目,甚至不需要提供附加的训练库。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.4.1 自训练字典学习的算法框架自训练字典学习的算法框架在自训练字典学习的算法框架下,图像超分辨率重建问题可以描述为： 单幅低分辨率图像Il作为输入,在没有附加训练库提供先验知识
31、的情况下,重建出相应的高分辨率图像Ih。与其他的基于学习的超分辨重建算法类似,把图像分解为图像块进行处理。单幅低分辨率图像Il分解为图像块plRll,例如33的像素块,目标为重建出相应的高分辨率图像块phRhh。定义超分辨重建操作为Q,此时重建的约束条件可以表示为ph=Q(pl)(10-32)第十章基于超完备字典的图像稀疏表示理论的超分辨率复原超分辨率重建操作Q与Freeman的方法类似,可以抽象地理解为两个步骤： 首先,通过插值算法(例如,双三性插值算法)把单幅输入的低分辨率图像放大到目标分辨率大小,得到一张模糊的且缺乏高频信息的插值图像;其次,把重建得到的高频信息,例如边缘、 纹理信息等,
32、填入上一步得到的插值图像。最后可以得到目标分辨率大小且具有丰富高频信息的高分辨率图像。由于从低分辨率图像Il重建出相应的高分辨率图像Ih(图像高频信息)是一个高度病态的问题,因此可通过这两个步骤来解决这个问题。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原1. 通过自训练字典学习得到先验知识通过自训练字典学习得到先验知识 由于没有附加的训练样本,本节将通过输入的低分辨率图像块pl来获取进行超分辨重建的先验知识。定义B为一种模糊操作(点扩展函数),s为图像下采样操作。假设每一个低分辨率图像块pl都可以通过对应的高分辨率图像块ph模糊后下采样得到：pl=(ph*B)s (10-33)其中,
33、*为卷积操作。用高斯低通滤波器作为本节算法的模糊函数,它是一个2维的33模板：(10-34)121124216121B第十章基于超完备字典的图像稀疏表示理论的超分辨率复原对于输入的低分辨率图像块pl,可以模糊和下采样得到pll,以此用来模拟超分辨率重建的反过程： pll=(pl*B)s (10-35)由式(10-33)和式(10-35)可知通过pll和pl的关系来预测pl和ph是合理的。基于图像稀疏表示理论,定义Dl=dr, r=1, 2, 3,K为通过输入低分辨率图像训练得到的超完备字典,它的原子dr张成整个希尔伯特空间H=RNK,其中KN。这时,可把pll看做低分辨率图像块,同时把pl看做
34、对应的高分辨率图像块,那么相应的低分辨率图像块pll可以在低分辨率字典Dl上得到稀疏表示：pll=Dl(10-36)第十章基于超完备字典的图像稀疏表示理论的超分辨率复原其中, 为包含很少非零分量的稀疏表示系数。希望在Dl中自适应地选择m个原子去非线性逼近图像块pll,由于Dl是冗余的(KN), 这样的稀疏表示系数不是唯一确定的。求解稀疏表示系数转换为求解一个基于错误容差的优化问题：(10-37)202min s.t. lllpD式中,|0表示非零分量的数目,表示非线性逼近的错误容差,这是一个l0范数问题。在前面已经阐述了解决l0范数问题的两类方法,在这里可通过优化的正交匹配追踪(OMP)算法来
35、求解稀疏表示系数。根据Yang算法的基本思想,高分辨率图像块pl可以用同样的稀疏表示系数,在高分辨率字典Dh上得到稀疏表示：pl=Dh(10-38)第十章基于超完备字典的图像稀疏表示理论的超分辨率复原由高分辨率图像块pl和稀疏表示系数,可以求得高分辨率字典Dh。这个等式的实质是训练高分辨率图像得到高分辨率字典,具体训练算法将在下一节中详述。此时通过输入低分辨率图像得到低分辨率字典Dl和高分辨率字典Dh的联合就组成了先验知识(Dl,Dh)。在自训练字典学习框架下获取先验知识的过程如图10-5所示。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原图10-5 在自训练字典学习的框架下获取先验知识
36、第十章基于超完备字典的图像稀疏表示理论的超分辨率复原2. 利用先验知识重建高分辨率图像利用先验知识重建高分辨率图像得到由自训练字典学习得到的先验知识(Dl,Dh)后,接下来就是利用这个先验知识重建对应的高分辨率图像块ph。 与上一个步骤不同,这里把pl看做低分辨率图像块,同时把ph看做对应的高分辨率图像块。低分辨率图像块pl在低分辨率字典Dl上得到稀疏表示：pl= Dl(10-39)新的稀疏表示系数通过求解下列一个基于错误容差的优化问题得到：(10-40)202min s.t. llpD第十章基于超完备字典的图像稀疏表示理论的超分辨率复原此时需要重建的高分辨率图像块ph可由同样的稀疏表示系数在
37、高分辨率字典上得到重建：ph= Dh (10-41)这样得到的高分辨率图像Ih的每个图像块phRhh都通过这样的步骤得到重建,最后把这些图像块融合起来可得到完整的高分辨率图像Ih。通过先验知识重建出高分辨率图像Ih的过程如图10-6所示。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原图10-6 利用先验知识重建出高分辨率图像(a) 低分辨率图像在低分辨率字典上得到稀疏表示(b) 用同样的稀疏表示系数在高分辨率字典上重建出高分辨率图像第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.4.2 由粗到精的图像放大过程由粗到精的图像放大过程一般来说,超分辨率算法的重建效果随着目标放大倍数
38、的增大会迅速下降。为了解决这个问题,本章算法引入“由粗到精”的概念到高分辨图像重建的整个过程, 并且引入反向投影(Back Projection, BP)算法作为全局约束条件,保证每次重建得到的高分辨率图像Ihn(n=0, 1, )与输入的单幅低分辨率图像Il保持一致。输入单幅低分辨率图像Il,本节中不直接把它放大到目标分辨率,而是采取一种逐渐放大的过程,在这个过程中用于重建的先验知识(Dl,Dh)不断更新。具体来讲,可定义超分辨重建的目标放大倍数为m,它需要n(n2)次放大过程去达到目标放大倍数。那么对于每一次放大过程,放大倍数则为m1/n：(10-42)11.nnnmmm 第十章基于超完备
39、字典的图像稀疏表示理论的超分辨率复原假设n=2,即输入单幅低分辨率图像Il需要两次放大过程才能达到目标放大倍数m,那么每次放大过程的放大倍数为 。输入的单幅低分辨率图像Il通过自训练字典学习的方法得到初始先验知识(Dl0,Dh0),然后利用这个先验知识重建出第一次放大过程的高分辨率图像Ih0,具体计算如上一节所述。这时为了保证第一次放大过程得到的高分辨率图像Ih0和输入单幅低分辨率图像的一致性,防止第一次放大过程引入的错误像素不被扩散,可用反向投影算法来校正第一次重建高分辨率图像Ih0中的高分辨像素。m第十章基于超完备字典的图像稀疏表示理论的超分辨率复原反向投影算法主要分为两个步骤。第一步,把
40、第n次放大过程得到的高分辨率图像Ihn通过下采样操作s得到(Ihn)s,(Ihn)s的分辨率与输入的单幅低分辨率图像Il保持一致。第二步为Ihn高分辨率像素校正的步骤。首先计算(Ihn)s与Il的差值图像Idiff：Idiff=Il(Ihn)s(10-43)其次,把差值图像Idiff通过插值操作b(例如双三性插值)得到(Idiff)b, 它与Ihn分辨率一致。最后,(Idiff)b与一个高斯低通滤波器B进行卷积,把结果与Ihn求和,最终得到高分辨率像素校正后的图像Ihn(BP)：Ihn(BP)=Ihn+(Idiff)b*B(10-44)第十章基于超完备字典的图像稀疏表示理论的超分辨率复原输入低
41、分辨率图像Il和校正后的高分辨率图像Ih0(BP)经过字典训练算法得到更新后的先验知识(Dl1,Dh1)。此时再用这个先验知识去重建第二阶段放大的图像Ih1,Ih1通过反向投影算法投影到原始输入低分辨率图像上,经过高分辨率像素校正后得到Ih1(BP),Ih1(BP)即最终重建出的高分辨率图像。为了达到目标放大倍数m,输入的低分辨率图像Il通过两次放大过程逐渐达到目标分辨率,并且每次放大过程得到的高分辨率图像都用反向投影算法进行约束,保证了和输入单幅高分辨率图像像素信息一致性的同时有效减少差错的扩散。当放大次数n2时,情况与上述类似,最终重建的高分辨率图像要经历多次放大过程和先验知识更新。这样一
42、种“由粗到精”的图像放大过程,使得本章算法在目标放大倍数较大时仍然能够重建出效果满意的高分辨率图像,具体实验结果将在后面详述,整个图像放大过程如图10-7所示。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原图10-7 “由粗到精”的图像放大过程第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.4.3 低分辨率和高分辨率超完备字典学习算法低分辨率和高分辨率超完备字典学习算法K-SVD算法及其优化方法已经在前面进行过详述,本节将阐明如何利用K-SVD算法在自训练字典学习的算法框架中得到低分辨率和高分辨率超完备字典,它们联合组成了用于超分辨率重建的先验知识。超分辨率重建操作Q可以抽象地
43、分为两步： 第一步为插值放大过程,第二步为在插值图像中填入高频信息得到高分辨率图像。第一步插值放大过程可以通过插值算法(例如双三性插值)把输入低分辨率图像放大到目标分辨率,插值算法简单且容易实现。第二步通过字典学习得到的先验知识来重建出高分辨率图像的高频信息,再把这些信息填入插值图像重建得到高分辨率图像。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原超分辨率重建的关键是如何有效地计算出高分辨率图像中的高频信息。因此,在本章算法中不直接对灰度图像块进行训练,而是专注于这些图像块中的特征(高频信息),建立低分辨率图像块和高分辨率图像块中特征的映射关系,这样可更准确地得到高频信息的先验知识,重
44、建出高分辨率图像。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原1. 低分辨率字典学习低分辨率字典学习算法不是直接对低分辨率图像分解得到的低分辨率图像块pili, (i=1, 2, , m)进行训练,而是对获得的低分辨率图像的特征集进行训练。设Fl和Fh分别为低分辨率和高分辨率图像块的特征提取操作，将该操作分别应用于高低分辨率图像块,则可以得到低分辨率图像块特征Flpili, (i=1, 2, , m)和高分辨率图像块特征Fhpihi, (i=1, 2, , m)。基于图像稀疏表示理论,低分辨率图像块特征可以在低分辨率字典Dl上得到稀疏表示：Flpili=Dli, iRK(10-45)第
45、十章基于超完备字典的图像稀疏表示理论的超分辨率复原算法把优化的K-SVD算法应用到低分辨率图像块特征,问题可以转换为求解如下一个优化问题：(10-46)20,min s.t. ,lilliliFDF pDiK对于上述等式, 低分辨率字典Dl和低分辨率图像块特征在其上的稀疏表示系数通过K-SVD算法计算得到,K-SVD算法的具体步骤已经在第四章中详述过。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原2. 高分辨率字典学习高分辨率字典学习根据Yang的基本思想,高分辨率图像块特征Fhpihi, (i=1, 2, , m)也可以用同样的稀疏表示系数在高分辨率字典上得到稀疏表示：Fhpihi=D
46、hi(10-47)这个问题可以通过计算下列一个伪逆计算式求得：Dh=Fhpihi+i=FhpihiTi(iTi)1(10-48)这样就得到了高分辨率字典Dh。通过对低分辨率字典和高分辨率字典的学习,可得到用于重建的先验知识(Dl,Dh)。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.5 实验结果及分析实验结果及分析本节将把本章算法的超分辨率重建效果与其他超分辨率算法对比,随后将讨论影响重建效果的一些因素,比如图像特征提取算法、 目标放大倍数、 超完备字典尺寸等。由于人眼对亮度信息比对色度信息更为敏感,本章算法只对YUV色彩空间的亮度分量进行处理。同样的,峰值信噪比(Peak Sig
47、nal to Noise Ratio,PSNR)的计算结果也只在Y通道上给出,PSNR的计算公式为(10-49)2255PSNR=10lgMSE第十章基于超完备字典的图像稀疏表示理论的超分辨率复原(10-50)size1()MSEsizennnIP其中,MSE是均方根误差, In定义为原始图像的第n个像素,Pn是处理后图像对应位置上的像素。PSNR的计算值越高,意味着重建出来的图像质量越高。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.5.1 文本图像放大实验文本图像放大实验在本节实验中将对单幅文本图像进行超分辨率实验。给定一幅600600的文本图像作为原始图像,通过对其下采样2倍
48、得到一幅300300的低分辨率图像作为单幅输入图像。图像目标放大倍数设为2倍,在自训练字典学习的框架下,输入单幅300300的低分辨率图像作为唯一的训练样本,通过字典学习算法对样本的训练可得到用于超分辨率重建的先验知识。同时,将输入的低分辨率图像通过双三性插值算法、 最近邻插值算法放大2倍后作为本节实验结果的对比。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原低分辨率图像和高分辨率图像的特征提取算法如前面所述,对低分辨率图像采用4个梯度滤波器联合拉普拉斯滤波器进行特征提取,对于高分辨率图像则直接移除它的低频成分得到特征图像。K-SVD字典学习算法迭代次数设为40次,字典尺寸设定为3030
49、0,即字典包含300个原子。目标稀疏度设为4,每个图像块可以用字典中4个原子的线性组合来得到稀疏表示。本章算法、 双三性插值算法和最近邻插值算法超分辨重建效果对比如图10-8所示。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原图10-8 文本放大实验第十章基于超完备字典的图像稀疏表示理论的超分辨率复原通过图10-8可以看出,本章算法重建结果在视觉效果上明显优于插值算法的结果。最近邻插值算法结果最差,失真明显;双三性插值算法的结果过于模糊且缺乏高频信息。对重建结果图像进行PSNR分析(如图10-8所示)可得,本章算法相较最近邻插值算法取得了3.31 dB的提升,相对于双三性插值算法取得了2
50、.17 dB的提升。第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.5.2 与其他基于学习超分辨率算法对比与其他基于学习超分辨率算法对比在上小节中,主要把本章算法和基于插值算法进行了对比,本章算法的超分辨率重建效果明显好于简单的插值算法。在这里将把本章算法和Yang的基于图像稀疏表示理论的超分辨率算法作对比。在本小节以下的所有实验中,对于Yang算法,超完备字典尺寸设置为1000,图像块设置为55,每个图像块之前有4个像素点的交叠。在本章算法中,K-SVD算法在自训练字典学习的框架下,通过40次迭代达到收敛,字典尺寸设定为50;每个33的图像块之间有1个像素点的交叠,且每个图像块能用