《基于图像块迭代和稀疏表示的超分辨率图像重建算法-杨存强.pdf》由会员分享，可在线阅读，更多相关《基于图像块迭代和稀疏表示的超分辨率图像重建算法-杨存强.pdf（5页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Joumal of Computer Applica“ons计算机应用，2016，36(2)：52l一525ISSN 1001908lCODEN JYIIDU20160110http：wwwjocacn文章编号：100l一908l(2016)02052105 DOI：1011772jissn100190812016020521基于图像块迭代和稀疏表示的超分辨率图像重建算法杨存强，韩晓军。，张 南(天津工业大学电子与信息工程学院，天津300378)(通信作者电子邮箱han)【iaojunqpueduen)摘要：针对待复原图像内容间差异和重建速度缓慢的问题，提出基于图像块迭代分类和稀疏表示的超分辨
2、率图像重建算法。首先。根据阂值把图像迭代分块为三种不同形态。然后，对三种形态分别处理：在重建时，对44块利用双三次插值(BI)算法重建；对22块由K奇异值分解(KSVD)算法得到对应的高、低分辨率字典，通过正交匹配追踪(0MP)算法重建；对，v块用形态成分分析(MCA)法分解为平滑层和纹理层，然后由各层相应的字典对通过0MP算法重建。将所提方法与基于稀疏基的方法、基于McA的方法和基于两级与分频带字典的方法相比，所提算法在主观视觉效果、评测指标和重建速度上都有明显的改善。实验结果表明，该方法在图像的边缘块和不规则区域获得了更为精细的细节，重建效果更明显。关键词：稀疏表示；形态成分分析；字典学习
3、；K一奇异值分解；正交匹配追踪中图分类号：TP391413 文献标志码：ASuper-resolution image reconstructiOn algoriuun based onimage patche iteration and sparse representationYANG Cunqiang，HAN Xiaoiun，ZHANG Nan(coffe酽矿E如cfron协。凡d，吧加珊。如n En百聊e增，彬n Po研卵hn】!ciw胎i砂，讹埘凡300387，CiM)Abstract： Conceming the slow reconstmction and the dilIbre
4、nce among the contents Df the image to be reconstructed， animpmved superresolution image reconstmction d90rithm based on image patche iteration and sparse representation wasproposed In the pmposed method，image patches were firstly divided into three dif玷rent foms by threshold features，then thethree
5、fo肿s were treated separately： during the reconstmction process，Bicubic Interpolation(BI)approach was used for imagepatches of 44；jmage patches of 22，achieved corresponding high and Iow resoIution dictionary pairs by K一鞒ngularValue Decomposition(KSVD) algorithm， and then to 6nish reconstruction using
6、 0nhogonal Matching Pursuit(0MP)algorithm； image patches ofwere divided into smoothing layer and texture layer by Morphological Component Analysis(MCA)algorithm， hen to 6nish I-econst八lction using OMP with corresponding dictionary pairs of each 1ayer Compared withthe methods based on sparse represen
7、tation group，】CA， and twostage multifequencyband dictionaries， the proposedalgorithm has a significant improvement in subjective visual ef耗ct， evaluation index and reconstmction speed Theexperimental resuIts show that the proposed algorithm can obtain more details in edge paIches and irregular struc
8、ture regionswith better reconstruction effectKey woHIS：sparse representation； Morph010舀cal Component Analysis(MCA)； dictionarylearning； KSingular ValueDecompos沁on(KSVD)；0rthogonal Matching Pursu“(0MP)O 引言图像超分辨率是指利用一幅低分辨率(kw Resolution，LR)图像或者图像序列，重构出具有高像素密度并且包含更多细节的高分辨率(High Resolution，HR)图像。图像超分辨率重
9、建技术作为一种无需改善硬件设备，却可显著提高图像质量的方法，在视频监控、医学成像、图像压缩、高清晰数字电视、遥感图像等领域中获得了巨大成就。近年来，基于稀疏表示的图像超分辨率重建引起了国内外众多研究者的关注。图像的稀疏表示模型能够刻画其内在结构和先验属性，在图像重建等方面已经得到了广泛的应用。Yang等。J把压缩感知的思想引入到超分辨率算法中，利用高低分辨率图像块在特定的稀疏基下有相同的稀疏表示作为约束条件重建得到高分辨率图像；Rubinstein等”o提出将字典的每个原子通过固定的基字典再次稀疏分解构成稀疏字典重建图像；浦剑等”o提出从异构数据集构造同构字典，并使用双边滤波器的uV色度重构实
10、现彩色图像的超分辨率重建；zeyde等1利用主成分分析(阳ncipal components Analysis，PcA)算法进行降维，利用正交匹配追踪(0rthogonal Matching Pursuit，OMP)算法进行稀疏编码，两者相结合使算法速度得到了提高；Kato等。虬采用稀疏表示和基于亚像素相对位移来进行块匹配，但由于需要计算每一子块的相对位移，计算复杂度很高，重建时收稿日期：2015-07一06；修回日期：2015一0916。 基金项目：国家自然科学基金资助项目(6140514J4)。作者简介：杨存强(1989一)，男，山东嘉祥人，硕士研究生，主要研究方向：图像处理、模式识别、图
11、像超分辨率； 韩晓军(1958一)，女，河北玉田人，教授，主要研究方向：图像处理、模式识别、信号检测、自动控制系统、DsP； 张南(1991一)，男，河南叶县人，硕士研究生，主要研究方向：图像检索、机器视觉：万方数据522 计算机应用 第36卷间很长；管超等j、Janardhana等哺采用并改进了形态成分分析(Morpholo西cal Component Analysis，McA)算法对图像分层处理，使重建质量得到明显提高；练秋生等旧1提出构造两级字典以及分频带字典进行图像的超分辨率重建，在图像清晰度上有很大的提高。本文在上述文献的基础上提出采用基于图像迭代分块的方法，把图像迭代分割成三种类型
12、后分别处理：对44的图像块直接利用双三次插值(Bicubic Interpolation，BI)算法重建；对22的图像块利用K一奇异值分解(K-singlllar ValueDecomposition，KsVD)算法1”“o学习得到高低分辨率字典，然后由其对应的高、低分辨率字典对通过0MP算法重建；对的图像块先通过MCA算法引分解为平滑层和纹理层，然后由各层列相应的字典对用OMP算法重建。最后把三种类型的图像块融合重建为高分辨率图像。这种方法不仅有效降低了字典训练时间和图像重建时间，同时进一步提升了重建图像的质量。1 稀疏表示的超分辨率重建模型11图像退化模型在超分辨率图像重建算法的研究中，对
13、图像处理的过程其实是一个传统图像处理算法的逆过程。通常采用的退化模型141为：匕=巩曰。巩噩+M (1)其中：xR”表示HR图像，yR。表示降噪LR图像，D表示下采样矩阵，四表示光学模糊矩阵，日表示x相对于y的运动变形矩阵，表示加性随机白噪声。图像超分辨率重建其实是一个病态逆问题，求解这类问题必须有合理的先验假设，本文方法是基于稀疏表示图像模型。12图像稀疏表示模型稀疏表示是利用自然图像或信号的可压缩性，所以图像在合适的过完备字典下总存在稀疏的表示，从而可以用过完备字典中的少量原子进行线性表示。设DR”()为过完备字典，信号工R“可表示为字典中D的一个线性组合，即稀疏模型5。可表示为：min
14、11口忆 (2)st工=D担其中：口为稀疏系数；范数Il口1I。J7、r为口的稀疏度，表示口中有极少的非零元素。由式(1)和(2)可知，对于HR图像的过完备字典D。和降噪后的LR图像过完备字典D。，其对应稀疏模型x=D。口，y=D。口，必然存在着一个映射矩阵日，使得y=删，即DI口=肋Hd，可得：DL=肋H (3)即高低分辨率图像块在对应过完备字典下具有相同最稀疏表示，因此，当建立了合适的字典对后，由y=D。口得到对应的稀疏系数口，结合HR图像过完备字典D。，利用X=D。口恢复出高分辨率图像块。13基于迭代图像块的分类由于不同类别图像块的局部特征不同，仅用一个字典不能最稀疏地表示某一特定类型的
15、图像块。为克服这一缺点，将图像块根据阈值的不同迭代分割为三类，迭代分块模式如图1所示。H 1 劁1琢块迭代模对于图像分块迭代法，可以利用图像块的局部方差与其给定的固定阈值r比较，对图像分块处理。局部方差表示为：)=吉(一矾)2 (4)2U mI其中：(i，_)为图像块的坐标，靠=土乏：为块内所有像素 一的灰度平均值，m为像素点个数。利用局部方差迭代分块法得到三种类型图像块集合，局部方差分类的部分示意图，如图2所示，具体迭代过程如下：1)把低分辨率图像y按照44分块，利用式(4)求出每个图像块的方差d)o2)把图像块方差d(。)与固定阈值r比较：若d(叫)r，则图像块保持不变；若d(ir f)r
16、，则对图像块继续进行分解。3)对d(。D71的44图像块，(u)继续分解，即分解为22|7、r，分别求出其各块的方差为df)然后返回步骤2)。4)对d(。，)r的22图像块，()继续分解，即分解为后终止原始测试图像虱2 利用局部方差分类的部分示意图2超分辨率图像重建本文提出的基于迭代分块和稀疏表示的超分辨率图像重建算法模型，用McA算法提取图像块平滑层和纹理层，用迭代分块法处理待重建图像，从而获取训练字典样本集，用稀疏表示和K-sVD算法联合构建高低分辨率字典对，用0MP算法重建各部分图像块，最终融合得到高分辨率图像。21 MCA分解图像由迭代分块法分类后，对于第三类图像块，绝大多数是图像的边
17、缘部分。由于在稀疏表示中引入了非局部自相似性约束压制噪声，这种非局部加权平均的方法会造成图像高频信息的丢失，尤其表现在边缘等梯度变化较大的地方会出现过度平滑、模糊现象。为了缓解这种现象，利用McA算法对第三类图像块进行分层处理。McA算法是基于信号和图像分解的一种方法，其核心思想是用最优稀疏表示图像形态，采用两种弱相关性的字典来表示图像中两个不同部分的线性组合：平滑层和纹理层。用McA算法分解图像块x为信息较为复杂的纹理层x和细节比较平缓的平滑层旄，分别得到其基追踪模型为：口?=arg min 0口|l (5)糟繇燕|；：广叫L扎糕“醚溅而ll到l戋丸丛谳业生万方数据第2期 杨存强等：基于图像
18、块迭代和稀疏表示的超分辨率图像重建算法 523stX=DA口=arg min fI口B忆 (6)st=DB口B又x=以+蜀，则将其分解为平滑层和纹理层的基追踪模型可表示为：硝“，胡”=arg min If口。忆+0口B忆 (7)stX=D口A+DB口B又考虑到图像含有噪声等因素，由拉格朗日乘子法得到无约束优化模型为：。，“=arg min 0口忆+II口B+p lxD口一DB口B 0； (8)针对各分量自身仅对其所表征的分量能形成有效的稀疏表示，而对其他分量不能形成有效的稀疏表示这一特性，加入了全变差(Total Variation，)正则化图像先验模型，得到最终的McA框架模型，表示为：口，
19、口尹=arg min 0口0 l+0rBl+肛0 xD口一DB口B 0；+妒n7DB口B(9)其中：II口。忆、0口。忆分别为纹理层和平滑层的稀疏度量项；妒吖DB为平滑层的正则化先验模型；肛llx一巩一D。口。旺为数据保真项。(a)蟓图 b)斗二滑瞪 (c纹只!层c纠3、罔像j，坼小匹旧22样本集选取对于测试图像用迭代分块法分成了三种类型的图像块，对于第二、三类图像块，用稀疏字典学习的方法重建图像，则选取样本集是首要任务。首先，采集一定数量的HR图像x，然后降质处理得到对应的LR图像y。对于LR图像y，训练集的每一幅图像首先分割为大小为4J7、r4的图像块，计算每一个图像块yi的局部方差d。，
20、则可以得到dr，用来作插值的第一类图像块样本集E=y：，J，：，J，：，以及吐r的图像块样本集矸=y：，辨，j，!。对样本集矸再次处理，分割成大小为22J7、r的图像块，计算每个图像块的局部方差，再次比较df与r的关系：d。71的样本组成一个样本集E=y：，奠，J，：，用E作为第二类图像块的样本集来训练字典；df)r的样本组成一个样本集霹=蜡，蝴，y：，并对该样本集再次作分割处理，分割成大小为J7、r，v的图像块，组成样本集y3=y。，y：，_y。，作为第三类图像块的原始样本集。再利用McA算法对样本集y3分解成两种形态，其中纹理层样本集为E=，正，J，：，平滑层样本集为E=y；，虻，y：，作
21、为第三类图像块样本集。对于HR图像，由于高低分辨率图像块具有相同的稀疏因子，则选取与y相对应的LR的图像块即可。经过迭代处理，既减少了样本集数量，又保证了同重建图像有相似结构信息的图像块作为字典训练的样本。23稀疏字典对训练稀疏字典DR“是从训练样本集x=，工：，工。R“学习得到的，可以表示为：D，A=arg嘤ip 0 xDA 0； (10)stVi=l，2，1|0 or其中：A=口1，口表示系数矩阵，r为稀疏表示系数中非零分量最大个数。稀疏表示的首要任务是联合构建高低分辨率的字典对，采用高低分辨率字典联合生成的思路，对高低分辨率样本同时训练，生成高低分辨率字典对。训练样本是由HR图像和经过降
22、质处理的LR图像的联合样本集S=x，y，其中x=x。，工2，工。，y=，2，j，。，工i，咒为样本对，则高低分辨率图像样本训练过程分别代人式(10)，形式如下：DH，A=arg望i世I|xDHA|； (11)DL，A=arg罂iP|I xDLA|； (12)由于高低图像块具有相同的稀疏因子，则可以将高低分辨率图像块统一到一个稀疏字典编码框架下，则合并式(11)、(12)得到目标函数：亩DH，A+亩DL，A=min o zDA o； (13)其中：弘哩刈咧】 )【D=面-1D。河_1D。其中M和分别为样本中图像块向量形式的维度。以z作为K-SVD算法的输入，利用K-sVD算法获取字典D后，利用式
23、(14)中的关系获得高低分辨率字典对D。和DL。二、三类图像块字典对训练流程如图4所示。 网睦荆望溃仲厢司叫嬲薹I西德蔺剖幽1图坐陛绷型倒哐酬黝口；(i)o，计算全局差错矩阵邑：lr一哆口0。通过选取对应的列约束臣以得到层：。使用奇异值分解E：=诅矿。用矩阵u的第一列代替字典中的原子以，利用矩阵y的第一列与厶(1，1)的乘积修正系数因子中的口：。4)满足收敛条件或达到迭代次数后，根据关系式(14)，得到DH和DLo图像重建过程如下：万方数据524 计算机应用 第36卷1)对于给定的LR图像y，首先利用双三次插值算法将图像插值放大为高分辨率低频图像，然后用迭代分块的方法将其分割成相互重叠的三类图
24、像块：y。、y2和y3，构成集合y2一J，：，y3一j7，。2)对匕一弘利用MCA方法分解为平滑层和纹理层，构成集合y3一儿一J，；允。3)对图像集y：和粥、虻按照字典训练过程相同方式提取特征得到字典D：和D；、D；，然后分别利用字典磋和酬、驯采用oMP算法刮求解稀疏表示系数矩阵坞和坞、嵋。由式(13)、(14)得到高分辨率字典磋和D、D字。4)由稀疏表示系数和高分辨率字典得到高分辨率图像块，从而重建出高分辨率图像。3 实验仿真及分析为了验证本文方法的有效性，将其与以下方法进行对比：双三次插值方法、Y粕g等提出的基于稀疏基的方法、管超等一3提出的基于McA的方法和练秋生等旧1提出的基于两级与分
25、频带字典的方法。对比内容包括视觉效果、峰值信噪比(Peak sigllaltoNoise Ratio，PsNR)、结构相似度(stmcturalsIMil丽ty，SSIM)o和重建时间。其中PSNR和ssIM的计算公式如下：，气气2朋懈=10lg了竺忑 (15)|，一J 1|2ss埘矿=万器哿丽 )其中r、，分别表示原始图像和重建后图像，p为图像的均值，盯为图像的方差。对实验所需的LR图像通过HR图像下采样和添加高斯白噪声退化生成。实验环境Madab一2012a运行于40 GHzcPu，2 GB RAM的Pc，windows 7平台。实验过程中，文献1、文献7和文献9的方法参数设置相同，图像块
26、大小为33，保留1个像素的重叠，字典大小为1 024，稀疏平衡因子为01；本文方法取=3，保持图像块13的像素重叠度，二、三类图像块字典大小均为512，分块阈值r对Lena图像取40，对girl图像取35，对cameraman图像取25，稀疏平衡因子为01。重建结果如图57所示；表l则给出了这几种对比方法的PSNR、SSIM和重建时间的具体数值。a)原图 (b)双三次差值方法 (c)文献【1】方法(d)文献F1方法 (e)文献l(J】方法 (f)本艾方法幽5 Lcna图像算法比较由图57中可以清晰地看出，五种算法在平滑区域重建效果基本相同。在边缘和不规则结构区域，双三次插值方法重建图像细节模糊
27、，锯齿效应明显；Y粕g等的算法较双三次插值算法细节部分更清晰，但边缘区域仍存在锯齿效应；文献7方法相比前两种算法边缘细节更清晰，但部分边缘周围有些模糊；文献9方法在边缘和不规则区域处理更精细，但在一些极小图像块内变化起伏比较大的区域效果不明显；本文算法对图像边缘块和不规则区域重建更清晰，通过比较kna图像的帽子边缘、西rl图像的部分毛发和came舢an照相机外壳可以看出，锯齿效应基本消除，边缘视觉效果改进明显。(d)文献【?】方法 (c)丈献【9方法 (f)本文方法刘7 tmmwama一、f訇像剪：法【匕较表l 不同图像重建PSNR、SSIM和时间对比万方数据第2期 杨存强等：基于图像块迭代和
28、稀疏表示的超分辨率图像重建算法 525从表1中可以看出，与BI及文献1、文献7和文献9的方法相比，PsNR的均值分别提高了222 dB、098 dB、04 dB、03 dB；SSIM的均值分别提高了0065，0034，0014，0005；全部图像的平均重建时间相比文献1、文献7和文献9的方法分别减少了60、35、15。通过比较评价指标，也可以看出本文方法对图像重建效果有一定提高。4 结语本文针对待处理图像局部区域间的差异性和重建速度缓慢的问题，提出了基于图像块迭代分类和稀疏表示的超分辨率图像重建算法。在分级字典和分频带字典的基础上，提出根据图像内容间的差异，对不同区域分别处理来提高图像的精细度
29、。根据阈值把图像分成不同的块，第一类用双三次插值算法重建图像；第二、三类分别用各自的字典对利用稀疏表示算法重建。实验结果表明，本文方法相比文献1、文献7和文献9的方法不论是在重建效果还是重建效率上都有很大的改善。本文方法是在多成分子字典训练图像块级联组合而成的图像，并没有相应的快速分解与重构算法，如何解决此矛盾是一个关键，今后将对该问题作进一步研究。参考文献：【1】 YANG J c，wRIGHT J，HuANG T，et a1Image supe卜resolutionvia sparse representation【J IEEE Transacs on Image Processin岛20
30、10，19(11)：286128732】 YANG J C，WANG Z W，LIN Z，et a1Couple dictionary trainingfor image supe卜resolution【J IEEE Tr肌sactions on Image Pm-cessi“昏2012，2l(8)：34673478【3 RUBINSTEIN R，ZlBUIEVSKY M， ELAD M Double sparsity：leanling sparse diction“es for 8parse si印al approxi眦tion J】IEEE Tr柚sactions on Signal Pm
31、cessi“g，20lO，58(3)：155315“【4】 浦剑，张军平基于词典学习和稀疏表示的超分辨率力法【J】模式识别与人工智能，2010，23(3)：335340(Pu J，zHANG J PSuper-resolution through dictionary le唧ing and 8parse representa-tion【J】Pattem Recognition卸d Artificial InteUigence，2010，23(3)：335340)5 ZEYDE R，ELAD M，PR0rITrER M0n single image scaleup u-sing 8parsere
32、presentations，curves and surfaces【CPI0ceedingsof the 7th Intemational Conference on Cues aJld Surfaces LNCS6920Berlin：Springer，2012：7l 17306 KAT0 T，HIN0 H，MURATA NMulti-fr砌e im89e super resolu-tion based on sparse codingJ】Neuml Networks，2015，66(2)：“一78【7 管超，金波，张爱新基于McA分解的超分辨率重构算法【J通信技术，2013，46(3)：87
33、90(GuAN C，JIN B，zHANG A xMCA-based image super resolutionJ】 Communications Technolo-gy，2013，46(3)：8790)8 JANARDHANA S，JAYA J，sABAREEsAAN K J，et a1 Imagenoise removal fhmework based on morphological component aIlalysisC】Proceedings of the 2013 Intemational Conference on CuntTrends in Engineering and
34、Technology Piscataway， NJ： IEEE，2013：63669 练秋生，张钧芹，陈书贞基于两级字典与分频带字典的图像超分辨率算法J自动化学报，2叭3，39(8)：1310一1320(LIAN QS，ZHANG J Q，CHEN S ZSingle image supe卜resolution algo-rithm based on twostage and multifrequencybaIld dictionariesJ】Acta Automatica Sinica，2013，39(8)：1310一1320)【lO】 AHARON M，EIAD M，BRUCKSTEIN
35、A，et a1K-SVD：an al90rithm for designi“g ove卜compIete dictionaries for sparse representationJ】IEEE Tsactions on Signal Pmcessing，2()06，54(11)：43114322【11 史郡，王晓华基于改进KSVD字典学习的超分辨率图像重构【J】电子学报，2013，4l(5)：997一l000(SHI J，wANG x HImage supe卜resolution reconstnlction based on impmVed K-SVDdictionarylea丌Iing【
36、J】Acta Electmnica Sjnica，2013，4l(5)：997一1000112】 盛帅，曹丽萍，黄增喜，等基于改进稀疏编码的图像超分辨率算法【J】计算机应用，2014，34(2)：562566(sHNEG s，cAOL P，HUANG Z X，et a1 Image superresolution algorithm basedon improved 8parse coding【J】Joumal of Computer Applications，2叭4，34(2)：562566)【13 龚卫国，潘飞宇，李进明用双层重建法实现单幅图像的超分辨率重建J光学精密工程，2叭4，22(3
37、)：720一729(GONG wG，PAN F Y，LI J MSin91eimage supe卜resolution reconstmctionvia double layer reconstmctingJ】0ptics and Precision En舀nee卜ing，2014，22(3)：720一729)【14】 首照宇，吴广祥，陈利霞基于字典学习和非局部相似的超分辨率重建【J】计算机应用，2叭4，34(11)：33003303(SH0u zY，WU G X，CHEN L XSupe卜resolution reconstruction based 0ndictionary le锄ing
38、and nonlocal sim订dtyJ】Joumal of Comput-er Applications，2014，34(1 1)：3300一3303)15 KHADEML00 M，REzGHI MIntegrated sinde image super reso-lution based on spe”presenta咖【c】Proceedings of the2015 Intem砒ional Symposium on Artmcial Intelligence曲d SigIlalProcessingPiscataway，NJ：IEEE，2015：192一19516】 DONOH0 D
39、L，TsAIG Y，DRORI I，et a1sparse solution of un-derdetemined systems of linear equations by stage wise orthogonalmatching pursuitJ IEEE Transactions on InfonIlation 711lleory，2012，58(2)：1094一112117】 LI Y，QI CP0sition constraint based fke image s“pe卜resolutionby le帅ing multiple 10cal linear pmjectionsJs
40、igrIal Pmcessing：Im醒e Communication，2015，32： l15BackgroundThis work is p趾tially supported by the National Natural Science Foundation of China(614J05144)YANG Cunqiang，bom in 1989，MScandidateHis research inferesls inc】ude image processing， paltern recqgn“jon， jmage supe卜resolu-tionHAN xiaoju，bom in 1958，MS，professorHer research inte卜ests include image pmcessing， pattem recognition， si印al detection， automatic contml system，digital signal pmcessingZHANG N柚bom in 1991MScandidaIeHis research inter-ests include image re啊eval，machine vision万方数据