《基于局部标准差与显著图的模糊图像质量评价方法-卢彦飞.pdf》由会员分享,可在线阅读,更多相关《基于局部标准差与显著图的模糊图像质量评价方法-卢彦飞.pdf(7页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第46卷第4期 吉林大学学报(工学版) V0146 No42016年7月 Journal of Jilin University(Engineering and Technology Edition) July 201 6基于局部标准差与显著图的模糊图像质量评价方法争荡 飞1,2, 张 涛1,郑 健3,李 铭12,章 程123(1中国科学院长春光学精密机械与物理研究所,长春130033;2中国科学院大学,北京100049;3中国科学院苏州生物医学工程技术研究所,江苏苏州215163)摘 要:为了有效地对模糊图像的质量进行评价,提出了基于局部标准差和显著图的无参考模糊图像质量评价方法。首先,针对
2、待评价图像,利用高斯低通滤波器对其进行模糊化来构造参考图像。然后,利用图像的局部标准差和显著图两个特征在模糊化前后的变化情况,对原模糊图像的质量进行评价。最后分别在LIVE图像库和CSIQ图像库上对本文方法进行了验证,其中Pearson线性相关系数(PLCC)值分别达到了09315和09254,Spearman秩相关系数(SROCC)值分别达到了09258和08962。实验结果表明本文方法与当前公认性能优越的算法LPC-SI表现接近,且计算复杂度较低,耗时仅为其47。关键词:信息处理技术;模糊图像质量评价;再模糊效应;局部标准差;显著图中图分类号:TN91173 文献标志码:A 文章编号:16
3、715497(2016)04133707DOI:1013229jcnkiidxbgxb201604046No-reference blurring image quality assessment based onlocal standard deviation and saliency mapLU Yanfeil2”,ZHANG Ta01,ZHENG Jian3,LI Min912“,ZHANG Chen9123(1Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Sciences,Chan
4、gchun 130033,China;2University of Chinese Academy of Sciences,Beijing 100049,China;3Suzhou Institute of BiomedicalEngineering and Technology,Chinese Academy of Sciences,Suzhou 215163,China)Abstract:In order to evaluate the quality of blur image effectively,a no-reference image quality assessmentmeth
5、od based on local standard deviation and saliency map is proposedFirst,the Gaussian low-pass filter isused to construct a reference image through blurring the given imageThen,two features,namely localstandard deviation map and saliency map,are selected to evaluate the quality of the blur image accor
6、ding tothe changes of the two features before and after the blurring processThe proposed method is tested on LIVEdatabase and CSiQ database。on which the Pearson linear correlation coefficients are 093 1 5 and 09254respectively,and the Spearman rank correlation coefficients are 09258 and 08962 respec
7、tivelyExperimentalresults indicate that the proposed method is close to the state-of-art method LPC-SI,however itscomputational complexity is much lower,only about 47of that of LPC-SIKey words:information processing;blur image quality metric;reblur effect;local standard deviation;saliency map收稿日期基金项
8、目作者简介通信作者:2015-0204:国家自然科学基金项目(61201117,61301042);国家重大科学仪器设备开发专项项目(2011YQ040082);国家科技支撑计划项目(2012BAll3804):卢彦飞(1989一),男,博士研究生研究方向:图像处理与图像质量评价Email:bestluyf126corn:张涛(1964一),男,研究员,博士研究方向:探测与成像Email:zhangtciomp3Ccn万方数据 1338 吉林大学学报(工学版) 第46卷O 引 言图像质量评价主要分为主观评价方法和客观评价方法r1。由于主观评价方法成本太高、耗时过长、无法实时进行,现在的研究重点
9、主要集中在客观评价方法。客观评价方法根据参考图像是否存在可以分为三类:全参考评价方法12】、部分参考评价方法31和无参考评价方法4驯。全参考评价方法需要完整的参考图像;部分参考评价方法只需要原图像的部分特征或信息,不需要完整的参考图像;而无参考评价方法在无法得到参考图像的情况下,只根据失真图像的性质得到质量评价指标,相关算法的设计较有挑战性。无参考图像质量评价方法一般是针对某种特定失真类型来设计的。本文主要关注的是无参考模糊图像质量评价方法。成像系统设计的不合理、大气扰动、观测目标的运动、重采样及图像压缩等,都会产生相应的模糊现象。模糊图像质量评价方法可以用在光学成像系统中,根据图像的模糊程度
10、来对成像系统的参数进行调节,也可以评价图像去噪、增强或者复原算法的效果,还可以用来对图像压缩算法带来的模糊效应进行估计。目前无参考模糊图像评价方法主要分为以下几类:基于图像空间信息的评价方法,比如全局方差法、自相关法、基于梯度或二阶微分的方法等叩。此类方法利用了模糊图像空间信息的变化情况,比较简单和直观;基于变换域的评价方法,比如傅里叶变换法、基于DCT域的Kurtosis法1等。此类方法利用了模糊图像在变换域的性质,物理意义比较清晰,缺点是计算比较复杂;基于统计的评价方法,比如直方图阈值、全局熵法等81。此种方法根据模糊图像和清晰图像在统计上的差异进行算法设计,准确性不够高;基于边缘的方法,
11、如边缘宽度法凹,恰可感知模糊法(Justnoticeable blur measure,JNB)llo,模糊检测累积概率法(Cumulative probability of blur detection,CPBD)1门等。前三类方法主要是针对同一幅图像的不同模糊程度进行质量评价,其主要应用于成像系统的自动调焦等领域,使用范围受到限制。最后一类方法能够对不同图像的模糊程度进行评价,可以得到较好的评价效果,但是计算过程一般比较复杂。本文针对图像的模糊程度评价问题,提出了一种新的无参考模糊图像质量评价方法。该方法针对图像的再模糊效应进行了研究,对待评价图像进行低通滤波,得到一个模糊副本,利用模糊后
12、的图像与原图像之间局部标准差和显著图两个特征的变化情况,设计模糊图像质量评价算法。最后用本文方法在lAVE图像库和CSIQ图像库上进行实验,并与其他5种方法进行比较,实验结果表明,本文方法具有与当前公认性能优异的算法LPCSI接近的评价性能,且计算复杂度较低。1 图像的再模糊效应由于参考图像不存在,为了衡量待评价图像的模糊程度,本文采用了Crete等121提出的再模糊效应。该方法基于人眼的主观感受:对于人眼来说,一幅模糊图像与再次模糊后的图像之间的差别相对于模糊图像与清晰图像之问的差别更难感知到。图1所示的就是这个现象,在第一幅图像与第二幅图像之间由于细节的丢失,两者的差别很容易感知到,而第二
13、幅图像与第三幅图像之间的差别看起来没有前两幅之间的明显。a)原图 (bl一次滤波tc)二次滤波图1 图像的再模糊效应示惹图Fig1 Illustration of image reblur effect如果将一幅较清晰的图像模糊化,对于某一像素点,其邻域像素的灰度分布将会有较大的变化,而如果将一幅已经模糊的图像再次进行模糊化,同一位置邻域像素的灰度分布虽然仍会有变化,但是这种变化的程度就显得比较轻微。这个现象在空域直观的解释为:模糊化是一个减小相邻像素问差异的过程,再次模糊虽然也减小了相邻像素间的差异,但是由于人眼存在掩盖效应,这个差异变得更加难感知到;在频域可以解释为:模糊化主要减少了原图像
14、的高频成分,再次模糊时,由于高频分量已经很少,其对图像的改变不大,视觉上看起来变化程度较小。因此,不同模糊程度的图像进行再次模糊之后其对应的视觉变化程度是不同的,本文利用这个现象,通过比较再次模糊前、后图像局部标准差和显著图的变化来度量图像的模糊程度。万方数据第4期 卢彦飞,等:基于局部标准差与显著图的模糊图像质量评价方法 13392 图像局部标准差和显著图21 图像的局部标准差图像的局部方差可以较好地体现图像的细节结构信息。局部方差不仅可以表示像素与其邻域像素之间的关系,还可以表示区域内像素灰度变化的剧烈程度。当图像模糊时,像素之间的相关性变强,像素灰度变化程度减缓,局部方差随着变小。计算图
15、像的局部方差时,局部区域的大小一般取(2k+1)(2k+1),是为正整数,窗口的中心为(,”)。为了降低计算复杂度,对于每一个像素点,本文利用它的33邻域来计算像素点处的局部方差,计算公式为:一 ,r+1 ,+1v(m,门)一百1丁(j,j)一j(,硝)2 “f_,Im1(1)式中:u(TI,”)为点(研,九)处的局部方差;T(i,J)为33邻域内像素的灰度值;x(m,押)为33邻域内所有像素的平均灰度值,其计算公式为: ,rPl r一1;(州,72)一丢x(i。j) (2)。z=r1 J=I由于方差的量纲与原图像中像素的量纲不一致,为了使评价方法的物理意义更明确,本文采用标准差来代替方差,即
16、点(m,卵)处的局部标准差为盯(批n)一石石历万。22图像的显著图人眼具有视觉注意选择机制,能够从大量视觉信息中选择特定的感兴趣区域。建立有效的计算模型来模拟人眼的视觉注意机制。已经吸引了很多学者,越来越多的视觉注意机制模型被提出。大部分视觉注意模型都是自底向上的视觉显著性计算模型。研究者发现,视觉显著性与图像的感知质量相关。自底向上的视觉显著性图基于图像的低级特征,反映了人眼的视觉特性,当图像的模糊程度变化时,其视觉显著性图也会发生相应的变化。在计算图像的视觉显著性图时,为了使最终的评价方法有效而且简单,本文选择傅里叶变换相位谱法(Phase spectrum of Fourier tran
17、sform,PFT)1胡来计算视觉显著图。PFT模型认为图像的相位谱是获得显著性区域的关键。首先对图像进行傅里叶变换,得到相位谱,然后将相位谱变换到空域,即可得到图像的视觉显著性图。对于一幅图像j(T,),其PFT显著图计算如下:厂(“,u)一Fj(Ty) (3)p(“,72)一P(f(“70) (4)VS(a1,j,)=g(T,y)+|r1。”9 c“,lI!(5)式中:F代表傅里叶变换;F-1代表反傅里叶变换;P()可以得到相位谱;g-(r,-y)是高斯函数;+代表卷积运算;VS(T,y)代表显著图。图2给出了两幅图像及其对应的局部标准差图和显著图,图2(b)中的原图比2(a)图模糊。可以
18、看出,较清晰图像的局部标准差图较好地保持了原图的主要结构,而模糊图像的局部标准差图对原图主要结构的保持能力较差。另外,模糊图像的显著图相对于清晰图像显著图有部分内容减少,如方框处所示。fl,)较模糊矧像及对应局酃标准差图和显著吲图2不同清晰度图像的局部标准差图和显著图对比Fig2 Comparison of local standard maps and saliencymaps of different blurred image23 无参考模糊图像质量评价方法本文利用局部标准差图和显著图作为特征,提出了一种无参考模糊图像评价方法。利用Crete。1 1I等提出的再模糊效应,针对要评价的图像
19、进行低通滤波,得到一个模糊副本,再通过衡量模糊副本与原图像之间局部标准差图及显著图的变化程度。对原图像的模糊程度进行评价。对于待评价图像,如果是彩色图像,先将其转换为灰度图像。然后对灰度图像X进行低通滤波,碍到再模糊图像y,并将其作为参考图像,其中YIPF(X)。实验表明,基于高斯模型的低通滤波器可以取得较好的效果,因此本文采用高斯滤波器来获取参考图像,模板高度取4,标准差取15。对于待评价图像X和参考图像y,首先计算对应的局部标准差图像,记为std(X)和std(y)。然后利用待评价图像和参考图像对应局部标准差图像之间的相似程度来衡量再模糊前、后图像的万方数据吉林大学学报(工学版) 第46卷
20、局部标准差变化,如果相似程度越大,说明前后变化越小;如果相似程度越小,则前后变化越大。局部标准差变化因子定义为: 一高辨薯辇一2std(X)std(Y)+f,Var(X)+Var(Y)+C (6)式中:Var(X)和Var(Y)分别为X和y是对应的方差图像-f1是很小的正常数,主要作用是为了避免分母为零或者接近零时出现不稳定的情况。同样,计算待评价图像X和参考图像y对应的显著图,记为VS(X)和VS(Y),利用待评价图像与参考图像对应显著图之间的相似程度来衡量图像再模糊前、后的显著图变化,则显著图变化因子为:瓯一篙罟意糍瓮式中:C:是很小的正常数,作用与C,类似。由于局部标准差可以描述图像的细
21、节结构信息,而显著图反映了人眼的视觉特性,两者能够相互补充,本文将再模糊前、后图像的局部标准差变化因子与显著图变化因子结合起来得到待评价图像的模糊程度图:Qbl。一(QsId)。Q。, (8)式中:a为调节因子,来调整两个特征变化因子的重要程度。在计算最终的评价指标Q时,由于待评价图像中每个像素点的局部方差不同,局部方差大的像素点经过再模糊后,相对于局部方差小的像素点,其邻域变化更大,对于最终的评价指标Q。,贡献也更大,则图像模糊程度评价因子为:Qblur一苎鲁!型竺 (9)艺nstd(X)式中:n表示图像的像素空间。根据上面的分析可知,评价指标Qeh越大,待评价图像的模糊程度越大,Q。越小,
22、待评价图像的模糊程度越小。3实验结果及分析为了对本文方法的性能进行验证,分别利用美国Texas大学的LIVE(Laboratory for imageand video engineering)1胡图像数据库以及Oklahoma州立大学的CSIQ(Categoricalsubjective image quality)1朝图像数据库进行实验。LIVE图像库共包含145幅模糊图像,并给出了每幅图像的差异平均主观评分(DMOS)值。CSIQ图像库共包含150幅模糊图像,同样给出了图像的DMOS值。DMOS值由大量观测者对图像进行打分,然后经过处理得到。DMOS值越小说明图像的主观质量越好。对于模糊
23、图像来说,DM()S值越小则模糊程度越小;越大说明模糊程度越大。经过多次实验,主要参数取a一01时,本文方法的性能较好。在其他图像库上进行实验时,为了说明本文方法的性能,参数保持不变。31算法的有效性首先验证本文算法的有效性。本文从lAVE图像数据库中选取一组模糊图像进行实验。实验图像如图3所示,6幅图像均是从LIVE图像库中任意选取得到。表1中列出了6幅图像的DMOS值,并给出了本文方法对6幅图像质量的排序,可以看出,本文方法对图像模糊程度的排序与DM()S值的相对大小是一致的,说明本文方法的评价结果与人眼的主观感受相符,可以用来对模糊图像的质量进行评价。(dJ (e) (n图3不同的模糊图
24、像Fig3 Different Blurred images表1 图3中6幅图像的评价结果Table 1 Evaluation of 6 images in Fig3图像DMOS Qbl。,对图像质量的排序32在LIVE图像库上的评价结果根据VQEG1(Video quality evaluationgroup)提出的建议,通常认为在客观评价值与主万方数据第4期 卢彦飞,等:基于局部标准差与显著图的模糊图像质量评价方法 1341观评价值之间存在一定的非线性关系,为了客观反映本文方法的性能,采用下面的函数旧建立这种非线性映射:(z) 小虿1一南 )j厂8、工+8I(10)式中:r表示客观评价值,
25、卢一、屈、岛、岛和岛为模型参数。对于不同的评价方法,通常用以下4个指标来比较方法之间的优劣一2l:Spearman秩相关系数(Spearman rankorder correlation coefficient,SR()CC)和Kendall秩相关系数(Kendall rankorder correlation coefficient,KR()CC),反映图像质量评价算法预测的单调性,数值越大表明模型的预测能力越好;Pearson线性相关系数(PearsonPredicted score(a)Reblurlinear correlation coefficient,PLCC),客观评价与主观评
26、价值之间的相关系数,可以反映评价算法预测的准确性,数值越大表明模型的预测能力越好;均方根误差(Root meansquarederror,RMSE),反映客观评价与主观评价的一致性,数值越小则表明模型的预测能力越好。首先利用LIVE图像库进行实验,对LIVE图像库中所有145幅模糊图像进行评价,并与其他5种无参考模糊图像质量评价方法的结果进行比较。本文提出的评价指标Q。,非线性映射后的客观评价值与主观DM()S的拟合情况如图4(f)所示,图4(a)4(e)给出了所对比方法的拟合情况。Predicted score(b)JNBM辩0-P畛itting cinLurveM |b墓1哇矿酊刁矿负_1
27、矿栅Predicted score Predicted score(d)GPCSI (e)LPCSIPredicted score(c)CPBDPredicted score(f)Qb,。,图4 6种方法非线性映射后的客观评价值和主观DMOS拟合图Fig4 Curve fitting between DMOS and predicted scores of six methods after nonlinear mapping图4中的Reblur1方法也利用了图像的再 表2不同评价方法在LIVE图像库上的性能对比模糊效应;JNBM”l利用了恰可感知模糊的概念;CPBD一11一是JNBM方法的扩
28、展,利用了模糊检测累积概率的概念;GPCSI 1。利用了全局相位一致性;LPCSI”3则利用了局部相位一致性。其中CPBD和LPCSI是公认的两种性能优异的无参考模糊图像质量评价方法,但是计算模型均比较复杂。从图4可以看出。本文方法的客观评价值紧凑地分布在拟合曲线的附近,说明本文方法在LIVE库上有很好的单调性以及一致性。本文方法在LIVE图像库上与5种无参考模糊图像评价方法的对比结果如表2所示。表中每种评价方法的SR()CC、KROCC与PI。CC最大的两个值及RMSE最小的两个值均用粗体标出。Table 2 Performance comparison of differentevalua
29、tion methods on LIVE可以看到,本文方法具有最小的RMSE,说明本文方法的预测一致性最好;本文方法的PI。CC值与LPCSI的基本相同,说明本文方法有非常好的预测准确性;而本文方法的SROCC值及万方数据吉林大学学报(工学版) 第46卷KROCC值与LPCSI的非常接近,说明本文方法有很好的预测单调性。总的来说,本文在LIVE图像库上具有很好的预测性能。33在CSIQ图像库上的评价结果为了进一步说明本文方法的有效性和通用性,下面利用CSIQ图像库进行实验,对CSIQ图像库中所有150幅模糊图像进行评价,同样与其lIO答。茎O00-0Predicted score(a)Rebl
30、ur00 02 04 06 08Predicted score(d)GPCSI他5种评价方法的结果进行比较。本文方法非线性映射后的客观评价值与主观DMOS的拟合情况如图5(f)所示,图5(a)5(e)给出了所对比方法的拟合情况。从图5可以看出,本文方法在CSIQ图像库上的客观评价值也很紧凑地分布在拟合曲线的附近,说明本文方法在CSIQ库上同样有很好的准确性、单调性以及一致性。Predicted score(b)JNBMI-21008昌06芝040200028Predicted score(C)CPBDPredicted score Predicted score(e)LPCSI (f)Qbt。
31、图5 6种方法非线性映射后的客观评价值与主观DMOS拟合图Fig5 Curve fitting between DMOS and predicted scores(after nonlinear mapping)of six methods本文方法在CSIQ图像库上与5种无参考模糊图像评价方法的对比结果如表3所示。表中每种评价方法的SROCC、KROCC与PI。CC最大的两个值及RMSE最小的两个值均用粗体标出。可以看到,本文方法的PLCC值及RMSE值与LPC SI的基本相同,说明本文方法的预测准确性和一致性非常好;本文方法的SROCC值略小于LPCSI,而KROCC值略大于LPCSI。总体
32、表现与LPCSI接近,说明本文方法的预测单调性很好。总的来说,本文在CSIQ图像库上具有较好的预测性能。表3不同评价方法在CSIQ图像库上的性能对比Table 3 Performance comparison of differentevaluation methods on CSIQ34算法的计算复杂度为了进一步对本文方法的特点进行说明,表4中列出了不同评价方法运行时间的对比结果。每一种评价方法均对同一幅大小为512512像素的图像进行10次评价,10次所耗费的时问求平均值得到表4中的运行时间,单位为S。可以看到,本文方法具有较低的计算复杂度,在得到与LPCSI接近的评价性能的同时,运行时间
33、仅为其47。表4不同评价方法运行时间对比Table 4 Running time comparison of differentevaluation methods评价方法 运行时间sReblurJNBMCPBDGPCSII。PC SIQbl。,4 结束语本文对图像的再模糊效应进行了研究,利用OOOO000000o苫;00O0O,O000O00000o苫o=万方数据第4期 卢彦飞,等:基于局部标准差与显著图的模糊图像质量评价方法 1343两种简单的特征,提出了基于局部标准差和显著图的无参考模糊图像质量评价方法。首先,针对待评价图像,利用高斯低通滤波器构造再模糊图像作为参考图像;然后,利用局部标
34、准差和显著图两个特征在低通滤波前、后的变化情况,对待评价模糊图像的质量进行评价。最后利用LIVE图像库和CSIQ图像库对本文方法进行了验证。实验结果表明,本文方法在两个图像库上的PLCC值分别达到了09315和09254,SROCC值分别达到了09258和08962,与LPCSI接近,运行时间仅为LPCSI的47。可以看出,本文方法具有很好的评价性能,且计算复杂度较低。参考文献:1金伟其,贾晓婷,高绍妹,等彩色融合图像的质量主观评价EJ光学精密工程,2015,23(12):34653471Jin Weiqi,J ia Xiaoting,Gao Shaoshu,et a1Subj ective
35、evaluation of quality for color fusion imagesJOptics and Precision Engineering,2015,23(12):34653471r 2Sheikh H R,Sabir M F,Bovik A CA statistical evaluation of recent full reference image quality assessment algorithmsJIEEE Transactions on Image Processing,2006,15(11):344334523王宇庆基于局部方差和互信息的融合图像质量评价J
36、光学精密工程,2015,23(10z):515-521Wang YuqingFusion image assessment based onlocal variance and singular value decompositionJOptics and Precision Engineering,2015,23(10z):5155214刘建磊结合局部特征的无参考彩色图像质量评价J光学精密工程,2016,24(5):11761184Liu Jian-leiNoreference color image quality assessment based on local featuresJOp
37、tics and Precision Engineering,2016,24(5):117611845许鑫,刘衍珩,王爱民,等无参考视频传输质量评价模型J吉林大学学报:工学版,2012,42(4):952957Xu Xin,I。iu Yanheng,Wang Aimin,et a1Nullreference video transport quality evaluation modelJJournal of Jilin University(Engineering andTechnology Edition),2012,42(4):9529576Erasmus S J,Smith K C A
38、An automatic focusingand astigmatism correction system for the SEM andcTEMJJournal of Microscopy,1982,127(2):85一997Caviedes J,Oberti FA new sharpness metric basedon local Kurtosis,edge and energy informationJSignal Processing:Image Communication,2004,1 9(2):147-1618Firestone L,Cook K,Culp K,et a1Com
39、parison ofautofocus methods for automated microscopyJCytometry,1991,12(3):1952069Marziliano P,Dufaux F,Winkler S,et a1Perceptual blur and ringing metrics:applications toJPEG2000JSignal Processing:Image Communication,2004,19(2):16317210Ferzli R,Karam L JA noreference objective imagesharpness metric b
40、ased on the notion of j ust noticeable blur(JNB)JIEEE Transactions on ImageProcessing,2009,18(4):71772811Narvekar N D,Karam L JA noreference imageblur metric based on the cumulative probability ofblur detection(CPBD)JIEEE Transactions onImage Processing,2011,20(9):26782683r12Crete F,Dolmiere T,Lader
41、t P,et a1The blureffect:perception and estimation with a new noreference perceptual blur metricCProceeding ofSPIE Conference on H uman Vision and ElectronicImaging XII,Bellingham,200713Guo C,Ma Q,Zhang LSpatiotemporal saliencydetection using phase spectrum of quaternion FouriertransformCIEEE Confere
42、nce on Computer Vision and Pattern Recognition,2008:1814Sheikh H R,Wang z,Cormack I。,et a1LIVE image quality assessment databaseDBOL20120623http:liveeceutexaseduresearchquality1 5Larson C,Chandler D MCategorical Image Quality(CSlQ)DatabaseDB0L20090912http:visionokstateeducsiq16Video Quality Experts
43、GroupValidation of objective models of video quality assessment,phase IIVQEGROI200308121http:wwwvqegorg1 7Blanchet G,Moisan LAn explicit sharpness indexrelated to global phase coherenceCff IEEE International Conference on Acoustics,Speech and SignalProcessing(ICASSP),2012:106510681 8Hassen R,Wang Z,Salama MImage sharpness assessment based on local phase coherenceJIEEETransactions on Image Processing,2013,22(7):279828】0万方数据