《基于半圆形局部二值模式结构相关性描述子的图像检索-李莉.pdf》由会员分享，可在线阅读，更多相关《基于半圆形局部二值模式结构相关性描述子的图像检索-李莉.pdf（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第56卷第5期2 0 1 6年9月大连理工大学学报Journal of Dalian University of TechnologyVol. 56,No. 5Sept. 2 0 1 6文章编号: 1000- 8608( 2016) 05- 0532- 07基于半圆形局部二值模式结构相关性描述子的图像检索李 莉1, 冯 林* 1,2, 吴 俊2, 刘胜蓝3( 1.大连理工大学电子信息与电气工程学部计算机科学与技术学院,辽宁大连 116024;2.大连理工大学创新创业学院,辽宁大连 116024;3.大连理工大学电子信息与电气工程学部控制科学与工程学院,辽宁大连 116024 )摘要:针对传统的
2、结构基元方法缺少对不同量化颜色层中的中心像素点与其潜在邻居的相似性信息描述问题,提出了一种半圆形局部二值模式结构相关性描述子,并将其应用在图像检索中.首先,定义了一种新的半圆形局部二值模式结构基元;其次,检测不同量化颜色层中的结构基元;最后,提取新结构基元的空间分布和对比度特征.相比传统的结构基元方法,提出的描述子检测的结构基元更加丰富,包含更多可能的结构区分性.在不同图像库上的实验结果表明了所提方法的有效性.关键词:局部二值模式;基元频率特征;颜色差分特征;图像检索中图分类号: TP391文献标识码: A doi: 10. 7511/ dllgxb201605014收稿日期: 2016- 0
3、4- 23; 修回日期: 2016- 06- 25.基金项目:国家自然科学基金资助项目( 61173163, 61370200) .作者简介:李莉( 1984- ) ,女,博士生, E- mail: hdlili 126. com;冯林* ( 1969- ) ,男,博士,教授, E- mail: fenglin dlut. edu. cn.0 引 言随着多媒体技术和网络技术的飞速发展,图像数据急剧增长,如何有效、快速地从海量图像库中搜索到有用的图像成为当前计算机视觉和模式识别领域研究的热点.图像检索方法主要可分为3类:基于文本、基于内容和基于语义的图像检索方法.基于文本的图像检索方法,使用关键
4、字检索图像,然而这种方法耗时且常常得到一些不相关结果,难以有效地表示图像.此外,由于目前人工智能和相关技术的限制,基于语义的图像检索方法仍存在问题.所以,基于内容的图像检索( CBIR)方法被广泛使用 1 .其中,特征提取是图像检索系统中的关键步骤.CBIR通常基于图像的颜色、纹理、形状或其他一些能够表示图像信息的底层特征.学者们提出许多颜色和纹理特征用于图像检索,其中使用最普遍的颜色特征为颜色直方图 2 ,其具有尺度和方向不变性,描述了图像的全局特征,但丢失了图像的位置信息.基于此,颜色矩 3 、颜色相关图 4和颜色聚合向量 5被提出,同时得到颜色的空间相关性信息.纹理特征描述了物体表面特性
5、以及与周围环境的关系,具有旋转不变性和抗噪性等特点.基于纹理特征的方法在图像检索、人脸识别等领域得到广泛应用,包括Gabor滤波 6 、灰度共生矩阵( gray level co- occurrencematrices, GLCM ) 7 、局部二值模式( local binarypatterns, LBP) 8等.由于单一的底层特征很难全面地描述图像信息,很多学者提出了多特征结合的方法. Dubey等 9提出多特征融合方法,包括图像的颜色、纹理和边缘特征. Liu等 10提出多纹理直方图( multi-texton histogram, M TH)和颜色差分直方图( col-or diffe
6、rence histogram, CDH) 11利用共生矩阵和直方图的优势,提取了图像的颜色、纹理和形状特征信息. Vipparthi等 12提出M JHM ( multi-joint histogram based modelling)方法,使用结构基元和主题模式联合统计描述图像的特征.这些方法使用了图像的多个底层特征表示图像,取得了较好的图像检索效果.对全局图像内容的描述,可以理解为对图像结构基元的检测与统计.受此启发,本文提出一种新的图像特征描述子:首先定义并检测颜色图像中的结构基元,然后分别统计这些新结构基元的空间分布和对比度特征.相比传统的结构基元,这种特征考虑到了不同量化颜色层中中
7、心像素点与其潜在邻居的相似性.另外,对这些结构基元统计,同时利用了结构之间的对比度和空间位置关系.因此,本文特征描述了图像全局区域内的结构基元分布.1 颜色和纹理特征描述1. 1 HSV颜色空间与颜色量化最常使用的颜色空间模型为RGB.另一种 HSV颜色空间,表示色调( hue) 、饱和度( saturation)和亮度( value)信息.由于HSV颜色空间较好地符合人类视觉感知系统,文献 13已证明HSV颜色空间优于RGB颜色空间,并广泛地应用在图像处理中.在HSV颜色空间中, H 0, 360 , S 0, 1 , V 0, 1 .色调由0 360来度量,不同角度的变化表示不同的颜色.饱
8、和度和亮度的取值范围都为0 1.对于一幅彩色图像,直接统计图像的颜色特征需要非常大的计算量,为了减少计算量且更好地区分相似颜色,本文将HSV颜色空间非等距量化来描述图像,分别将H 、 S和V量化到8、 3和3类,得到颜色空间中的颜色值变化范围为0 71.1. 2 局部二值模式将图像中除边缘像素外的每个像素,作为计算LBP模式 8的中心像素点g c,以中心像素点g c为阈值与半径为R的周围邻居g p作比较,将产生的8位二进制数转换成十进制数,即LBP P, R ( g c) = P- 1p= 0s( gp- g c) 2p ( 1)s( x) = 1; x 00; x 0( 2)利用这种纹理检测
9、方法,总共会产生2P种模式.2 半圆形局部二值模式结构相关性描述子图像内容的多样性决定了其特征提取的复杂性,图像特征旨在描述图像中潜在的、主要的区分性信息.根据Julesz 14纹理基元理论,图像可以看成是由一系列规则排列的模块组成.对这些规则模块的定义与描述,体现了图像纹理信息.但是对于纹理基元的认识,目前并没有统一的定义.对纹理不同的理解与定义,也衍生出不同的纹理特征.例如, LBP就体现了这种思想,利用二进制表示中心像素点与其邻居之间的关系,描述了小邻域内图像的纹理结构.因此,对纹理基元的认识与定义是本文特征描述的前提条件.此外,需要对这些已定义的图像结构包含的信息进行特征描述.其中像素
10、间的对比度和空间分布是图像特征中两种相互独立又相互补充的信息.像素间的空间分布体现了中心像素点在小邻域内与邻居之间的相似性,而对比度进一步刻画了与邻居之间的相似性程度.基于此,本文提出一种新的全局图像特征描述方法 半圆形局部二值模式结构相关性描述子( semicircle local binary patterns structurecorrelation descriptor, SLBPSCD) .2. 1 纹理基元定义与检测纹理基元是定义在图像局部邻域内的规则模块,图像可以看成是由这些小模块按一定的顺序组合而成.以中心像素点为基准,描述邻域像素点的分布特性.本文在图像HSV空间的颜色量化层
11、中定义纹理基元结构,使得像素点的颜色信息和纹理结构能同时被描述,即检测含颜色信息的纹理结构.LBP在纹理结构分析中已经取得了成功,并应用于图像纹理分类和人脸识别等领域. LBP具有灰度单调不变性,而且计算简单有效.但是,颜色信息的缺失,使得LBP在实际图像检索中没有很好的区分性.本文采用这种类似的模式定义颜色层中的纹理基元.如图1所示,比较中心像素点与周围邻居的相似性,通过邻居与中心像素点的相似性个数定义基元结构的类型.本文选择半径为R的半圆形邻域和均匀分布在圆弧中的P个邻居像素点,使得邻居像素点的选取更为灵活.半圆形邻域的选择是为了避免相邻像素点间的重复比较.具体的颜色层纹理基元定义描述如下
12、:将中心像素点与半径为R的相同角度间隔分布的P个邻居的灰度值作比较,得到半圆形LBP结构图中心像素点处的像素分布:图1 颜色层纹理基元的定义Fig. 1 The definition of texture texton in color levels335 第5期 李莉等:基于半圆形局部二值模式结构相关性描述子的图像检索T t( s ( g0 - g c) , s ( g 1 - g c) , , s ( gi - g c) ) ( 3)s ( y) = 1; y= 00; y 0( 4)其中g c表示中心像素点所在颜色层(量化颜色值) , gi ( i= 0, 1, , P- 1)表示均匀分
13、布在半圆形邻域中的P个像素点所在颜色层.通过比较g c与gi的关系,可以得到邻居中相似性分布M .本文中心像素点的纹理结构类型直接由其邻居的相似性个数定义,即M = is ( gi - g c) ( 5)其中M描述了像素点在对应颜色层的纹理结构类型.因此,结合颜色层和纹理基元类型所包含的信息,得到原始颜色图像中每一像素点的颜色和纹理结构.本文整体图像像素点结构的检测过程如下:( 1)对图像的HSV颜色空间进行分层量化,每一层的量化颜色值反映了图像像素点的颜色信息.( 2)利用颜色值对比定义中心像素点在半圆形邻域内的分布图.( 3)结合步骤( 1)和( 2)得到的信息,最终得到每一像素点的特征.
14、假设彩色图像为I( x, y) ,且g c = I ( x, y) ,相应的基元结构特征图为Cp ( x, y) ( p = 1, 2) ,其中C1 ( x, y) 0, 1, , 71表示颜色量化图, C2 ( x,y) 0, 1, , 7表示半圆形邻域内的分布图,即C( g c) = ( C1 C2 ) , C( g c) = 8C1 + C2 .2. 2 特征统计定义图像像素点的基元结构,为特征描述提供了基础.对于图像像素点间基元结构的描述,对比度和空间分布信息可以相互补充.本文的特征统计流程如图2所示.颜色差分特征H 1描述了图像的对比度信息,其中融合了局部颜色差分相关性和全局颜色差分
15、直方图;基元频率特征H 2描述了图像基元的空间分布信息,也融合了局部基元频率相关性和全局基元频率直方图.相比传统的直方图和相关性统计,这种统计策略不仅兼顾对比度和空间分布这两种相对独立又相互补充的信息,同时考虑到了颜色差分和基元结构在局部邻域和全局区域中的分布特性.最后,本文的图像特征描述子可表示为H= ( H 1 H 2 ) ( 6)最终得到的图像特征向量维数为72 8 2= 1 152.图2 特征统计流程图Fig. 2 The flow chart of feature statistic利用结构特征图统计图像中的基元结构分布特征.基元频率特征就是描述已定义的基元结构在局部邻域和全局图像中
16、的分布情况,由局部基元频率相关性和全局基元频率直方图融合组成.局部基元频率相关性定义为图像中局部邻域内有相同结构的空间分布:Th( g c) = N c( g c)8 Nc( g c)( 7)其中N c表示邻居与中心像素点有相同结构的出现频率, N c表示中心像素点的结构基元在全局图像中的出现次数.因此,局部基元频率相关性描述了局部邻域中的基元结构分布.而全局基元频率直方图是对基元结构在图像中出现频率的直接性描述:Tf( g c) = N c( g c)sum( Nc( g c) )( 8)融合这两种特征得到的基元频率特征会具备这两种统计的优势,产生更具区分性的基元频率特征描述:H 2 = T
17、h ( Tf+ 1) ( 9)这种基元频率特征是以相似性频率为基础描述结构的空间分布特性.而颜色差分特征是以相似性程度为基础描述结构之间的对比度信息,是由局部颜色差分相关性和全局颜色差分直方图融合得到的.局部颜色差分相关性描述小邻域中心像素点与其邻居的颜色差异对比:Ch( g c) = M c( g c)Mc( g c)( 10)其中M c表示邻居与中心像素点有相同结构的颜色差分和, M c表示此邻域内所有存在的颜色差分总和.全局颜色差分直方图也强调了颜色差分在邻域内的特性.因此,需要加入全局颜色差分直方图描述这种差分在图像中的整体分布:435大连理工大学学报第56卷 Cf( g c) = M
18、 c( g c)sum( Mc( g c) )( 11)同样融合这两种特征后的颜色差分特征更能体现图像中对比度信息在局部邻域和全局图像中的分布情况,可表示成H 1 = Ch ( Cf+ 1) ( 12)颜色差分特征H 1和基元频率特征H 2分别描述了已定义的结构基元在图像中的对比度和空间分布特性.由于这两种特征相对独立又相互补充,可联合这两种特征作为本文的图像特征描述子: H= ( H 1 H 2 ) .3 实验结果与分析3. 1 数据集在实验中,使用标准Corel图像库,分别是Corel- 1K和Corel- 10K. Corel- 1K图像库包含10类图像,分别为非洲人、海滩、建筑、车、恐
19、龙、大象、花、马、风景和食物,每一类包含100幅图像.Corel- 10K图像库包含100类图像,每一类也包含100幅图像.3. 2 相似性度量不同的相似性度量会产生不同的检索结果.常用的特征相似性度量有L2距离、 L1距离、加权L1距离、 chi- square距离、 Canberra距离等.假设图像库中的图像特征向量为X= ( x1 x2 xn)和待检索图像的特征向量为Q= ( q1 q2 qn) , n是特征向量的长度.本文选择L1距离作为特征间的相似性度量:D( X, Q) = ni= 1xi - qi ( 13)3. 3 评价指标在图像检索中,通常使用的评价指标为查准率和查全率 15
20、 .查准率P r和查全率Rr计算过程如下:P r= S/ N ( 14)Rr= S/ T ( 15)其中S为检索到的相似图像数; N为被检索的所有图像数; T为图像库中所有和待检索图像相似的图像数.3. 4 检索性能利用查准率和查全率验证本文提出方法的有效性,选择图像库中的所有图像作为查询图像.本文方法在Corel- 1K图像库上不同距离度量下的实验结果如表1所示,检索窗口输出图像数为10 50幅.实验结果表明, L1距离与其他距离度量相比具有更好的检索效果.尽管L2距离是图像分析中广泛使用的度量方法,但是L2距离过分强调特征向量的单个分量间的差异性,最终并没有得到很好的检索效果 11 .加权
21、L1距离虽然也有较好的实验效果,但比L1距离稍差. chi-square距离的检索效果比Canberra距离稍好,但不及L1距离.因此,本文使用L1距离作为特征间的相似性度量.通过与M JHM 、 M TH和CDH描述子进行比较,验证了本文方法的优越性.如图3( a)所示,在Corel- 1K图像库上,本文方法的整体检索效果明显好于其他描述子. SLBPSCD检索的查准率能达到75. 87% ,分别比M TH、 CDH和M JHM高6. 80% 、 5. 38%和6. 50% .而且如图3( b) 、 ( c)所示,给出了10类图像的查准率和查全率.从实验结果可以看出,本文方法在大多数图像类中
22、都有好的检索效果.在Corel- 10K图像库中的检索效果如图4( a)所示,可以看出SLBPSCD前10幅图像的查准率达到48. 29% ,明显高于其他3种描述子的检索性能,分别比M TH、 CDH和M JHM高13. 37% 、 4. 00%和10. 69% .如图4( b) 、 ( c)所示,给出了100类图像的查准率和查全率.从实验结果可以看出,本文提出的SLBPSCD同样好于其他3种描述子.表1 Corel- 1K图像库中SLBPSCD在不同相似性度量下的检索结果Tab. 1 Retrieval results of SLBPSCD with different similarity
23、 measures for Corel- 1K image database距离度量查准率/ %查全率/ %10 20 30 40 50 10 20 30 40 50L1距离75. 87 69. 51 65. 21 62. 03 59. 24 7. 59 13. 90 19. 56 24. 81 29. 62L2距离74. 64 68. 31 64. 27 61. 11 58. 39 7. 46 13. 66 19. 28 24. 44 29. 20加权L1距离74. 75 68. 17 63. 92 60. 56 57. 77 7. 48 13. 63 19. 18 24. 23 28. 8
24、8chi- square距离71. 92 65. 04 61. 14 57. 62 54. 81 7. 19 13. 01 18. 34 23. 05 27. 41Canberra距离68. 07 61. 15 56. 86 53. 74 51. 13 6. 81 12. 23 17. 06 21. 50 25. 57535 第5期 李莉等:基于半圆形局部二值模式结构相关性描述子的图像检索( a)查全率和查准率( b)查准率和类别数( c)查全率和类别数图3 Corel- 1K图像库上的检索性能比较Fig. 3 The retrieval performance comparison forC
25、orel- 1K image database为了进一步验证所提描述子的有效性,表2给出了与文献 16- 18提出方法的检索结果比较.图5给出了花类和马类图像的检索结果,分别随机选取待检索图像No. 603和No. 720.图像库中No. 600 699和No. 700 799的图像分别与待检索图像属于同一类图像.由图5( a)可以看出,使用本文提出的描述子检索出的图像有非常相似的纹理特征.由图5( b)可以看出,利用本文提出的描述子检索出的所有图像与待检索图像有相似的颜色和纹理特征以及场景内容.此外,表3列出了与文献 4, 8, 18提出方法的检索结果比较,证明了本文方法具有更优的性能.(
26、a)查全率和查准率( b)查准率和类别数( c)查全率和类别数图4 Corel- 10K图像库上的检索性能比较Fig. 4 The retrieval performance comparison forCorel- 10K image database表2 Corel- 1K图像库中输出20幅图像的不同检索方法结果比较Tab. 2 Results comparison of different retrievalmethods with 20 images on Corel- 1K imagedatabase方法查准率/ %查全率/ %文献 16文献 17文献 18SLBPSCD58. 20
27、57. 8567. 9669. 5111. 6411. 5713. 5913. 90635大连理工大学学报第56卷 ( a)花类( b)马类图5 检索结果Fig. 5 Retrieval results表3 Corel- 10K图像库中输出12幅图像的不同检索方法结果比较Tab. 3 Results comparison of different retrievalmethods with 12 images on Corel- 10K imagedatabase方法查准率/ %查全率/ %文献 8文献 4文献 18SLBPSCD35. 8440. 9441. 2545. 754. 304.
28、924. 955. 494 结 语本文提出了一种新的半圆形局部二值模式结构相关性描述子( SLBPSCD) .首先,定义了半圆形局部二值模式结构基元,这种基元结构避免了相邻像素点的重复比较.其次,检测颜色图像中的结构基元.最后,对这些结构基元进行特征统计,同时利用了结构基元的对比度和空间位置关系.这种统计策略不仅兼顾了对比度和空间分布这两种相对独立又相互补充的信息,而且考虑到了颜色差分和基元结构在局部邻域和全局区域中的分布特性.另外,由于HSV颜色空间非常接近人眼对视觉感知的理解,本文选择在HSV颜色空间中非等距量化来提取颜色信息.而非等距量化相比直接的等距量化更能凸显出颜色本身的特性.在Co
29、rel图像库上的图像检索实验验证了本文方法的有效性.参考文献: 1 Datta R, LI Jia, W ang J Z. Content- based imageretrieval - Approaches and trends of the newage C / / M IR 2005- Proceedings of the 7th ACMSIGM M International W orkshop on M ultimediaInformation Retrieval, Co- located with ACMM ultimedia 2005. New York: ACM , 2005:
30、 253- 262. 2 Swain M J, Ballard D H. Color indexing J .International Journal of Computer Vision, 1991,7( 1) : 11- 32. 3 Stricker M A, Orengo M . Similarity of colorimages J . Proceedings of SPIE- The InternationalSociety for Optical Engineering, 1995, 2420: 381- 392. 4 HUANG Jing, Kumar S R, M itra
31、M , et al . Imageindexing using color correlograms J . Proceedingsof the IEEE Computer Society Conference on ComputerVision and Pattern Recognition, 1997: 762- 768. 5 Pass G, Zabih R, M iller J. Comparing images usingcolor coherence vectors C / / Proceedings of the735 第5期 李莉等:基于半圆形局部二值模式结构相关性描述子的图像检
32、索ACM International M ultimedia Conference &Exhibition. New York: ACM , 1996: 65- 73. 6 M anjunath B S, M a W Y. Texture features forbrowsing and retrieval of image data J . IEEETransactions on Pattern Analysis and M achineIntelligence, 1996, 18( 8) : 837- 842. 7 Haralick R M , Shanmugam K, Dinstein
33、I. Texturalfeatures for image classification J . IEEETransactions on Systems, M an, and Cybernetics,1973, smc3( 6) : 610- 621. 8 Ojala T, Pietik inen M , M enp T.M ultiresolution gray- scale and rotation invarianttexture classification with local binary patterns J .IEEE Transactions on Pattern Analy
34、sis and M achineIntelligence, 2002, 24( 7) : 971- 987. 9 Dubey R S, Choubey R, Bhattacharjee J. M ultifeature content based image retrieval J .International Journal on Computer Science &Engineering, 2010, 2( 6) : 2145- 2149. 10 LIU Guang- hai, ZHANG Lei, HOU Ying- kun, et al.Image retrieval based on
35、 multi- texton histogram J .Pattern Recognition, 2010, 43( 7) : 2380- 2389. 11 LIU Guang- hai, YANG Jing- yu. Content- basedimage retrieval using color difference histogram J .Pattern Recognition, 2013, 46( 1) : 188- 198. 12 Vipparthi S K, Nagar S K. M ulti- joint histogrambased modelling for image
36、indexing and retrieval J .Computers and Electrical Engineering, 2014, 40( 8) :163- 173. 13 Sural S, Qian G, Pramanik S. Segmentation andhistogram generation using the HSV color space forimage retrieval C / / IEEE InternationalConference on Image Processing. Piscataway: IEEEComputer Society, 2002: 58
37、9- 592. 14 Julesz B. Textons, the elements of textureperception, and their interactions J . Nature,1981, 290( 5802) : 91- 97. 15 Besiris D, Zigouris E. Dictionary- based color imageretrieval using multiset theory J . Journal of VisualCommunication and Image Representation, 2013,24( 7) : 1155- 1167.
38、16 Jalab H A. Image retrieval system based on colorlayout descriptor and Gabor filters C / / 2011IEEE Conference on Open Systems, ICOS 2011.Piscataway: IEEE Computer Society, 2011: 32- 36. 17 Babenko A, Slesarev A, Chigorin A, et al . Neuralcodes for image retrieval C / / Computer Vision,ECCV 2014-
39、13th European Conference, Proceedings.Zurich: Springer Verlag, 2014: 584- 599. 18 W engert C, Douze M , J gou H. Bag- of- colors forimproved image search C / / M M 11- Proceedingsof the 2011 ACM M ultimedia Conference andCo- located W orkshops. New York: ACM , 2011:1437- 1440.Image retrieval based o
40、n semicircle local binarypatterns structure correlation descriptorLI Li1 , FENG Lin* 1, 2 , W U Jun2 , LIU Sheng- lan3( 1 . School of Computer Science and Technology, Faculty of Electronic Information and Electrical Engineering,Dalian University of Technology, Dalian 1 16024, China;2. School of Inno
41、vation and Entrepreneurship, Dalian University of Technology, Dalian 1 16024, China;3. School of Control Science and Engineering, Faculty of Electronic Information and Electrical Engineering,Dalian University of Technology, Dalian 1 16024, China )Abstract: To solve the problem that conventional text
42、on methods do not describe the similarityinformation among the surrounding neighbors for a given center pixel in different color quantizationlevels, a feature descriptor, called semicircle local binary patterns structure correlation descriptor( SLBPSCD) is proposed, which is applied for image retrie
43、val. Firstly, a novel semicircle local binarypatterns structure texton is defined. Secondly, the structure textons are detected in different colorquantization levels. Finally, the spatial distribution and contrast features of new structure texton areextracted. The proposed descriptor gets much more
44、discriminative structure than conventional texton-based methods by taking more structure texton into consideration. Experimental results for differentimage databases verify the effectiveness of the proposed method.Key words: local binary patterns; texton frequency feature; color difference feature; image retrieval835大连理工大学学报第56卷