《CCA图像语义特征提取分析与研究报告 .docx》由会员分享，可在线阅读，更多相关《CCA图像语义特征提取分析与研究报告 .docx（12页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、精品名师归纳总结基于 CCA 的图像语义特点提取的分析与争论摘要：图像语义特点在图像比较，查找中具有很重要的作用。它供应了对图像特点精准的描述。图像语义特点的提取具有很多种方法。本文介绍了颜色直方图，边缘方向直方图， 边缘直方图，局部二值模式 对所提取的数据进行处理，使用处理后的数据来比较图像之间的相像度。并据此进行检索。取得了明显的改善。关键字： 图像语义，典型相关分析，直方图，相像度，检索Abstract：image semantic feature is very important in imagecontrast and image retrieval. It provides an
2、 accurate description for image feature.Many methods can be used to extract image semantic feature. This paper introduces five methods：color histogram edge direct histogram, edge histogram, local binary pattern,texture moment description .We compare the advantages and disadvantages of the five metho
3、ds. Make use of the advantages of every method to extract image feature. Then we process the data using canonical correlation analysis. At the end, we calculate thesimilarity between pictures with the processed data. Seek related images according to the similarity. We achieved significant improvemen
4、ts.Keywords:imagesemantic,canonicalcorrelation analysis,histogram,similarity,retrieval1引言随着运算机科学技术的进步，特殊是图像处理技术的进展，人类所获得的图像信息越来越多，对图像进行处理的要求也越来越猛烈。在这众多的图像中，为了获得我们所需要的图片。就要求我们供应好的图像检索技术。以便精确的搜寻出要找的图片信息。图像检索技术进展至今，形成了几种主要的检索技术，包括基于文本的图像检索，基于内容的图像检索和基于语义的图像检索。基于文本的图像检索需要手工对图片库进行语义标注，这就需要花费大量的人力，物力。同时标注
5、仍带有很强的主观性。基于内容的图像检索CBIR ） 1 就克服了基于文本检索的局限性。 CBIR 主要利用图像的纹理，颜色，形状，轮廓和对象的空间关系来对需要的图像进行检索。后来人们发觉，我们在检索中，需要的是图像的语义信息，而不是图像的颜色，纹理等信息。这样就形成了基于语义的图像检索。这样就是就是我们得检索尽可能的贴近大家对图像内容的懂得，从而可以依据用户自己对图像的懂得来进行图像检索。在进行图像语义的检索中，正确的提取图像的语义特点就显得特殊重要了。图像语义的提取过程就是把我们获得的图像的底层特点转化为高层语义的过程。这个过程特殊重要，大 家熟知的 “语义鸿沟 ”问题就是由于转化的不精确造
6、成的。比如用含有蓝天，白云做样图可能搜寻到大海，蓝色旗帜等颜色相像的图像。就是由于底层特点转化为高层语义时，没有 考虑到具体情形，转化不精确造成的。2图像语义特点提取可编辑资料 - - - 欢迎下载精品名师归纳总结对于给定的一幅图像，我们要提取的图像语义特点主要有两方面，一是全局语义特点，另一个是局部语义特点。我们可以利用图像分割技术提取分割后区域的特点，进而得到整体图像特点。本文提取的语义特点主要是全局特点。我们依据图像的颜色，纹理，形状来提取全局特点，使用得到的语义特点来检索需要的图像。依据底层特点，导出高层语义，通过相像性比较，在图片库中查找相关的图片。颜色特点是使用最多的图像语义特点之
7、一。由于我们使用的是彩色图像，因此颜色特点非常重要。提取图像的颜色特点最重要的是选择一个合适的颜色空间。我们使用的是基于HS V 的颜色空间， H: 颜色， S：饱和度， V ：值。纹理特点是另一种重要的图像语义特点，它不依靠与图像的颜色或者亮度，就可以反映图像的视觉特点。典型的纹理特点有粗糙度，对比度，方向性，规章性，线相像性，灰度共生矩阵等等。选择符合人的感知特性的纹理特点，可以有效的检索相关的图像。边缘特点是我们全部提取的目标特点与背景特点的分界线。边缘是一个区域与令一个区域的分界，边缘所分开的区域的内部特点或者图像属性与另一个区域是不一样的。正是基于此特性，我们才能使用边缘特点来检索图
8、像，识别图像。边缘特点对于边界区分明显的图像成效更好。形状特点是另一个重要的图像语义特点。它的实现必需以图像中物体或者区域的划分为基础。对于有些查询，同一物体，颜色特殊多，但是它的形状总是一样的，此时，形状特点就有很好的作用。假如我们要查询的图像是关于一些图形的，这个时候使用形状特点成效就更好了。以上四种特点时我们在提取图像语义特点经经常用的的几种特点。基于以上的几种图像特点，国内外的争论者提出了很多种的图像语义特点提取方法。有时为了取得更好的成效， 我们会综合这几个特点来提取图像的语义特点。本文要做的就是结合这几种特点的优点，来提取想要的好的图像语义特点向量，并将这些特点向量使用 CCA 9
9、10 方法进行处理后。在供应的图像库中检索与目标图像相关的图像。3.特点分析3.1 本文中用到的距离公式为了对图像语义特点集进行相像性度量。我们使用了三种常用的距离运算公式：假定两个点向量为 。下面给出三种距离的运算公式。3）直方图交叉选择距离3.1.3 ）3.2 颜色直方图图像的颜色空间有很多种表示方式，本文选用HSV 颜色空间，集色调H ，饱和度 S，亮度 V。由于我们获得的图像是在RGB 空间中的，所以第一要把图像颜色空间转换为HSV 空间。假如使用 HSV 颜色直方图来描述图像的整体颜色特点，所用到的特点向量就会特殊多，因此在运算之前，要对 HSV 空间进行量化。我们使用HSV 空间上
10、的 256级bin ）直方图，把 H均匀划分为 16级， S均匀划分为 4级，把 V 均匀量化为 4级。这样使用的颜色直方图级数为16*4*4=256 级。本文使用的是可伸缩颜色描述子2 。一般的 256bins直方条）中，每一条都要使用11bit 来表示。这样储备空间就特殊大。明显，假如用完可能少的比特来表示一幅图像，检索速度就会大大提高。这就是可伸缩颜色描述子。为了实现 “可伸缩长 ”颜色描述子。需要使用 HAAR 变换。在 HAAR 变换前，我们把直方图每个 bin的表示有 11bit 非均匀量化为 4bit 。HAAR 变换的主要作用就是削减描述颜色直方图的比特数。 HAAR 变换的基
11、本操作是和操作与差分操作。经过一次和操作，直方图的256b ins）数就会减半。迭代一次减半。HAAR 变换的高通 差分）系数包含了大部分的图像细节信息。下面给出 HAAR 函数的公式。3.2.1）HAAR 函数是定义在 0,1 区间的函数。其中p=1,2,.。 n=0,1,2 ， .HAAR 变换公式为：其中等式左边是变换矩阵序列。是阶哈尔矩阵，等式右边矩阵是时间序列。可编辑资料 - - - 欢迎下载精品名师归纳总结总的来说由直方图得到的过程步骤为：第一256级颜色直方图非线性量化，然后经过HAAR变换，变换后在进行线性量化，最终得到哈尔变换系数。通过这些系数来进行图像匹配， 就可以实现图像
12、检索。检索速度会大大提高。3.3 距描述距描述 13是形状的构图，它是图像形状的全局描述，它把图片的面积，紧凑度，不规章性，和高阶描述符综合在一起来描述图像的全局特点。图像分析中使用的大多数是统计矩，它是图像的全局区域描述。可以进行具有不变形的图像全局描述。函数的p， q阶矩，3.2.1 ）其中表示对应于位置的特点图像 I函数， p， q是参数。图像 I的质心的定义为 1阶矩与 0阶矩的比值。3.2.2）下面我们给出图像 I的中心距的运算公式，表示像素的大小，表示 p， q阶中心距，是图像 I的质心。3.2.3）中心距具有平移不变性，也就是说，它仅对位置变化保持不变，为了实现尺度和旋转不变性，
13、我们可以通过对中心距的正规化来实现。正规化后的中心距运算公式为：梯度方向：3.4.2其中表示图像 I中的 i行， j列的像素。是I1 中相应位置的像素值，是I2 中相应位置的像素值。T梯度幅值表示了图像区域的边缘锐度，梯度方向就说明图像区域的边缘方向。依据梯度幅值和梯度方向就可以得到边缘方向直方图。3.6 局部二值模式 LBP）局部二值模式 LBP ） 3 第一是用来做图像局部特点比较的，传统的LBP 方法，第一通过阈值来标记中心点像素与其邻域像素之间的差别。LBP 是人脸识别中经常使用的一种方法。最早的 LBP 算子是定义在 3*3 的邻域上的。它使用中心像素值来运算8的邻域像素。然后在乘以
14、领域的权值得到结果。下面我们给出一个例子：643752895Threshold 1001*0111Example/54+3+2/3 =6可编辑资料 - - - 欢迎下载精品名师归纳总结Weights124128*8643216我们使用二维分布 LBP 和局部对比测量 C作为该领域的特点。但是为了使得到的特点更有代表性。矩形领域的大小是可以转变的，可以使用4*4 或5*5 的领域。相比矩形领域，圆形对称领域的成效更好。下面的都是基于圆形对称领的。假设 P：圆形对称领域除了中心点的像素数目。R：圆形对称领域的半径。表示圆形对称领域的中心点像素值，表示圆形对称领域的其它点的像素值。我们使用统计来描述
15、图像特点。T表示 P+1级图像像素的联合分布。T：3.4.1）由于的值是的平均值，可以从得来，再假设与图像特点无关。全部 T可以改写为：3.4.2）再就描述的是整体特点，图像领域整体与无关，仅与有关。同时为了实现灰度级的不变性，我们考虑在T中使用符号函数 s。化简上式得到：3.4.3）最终为了得到 LBP 的值，我们把二进制权值赋给每一个得到 LBP ：分割，可以保持空间信息，区域的旋转不变性。为了实现LBP 算子的灰度级一样性和旋转不变性。我们新定义一个量U：3.4.5 ）依据 U值我们化简 LBP ：3.4.6）这就是我们得到的最终的LBP 的结果，与此同时，转变P， R的值我们可以获得更
16、好的LBP图像特点来用于图像比较。可编辑资料 - - - 欢迎下载精品名师归纳总结4典型相关分析典型相关分析又叫典型分析，是分析两组变量之间关系的一种方法，对于有联合分布关系的两组向量，我们要分析其中一组变量和另外一组变量之间的关系。争论者可能有两组很大的变量，但是它只想得到这两组变量中相关度最高的变量直接按的 关系这个时候使用典型相关分析CCA ）就是一种很好的方法。举个例子，有关人体的两组变量，一组是形状指标：身高，坐高，体重，胸围，肩宽，盆骨宽，另一组是机能指标：脉搏，收缩压，舒张压，肺活量。我们就可以使用CCA 来争论者两组变量之间的关系。下面给出具体分析。对于两组变量的线性组合：4.
17、1）其相关系数为4.2）我们第一要考虑的问题就是什么时候取得最大值。假设 X 是一组的数据， Y 是一组阶的数据。 Z=X,Y ）。中心化 Z,运算：4.3）这是 X 与Y 的协方差阵。下面我们给出连个基本定义。定义 1：令，对K 进行奇妙值分解得：4.4）其中是对应于的特点向量，是对应于的特点向量。 D是或的奇妙值组成的对角矩阵即：。假如我们令 的条件下可编辑资料 - - - 欢迎下载精品名师归纳总结4.6在条件下取得最大值。通过以上的分析我们给出CCA 的算法的步骤： 算法： CCA 求解算法。Input ：X ：一组的数据， Y ：一组阶的数据。Output：我们所要求的典型变量。Ste
18、p 1：我们第一将 X,Y 标准中心化， 给句公式 4.3运算 Z的协方差矩阵 S。Step2：运算 K,的值，假设 rank=rank=k ，求的,的非零特点向量，。以及非零特点值。Step 3：依据公式 4.5）运算 X ， Y 的第对典型向量，。Step4：依据运算 X， Y 的第 对典型变量，和 X ，Y 的典型相关系数， 从大到小排列如下，。得出X ，Y 的典型变量后，对于原先数据运算，我们就可以使用典型变量来代替就行了，本文中，我们原先直接使用颜色直方图，LBP 值等五种特点来度量图像之间的相像度。经过 CCA 处理后，我们可以直接使用经过CCA 处理后的特点来度量图像之间的相像度
19、。试验证明，使用 CCA 后成效比原先的是不用CCA 的成效要提高了很多。5试验结果我们从 coral5k图像库中选取 25类图像，每类 40张。供 1000 张图像来检索。每类随机抽取五副作为实例图像。每次验证查准率共完成25*5 次查询。1 ）我们第一比较三类距离的优缺点。如下图所示：使用平均查准率和平均查全率来衡量。图 1）从图中我们知道 histintersection距离明显优于其它两种运算距离的方法，取得了最好的成效。这也为我们下面的试验奠定了基础。可编辑资料 - - - 欢迎下载精品名师归纳总结2）下面我们来比较五种不同特点的平均查准率精确率。这五种描述图像的全局特点分别是颜色直
20、方图，边缘方向直方图，边缘直方图，局部二值模式lbp），纹理距描述。我们选用五类图片来做比较分别是horse类， car 类， tiger类， sun 类， flower类。得到的查准率如下图。图 2）分析上图我们可以看出，由于图像的彩色信息特殊明显，因此颜色直方图的到得成效最好。在每类中，精确性都高于其它的四种特点描述。同时，可以看出最终一种情形，使用纹理来进行查询的成效特殊差，远远低于其它的方法。分析该图，仍可以看出，除了car类这一特殊情形外，使用局部二值模式的成效比颜色直方图落差一点。虽然颜色直方图的成效好一点。我们可以看出五种情形的平均精确率并不高，成效最好的颜色直方图的精确率才为6
21、6.0000%，而最差的平均查准率才为11.5000% 。为明白决这种不利的情形，下面我们就提出解决这一问题的方法。3）总的来说，单独使用一种方法，取得的试验成效并不是很好。我们把这五种特点结合起来，利用不同方法各自的优点就可以取得好一点的成效，假如使用CCA 对得到的数据进行处理，得到的成效就好多了。这也是本文的重点，关键所在。我们在 horse类上验证颜色直方图，边缘方向直方图，边缘直方图，局部二值模式lbp），纹理距描述五种语义特点加CCA处理后的情形。如下图，我们分析知道：颜色直 方图与 lbp 进过 CCA处理后成效最明显。 Colorhist的查准率由 60%增加到 68.5% ，
22、提高了8.5% 。lbp 的查准率由 32.5% 增加到 45%，提高了 12.5% 。但是 edgedirection查准率基本上没有转变。 Edgehist与texture的成效也有了提高。然而它们的查准率并不高。图 3）4）基于前面的分析， histintersection距离效果比较好， 基于此距离运算公式我们进行分析。在1：颜色直方图 :2 ：边缘方向直方图，3 ：边缘直方图:4 ：局部二值模式lbp）， 5 ：纹理距描述五种方法中，由试验3）可知颜色直方图与lbp的语义成效最好，我们把这五种方法结合起来，来分析图像的语义特点。假设可编辑资料 - - - 欢迎下载精品名师归纳总结，其
23、中表示第 种语义特点描述方法，表示第种语义特点描述方法的加权系数。经过试验验证，我们知道，取得的成效最好。由于颜色直方图与lbp的语义效果比其它三种方法要好，故它们的系数较大，由试验2），试验 3）分析知：边缘直方图与纹理距描述的成效比较差，所以其加权系数设置的比较小。图4），图 5）给出了一次查询的成效，从图 4）中我们知道在显示的 16张图片中只查询出了 10张相关图片，但是假如我们使用 CCA 后，如图 5）我们查询出了 14张相关的图片，精确率有了很大的提高。图 4）图 5）图6 ），我们在 car， plane， horse， bear， sun五类图像中验证比较了使用五种方法综合的
24、成效，蓝色的表示没有使用CCA 的查准率，深红色的表示使用CCA 的查准率。分析知道，对于 car类的查询成效比较好，都达到了100% ，其它类，使用 CCA 的查准率比不使用CCA的成效要好的多。 plane， horse，bear， sun四类图像的差准了都提高了10%以上，使用 CCA后的 horse， bear， sun的查准率接近了 80%,plane类的精确性由 35%提高到了 61.25%图 6）试验说明，使用经过 CCA 处理后的图像语义特点来查询，比不使用CCA 的具有明显的改善和提高。可编辑资料 - - - 欢迎下载精品名师归纳总结6小结本文主要介绍了基于语义的图像语义特点
25、检索分析。提取了图像的颜色直方图，边缘方向直方图，边缘直方图，局部二值模式LBP ），纹理距描述等五种语义特点，比较了它们在进行检索是各自的优缺点。并使用它们的综合特点进行图像语义特点提取。然后使用典型相关分析 :262-2822 Junath B, Rainer J, Vinod V, et al. Color and Texture Descriptors. IEEE Transaction on circuits and systems for video technology,2001.116:2022-20453 Xu Xianchuan, Zhang Qi. Medical Ima
26、ge Retrieval Using Local Binary Patterns with Image Euclidean Distance. Information Engineering and Computer Science,2021.11.pp1-44 Shu Liao, Albert C.S.Chung. Texture Classification by Using Advanced Local Binary PatternsandSpatialDistributionofDominantPatterns.AcousticsSpeechandSignal Processing.2
27、007.10. pp:I-1221-12245 Eanes Torres Pereira, HermanMartinsGomes. IntegralLocalBinaryPatterns: a NovelApproach Suitable for Texture-Based ObjectDetection Tasks.Conference on Graphics, Patterns and Images. 2021.10. pp:201-2086 HaiXianwang,Member.Local Two-DimensionalCanonicalCorrelationAnalysis.IEEE
28、SIGNAL PROCESSING LETTER.2021.12. pp:924-9247 ISO/IEC JTC1/SC29/WG11/N5062: ”MPEG-7 requirements document ”S.Singapore,20018 Jeong S， won c S Gray R M Image Retrieval Using Color Histograms Generated by Gauss Mixture Vector Quantization Computer Vision and Image Understanding ， 2004， 941 23 ： 44 669
29、 张润楚。多元统计分析 M. 北京 :科学出版社 .200310 T.W.Anderson 著，张润楚，译 .多元统计分析导论。北京，人民邮电出版社。 202111 Canny J . A computational approach t o edge detection J .IEEETransactions on Pattern Analysis andMachine Intelligence, 1986, 8 6 : 6792-698 .12 Fang Yuchun , Tan Tieniu , Wang Yunhong. Fusion of Globaland Local Features for Face Verification C IEEE International Conference on Pat tern Recognition ICPR . s. l . : s.n. ,2002.13 MarkS.Nixon.Alberts.Aguado.FeatureExtractionandImage Processing.北京，电子工业出版社。 2021可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载