《一种基于改进surf的视频dna生成算法研究-徐杰.pdf》由会员分享，可在线阅读，更多相关《一种基于改进surf的视频dna生成算法研究-徐杰.pdf（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、48卷第2期 四川大学学报(工程科学版) v0148 No22016年3月 JOURNAL OF SICHUAN UNIVERSITY f ENGINEERING SCIENCE EDITION) Mar2016文章编号：1009-3087(2016)02-0145-06 DOI：1015961jjsuese201602021一种基于改进SURF的视频DNA生成算法研究徐杰，何庆强，许 涛，李乾坤，田兴发，孙 健(电子科技大学光纤传感与通信教育部重点实验室通信与信息工程学院，四川成都61 1731)摘要：为有效提高视频内容管理的准确性和高效性，借鉴生物信息学的方法，提出一种将降维改进的SURF
2、算法和尽籼算法相结合的视频DNA提取算法。该算法通过提取关键帧的SURF特征得到特征点集合，并对其进行K-means聚类构建视觉词袋模型，并将sURF特征通过视觉词袋模型量化为视觉词汇，并最终编码生成视频DNA。实验结果表明，采用改进的SURF算法生成的视频DNA具有良好的准确性和鲁棒性，并能在时间开销方面得到一定的提高。关键词：内容管理；特征提取；视频DNA；SURF算法中图分类号：711P7511 文献标志码：AStudy of a Video DNA Extraction Algorithm Based on Improved SURFXU胁，HE Qingqiang，XU Tao，LI
3、 Qiankun，TIAN Xingfa，SUN肋，l(Key Labof Optical Fiber Sensing and Communications(Ministry of Education)，School of Communication and InfoEng，Univof Electronic Sciand Techn01of China，Chengdu 61 173 1，China)Abstract：In order to improve the accuracy and efficiency of video content management，a combined me
4、thod of improved SURF and K-means was proposed to extract the DNA of video，which referenced the bioinformatics to identify and analysis videosBy extracting SURFfeatures on video key frames，a feature set WaS formedThen，the feature set w船processed by K-means，and a model of bag of words W88builtFinally
5、SURF features were quantized visual vocabulary by the model of bag of words and encoded as video DNAThe experimen-tal results showed that the proposed algorithm of extraction of video DNA has hifgh accuracy and good robustness，and Can make improve-ment in terms of time costKey words：content manageme
6、nt；feature extraction；video DNA；SURF algorithm随着互联网技术的发展和网络传输速率的提升，人们日常获取信息的方式正发生着显著的变化。其中观看网络视频已成为中国网民上网的主要活动之一。然而，爆炸式增长的视频数量对于组织管理视频带来了极大的挑战。而传统的视频内容检测与视频版权监控主要依靠人工判断和数字水印技术，无法应对海量的视频数据的需求。因此，亟需一种准确而高效的方法实现视频检测与检索。近些年，基于图像内容的图像指纹提取技术已在国际学术领域中被广泛研究，并取得了优秀的成果，目前已有一些技术应用于基于内容的图像检索中2|。视频的基本元素为图像帧，借鉴图像
7、检索方法，可以将其应用到基于内容的视频检索中。文献3提出，在一个滑动窗口中，抽取视频帧的子序列帧，通过SVD(singular value decomposition)粗计算这组帧的基本向量，将这些粗表示映射为基本向量的子向量，再将上述结果的临时均值映射为伪随机基本向量，进而从中提取二进制指纹序列。在Esmaeili等41提出的基于内容的视频指纹中，根据视频构建一组特殊帧，基于这组帧的内容提取数字“签名”。当在视频库中检索一段视频时，所有视频的指纹序列预先提取并存储在数据库中，进而对视频的查找转变为对指纹的匹配。收稿日期：20150321基金项目：国家重点基础研究发展计划资助项目(加13cB3
8、29103；12cB3159晒)；国家自然科学基金资助项目(61201128；61271165；61301153)；四J省科技支撑计划项(2014G2IDl7；16ZCl353)；长江学者和创新团队发展计划项目；111引智计划项目(B14039)作者简介：徐杰(198l)，男，副教授，博士研究领域：视频指纹技术、网络与信息安全技术E-mail：xujuestc7educnhttp：jsueseSCUeduca万方数据146 四川大学学报(工程科学版) 第48卷然而，上述方法存在图像特征的鲁棒性较差、提取效率低等问题。随着图像局部特征的研究，人们可以获取图像的局部不变性特征，它们往往是代表图像中
9、结构最稳定的局部区域。通过对图像尺度不变性、仿射不变性以及局部不变性特征检测方法的深入研究，Lowe51提出了SIFT算法并在2004年完善了该特征配准算法，然而由Bay等1提出的SURF要比SIFT拥有更高的特征提取速度。在海量数据库中鉴定一个视频，或在不同的视频副本中搜索内容相似的部分，以及这些副本存在共同的母体等问题与基因研究领域DNA和蛋白质序列的匹配问题极为相似。受此启发，作者借用完善的生物信息学方法来分析视频之间的相似度，从而实现视频检测与检索J。提出一种视频DNA的提取方法，用“DNA序列”来唯一表示视频，从而实现视频的快速匹配与检索。所谓视频DNA，就是指提取视频内容内在的特征
10、信息，然后基于这些特征信息通过变换得到一个与视频唯一对应的数字序列，它不需要在视频内嵌入任何信息，保持了视频的完整性，且能唯一标志该视频。借鉴完善的生物信息学方法来分析视频之间的相似度，通过SURF可以提取视频的特征点集合，内容不相同的视频一般会得到不相同的特征点集合，而内容相似的视频会得到相近的特征点集合。利用此特点不但可以获取视频DNA所需要的特征信息，还可以类似于生物基因一样进行视频的追踪溯源。因此，提出一种在兼顾准确性和鲁棒性的同时能够满足一定实时性的视频DNA提取算法。1 SURF算法的降维改进具有鲁棒性的SURF特征作为生成视频DNA的基础，相较于其他图像特征如颜色直方图、Haar
11、特征等，能得到更好的准确性。考虑到视频DNA的提取效率，对高维的SURF特征进行了降维处理。11 SURF算法2006年Bay等M1提出SURF局部特征提取算法于，它借鉴了Lowe的思路。该算法的图像特征提取速度的提升，主要得益于积分图像和箱式滤波器的使用，在重复度、鲁棒性和独特性等方面超过或接近以往的同类算法。SURF提取图像的特征点一般可分为4步：1)积分图像建立；2)构建图像尺度空间；3)特征点检测；4)特征点方向计算以及特征矢量生成。12脚改进算法suRF算法在计算特征点的特征矢量时，首先以特征点为中心，选取它邻域内20s20s(s为特征点对应的尺度)大小的区域，并将该区域的主方向旋转
12、到经计算得到的特征点的主方向上，然后沿着特征点的主方向将20s20s的图像区域划分为44共16个子区域，每个子区域覆盖的范围是5s5s。SURF算法对每个子区域使用Haar小波模板进行响应值计算，将Haar小波在x方向上的响应值记为d。，Y方向上的响应值记为d，并且以特征点为中心，对d。和d，进行高斯加权计算。然后将每个子区域内所有在x方向和y方向的响应值求和，分别记为d。和dy并且统计每个子区域内d；和d，的绝对值之和，分别记为I d。I和l dy l，则每个子区域的特征矢量可以用式(1)表示，然后将16个子区域的特征矢量排列起来，便可生成64维的特征点的特征矢量。V。曲=(d，d，1 d，
13、I，I d，1)(1)为了提高特征信息提取效率，对原算法的改进之一是将原来均匀分布的矩形区域重新转变成直径为20s的圆形窗口，并将它划分为不等间隔的4个同心圆环，如图1所示。对于这4个同心圆环所覆盖的范围，分别求出它们在x方向和y方向上的Haar小波响应值d：和d，同样地，以特征点为中心，对d；和d，进行高斯加权计算。图1 改进描述子领域的划分示意图Fig1 Schematic of improved description of subareadivision在重新划分计算特征描述子窗口时，省去了原窗口4个角落的一些计算区域。为了使特征描述子依然有较好的性能，对原算法的另一改进之处是引入了H
14、aar-like特征集旧1中的对角特征。Haar特征是用于物体识别的一种数字图像特征，是计算机视觉领域一种常用的特征描述子。在原SURF的特征万方数据第2期 徐杰，等：一种基于改进SURF的视频DNA生成算法研究 147描述子的基础上加入对角线特征，并且将它的Haar响应值记作d：，则改进后SURF算法的特征描述子的数学表达式如式(2)所示。此时，将4个子区域的特征矢量排列起来，特征点的特征矢量便可由一个24维的向量来表示。=(或，J吱l，匆，l屯I，吐，l吃I)(2)改进的SURF算法不仅降低了特征点特征矢量的维度，从而弥补了Kmeans算法的不足，同时也简化了特征点方向的运算。对中心圆环的
15、特征矢量通过循环左移的方式，将最大值移动到矢量的第一位，并记下循环左移的次数rt。随后将剩余的圆环区域的特征矢量依次循环左移凡位，从而生成最终的特征点的特征矢量。13 改进的SURF算法的实验仿真及分析如果SURF描述子的维数减少，虽然算法的运算量会下降，但同时会带来特征点描述不准确的影响。实验表明。24维的SURF描述子能够较好地保持特征的鲁棒性，且有效降低算法的时间开销，故将SURF描述子维度设为24维。为验证改进的SURF算法在实现降维运算的同时，与原算法相比仍具有较好的鲁棒性和准确性，基予Matlab进行如下仿真实验。实验选用lena图像作为参考图像，图像原始大小为341341。将图像
16、按长宽同比例缩放，并对缩放后的图像进行逆时针旋转。旋转角度为loo。把处理后的图像作为待匹配图像，如图2所示。在图像匹配过程中，通过比值提纯法确定特征点之间是否匹配，并且设定最小欧氏距离和次小欧氏距离比的阈值占=06。图2原始SURF算法匹配效果Fig2 Matching effect of origInaI SURF algorithm实验结果表明：使用原SURF算法共找到91对匹配对，其中，错误的有1 l对，匹配正确率为879。使用改进SURF算法共找到84对匹配对，其中，错误的有13对，匹配的正确率为845。通常，特征矢量的长度越长，特征描述子的独特性就越好。从实验结果可以看出，改进的S
17、URF算法采用较短的特征描述子依然具有较高的匹配正确率。为了进一步验证改进算法的性能，选用6组图片，其中，每组图片都是由同一场景的不同视角的2幅图片所组成，如图3所示图3实验测试图片Fig3 Test images in experiment实验中，分别对图像进行尺度变化、亮度变化和高斯噪声变化，再进行算法的图像的匹配仿真实验与分析。实验结果如图4所示，图4(a)、(b)、(c)分别表示图像匹配平均值随尺度、亮度和高斯噪声的变化而变化的曲线。从图4中可以看出，改进SURF算法特征描述子的维度降到24维后，在面对图像尺度变化和亮度变化时，其性能与原始SURF算法的性能相差不大。在面对添加高斯噪声
18、时，图像的匹配率变化趋势与原算法一致。因此，实验结果表明，改进的SURF算法达到了降维目的，同时也拥有较好的鲁棒性和准确性。2视频DNA生成21视频特征提取在采用改进的SURF算法提取视频的特征之前，对视频做了一定的预处理，即固定视频的帧速率为24 fps，然后采用时间r内取一帧，步长为缸的方式选取候选视频关键帧一J。选择T=2 S，At=1s。这种选取的视频关键帧方式虽然会导致存在冗余的视频帧，但相较于基于镜头分割、基于帧间相似性等关键帧选取方法，本方法简化了繁琐的关键帧选取运算，有助于视频DNA生成效率的提高。同时，可以根据实际需要，选择合适的r和。万方数据148 四川大学学报(工程科学版
19、) 第48卷料嗣圜褂黼目僻岛目尺度(a)图像匹配平均值随尺度变化亮度b)图像旺配平均值随亮度变化高斯噪声(c)图像匹配、F均值随高斯噪声变化图4图像进行不同处理后的匹配率曲线Fig4 Image matching curves after different treatments对于候选视频关键帧，使用改进的SURF算法提取它们的特征点的特征矢量。在提取帧的特征矢量过程中，如果检测到的特征点个数小于阈值M(根据实际情况，可设置不同的M值)，则丢弃该候选关键帧，从而可以筛选掉一些内容表达不强的视频帧，同时也减少了特征提取的计算量。同时，为了使选取的特征点在视频帧中的位置相对均匀分布和便于指纹生成
20、，对检测到的特征点个数大于M的候选关键帧进行均分筛选特征点的处理。首先根据特征点检测时海森矩阵响应值的大小，将特征点进行排序并计算特征点两两之间的距=型【二坐 (3)，00， min冬nmin+；A：J 01， min+s凡min+2； (4)l 10， min+2A s nmin+33；011 min+3A S儿maxO9876543210OOOO00OOO098765432OOOOOO0OOO万方数据第2期 徐杰，等：一种基于改进SURF的视频DNA生成算法研究 149进制序列来表示，其中，L为视频关键帧的个数。由于每段视频都有自己独特的视觉词汇集合，因而生成的DNA序列也是唯一的。同时，
21、内容相似的视频拥有相近的视觉词汇集合，其生成的DNA也有较高的相似性。3 实验仿真与性能分析为了寻找合适的视觉词汇个数，选取多个值进行了多次实验分析。实验中选用总时长为80 min的视频片段集合，其中，每段视频长为60 S，且设置视频关键帧的特征矢量个数为200。通过查全率和查准率来分析提出的视频DNA算法的准确性以及确定合适的视觉词汇个数，仿真结果如图5所示。僻掣砌孬全率图5不同视觉词汇个数下的准确性仿真结果Fig5 Accuracy of the simulation results of differentvisual vocabulary number N从图5中查准率和查全率曲线可以
22、看出，当采用200个视觉词汇时算法的性能相对较好。由于视觉词汇数量的选取对算法的准确性有一定的影响，通常需要根据实际情况经过一些尝试去选择较为合适的值。因此，下面的仿真实验也同样采用200个视觉词汇。视频DNA算法不但要满足准确性，同时还应该有较好的鲁棒性，因此，通过调节视频的亮度、修改画面的大小、在视频画面中添加字幕和高斯模糊化画面来分析算法的抗攻击性能。由图6(a)、(b)、(C)所示，提出的视频DNA生成算法对尺度变化、亮度变化具有较好的鲁棒性。对高斯噪声攻击和添加字幕攻击的鲁棒性相对弱于前2种攻击。这是由于高斯噪声的添加使得视频的画面变得模糊，影响了特征点的提取；添加字幕的行为在特征点
23、提取时会提取到字幕周边新的特征点，这样提取到的视频特征点集合与原视频提取到的特征点集合相差较大，对聚类结果会有不小的影响，因此添加字幕攻击下算法鲁棒性相对于其他3种攻击来说较弱。硷企率a)亮度攻击F的鲁棒肚分析查令率b)l田j面尺度攻f的鲁棒性分析查全率(c)高斯攻击及字幕添加的鲁棒性分析图6各种常见攻击的鲁棒性实验结果Fig6 Robust results of a variety of common attacks视频DNA的准确性和鲁棒性是评价算法性能的2个重要指标，不过现在对视频DNA提取的实时性的要求越来越高。为了验证提出算法的实时性，挑选长度不同的视频片段做仿真实验。其中，设定视频
24、片段的视觉词汇数为200，根据视频的长度动态调整r和的值。DNA提取时间如表1所示。万方数据150 四川大学学报(工程科学版) 第48卷表1不同时长的视频DNA提取时间Tab1 Video DNA extraction time of different video lengths提取视频DNA过程中，采用简单的选取视频关键帧的方式，导致计算了一定量的冗余视频帧。从表1中可以看出，视觉词汇生成时间少于特征点提取过程耗时，一方面，冗余的视频帧增加了算法提取视频帧特征的时间，另一方面，使用改进的SURF算法生成维度较低的特征点的特征矢量也使聚类时间大幅度缩减，提出的算法在实时性方面有一定的提高。4
25、结论采用SURF算法对视频内容进行特征点提取，考虑生成的结果具有高维特性，需要较大的时间及内存开销，因此首先对SURF算法进行改进使数据降维，并通过实验验证了其准确性与鲁棒性。然后。使用K-means聚类及词袋模型得到视觉词频统计，并对视觉词频计结果进行量化得到1组二进制序列，即为视频DNA。经实验仿真分析，采用200个视觉词汇，得到的视频DNA对原视频唯一标志，且具有良好的鲁棒性以及较高的准确性，并具备较高的计算效率。通过本研究可知，采用合适的关键帧选取方法减少冗余帧，以平衡视频DNA的准确性和提取效率是今后的一个改进方向。综上所述，提出的视频DNA生成算法，可用于海量视频库的便捷管理与监控
26、，也可用于基于内容的快速搜索等，研究成果具有较好的理论意义和应用价值。参考文献：1Wu Hongtao，Zhang LiheThe analysis of video water-marking technology developmentJTelevision technologY，2003(8)：7072伍宏涛，张立和视频水印技术发展分析J电视技术，2003(8)：70722Wang DayongStudy onperceptual video fingerprint algo-rithmDShanghai：Shanghai Jiao Tong University，2012：3783王大
27、永感知视频指纹算法研究D上海：上海交通大学，2012：37833Radhakrishnan R，Bauer CRobust video fingerprintsbased on subspace embeddingCProceedings of 2008IEEE International Conference on Acoustics，Speech，andSignal ProcessingLas Vegas：IEEE，2008：224522484Esmaeili M M，Fatoureehi M，Ward R KA robust andfast video copy detection sy
28、stem using content-based fin-gerprintingJIEEE Transactions on Information Foren-sics and Security，2011，6(1)：2132265Lowe D GObject recognition from local scale-invariantfeaturesCThe Proceedings of the Seventh IEEE In-ternational Conference on Computer VisionKerkyra：IEEE，1999：115011576Bay H，Ess A，Tuyt
29、elaars T，et a1SURF：Speeded up ro-bust featuresJComputer Vision and Image Under-standing，2008，110(3)：3463597Bronstein A M，Bronstein M M，Kimmel RThe video genomeDBOL(20100327)20150321http：arxivorgabs100353208Hoang V D，Vavilin A，Hyun J KFast human detectionbased on parallelogram haarlike featuresCProce
30、edings of IEEE Conference on Industrial ElectronicsMontreal：IEEE，2012，2(1)：422042259Huo Yi，Zhang Pengzhou，Wang YanfengAdaptive thresh-old video shot boundary detection algorithm based onprogressive bisection sategyJJournal of InformationCompumtinal Science，2014，11(2)：39140310Sivic J，Zisserman AVideo
31、 google：A text retrieval ap-proaeh to object matching in videosCProceedings ofNinth IEEE Intemational Conference on Computer Vision，2003Nice：IEEE，2003：1470147711Jian H，bu W XAn experimental study on the umver-sality of visual vocabulariesJJournal of Visual Communication and Image Representation，2013，24(7)：1024121112u T，Hua X SContextual bag of words for visuaI categorizationJIEEE Transaction on Circuits and Systemsfor Video Technology，2011，21(4)：381392(编辑杨蓓)万方数据