《基于深度图的虚拟视图合成技术综述.docx》由会员分享，可在线阅读，更多相关《基于深度图的虚拟视图合成技术综述.docx（10页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、基于深度图的虚拟视图合成技术综述中国传动网导语：虚拟视图合成技术是计算机视觉领域的一个重要研究方向，空洞填补是基于深度图的虚拟视图合成中的最关键问题，本文综述了空洞填补的主要方法并评述比拟它们的性能。引言虚拟视图合成技术是从现有的图像或者视频，生成本来不存在的图像或者视频，是计算机视觉领域的一个重要研究课题，广泛应用于2D到3D视频转化，自由视角电视，虚拟现实技术，3D视频编解码。而基于深度图的虚拟视图合成depth-image-basedrendering，DIBR是虚拟视图合成最常用的方法，该技术通过现有的2D图像/视频和对应的深度图把原始视角视频映射到虚拟视角上，形成虚拟图像/视频。早在
2、2002年，ATTEST提出了把3D视频别离成2D视频和深度图传输，在用户端播放3D视频时再通过DIBR合成两路或者多路的视频。德国费劳恩霍夫通讯技术研究所HHI细化了DIBR算法以获取更高的立体视频质量。俄罗斯莫斯科国立大学在虚拟视图合成的研究已有10年，其成立的公司YUVsoft已有成熟的2D转3D、立体转多视角视频、立体视频增强的产品。日本的名古屋大学谷本研究室NagoyaUniversityTanimotoLaboratory除了介入开发虚拟视频合成软件ViewSynthesisReferenceSoftware，VSRS，还提供有效的深度图估计算法，并公开了其拍摄和制作的多视点视频数
3、据集，为学术界和工业界研究提供了参照根底。1空洞产生原理与填补难点在基于深度图的虚拟视图合成技术中，原始视图的像素通过深度值和原始摄像机参数反向投影到世界坐标，然后再通过虚拟摄像机参数把世界坐标投影变换到虚拟视图的像平面，即3D扭曲3Dwarping。在合成经过中，在原始视点中，有局部背景被前景遮挡着，而到了新的虚拟视点时，被前景遮挡的局部背景会暴露出来，这局部内容是无法知晓的，进而产生空洞区域；另外，由于原始摄像机拍摄范围有限，新视点的局部边界区域无法在原始视点找到对应的映射区域，在经过3D扭曲变化后，虚拟视点局部边界也会存在较大的空洞。消除这些空洞区域是虚拟视点合成的一个重要步骤。图1产生
4、空洞的实例图1展示了实际场景中产生空洞的例子，在“Ballet序列中，把原始视点的2D图像和对应的深度图通过3D扭曲映射到了虚拟视点位置，由于前景芭蕾舞者和男士离摄像头更近，他们把局部背景给遮挡了，这局部被遮挡的背景暴露在虚拟视点下，形成空洞区域白色区域。另外，由于虚拟视点位置更加偏左边，导致虚拟视点的左边边界处存在较大的空洞。空洞问题是虚拟视图合成中最难解决的问题，原因如下：1空洞区域所占面积比拟大空洞面积大小是由虚拟视图与原始视图之间的偏离程度决定的，它们的之间的间隔越大，空洞面积越大，间隔越小，空洞面积越小。通常情况下，即使它们的间隔很小，非闭塞区域的空洞程度宽度也在10个像素以上。由于
5、这些空洞较大，无法使用简单的线性插值之类的方法填补。2空洞里的真实内容难以获取对于单帧图像，空洞里的内容无法知晓，只能通过空洞四周的像素信息预测空洞局部的内容，预测出来的不一定是真实的，十分是对于大的空洞，太多信息的缺失导致真实恢复空洞内容变得特别困难。对于无法恢复真实值的区域，怎样保证修复得到的结果看起来“公道，也是一个关键难点。3前景目的的干扰根据空洞产生的原理，空洞需要使用背景内容来填补。填补经过中怎样很好地区分前景与背景本身就是一个难题，假如没有把前景目的排除，填补出来的空洞通常会夹杂着前景物体的瑕疵。很多方法会采取一些措施加以限制，但仍然有局部区域，比方前景边沿处，会存在一些瑕疵。4
6、虚拟视图需保持连续性。人眼对于视频帧与帧之间的跳变特别敏感，太多的跳变会引起观看者不舒适，因此需要保持视频里空洞局部内容具有连续性，帧与帧之间空洞的内容应防止不一致、闪烁现象发生，保持帧与帧之间的内容一致是一个关键难点。2空洞填补方法研究现状虚拟视图非闭塞区域的填充可以分为2类，第一类是预处理深度图以减少非闭塞区域的产生，第二类是不预处理深度图，利用视频的时域或者空域间关联性获取填充信息，以填充非闭塞区域。2.1预处理深度图方法虚拟视图里产生空洞主要是由于深度图发生突变造成的，十分是前景和背景的交界处，深度值变化剧烈，导致空洞的产生。深度图的预处理方法通过低通滤波器把这些突变过滤掉，使得深度图
7、的变化变得平缓，减少了虚拟视图空洞。深度图的预处理经过可采用对称或者非对称高斯低通滤波。对称高斯低通滤波会产生严重失真，比方放大前景目的，即橡皮效应rubbersheeteffect。为理解决这一缺陷，可利用非对称高斯低通滤波对深度图的程度和垂直方向进展不同程度的平滑，程度方向比垂直方向平滑的程度更高。由于各向异性的性质，非对称高斯低通滤波在一定程度减少了空洞的产生。对称或者非对称高斯低通滤波可以在程度方向上平滑深度图边沿区域，但同时也会平滑非空洞区域，进而引起非空洞区域图像质量的下降。为了克制这个问题，边沿依靠高斯滤波器edge-dependentGaussianfilter只在程度方向上平
8、滑边沿，自适应边沿定向平滑滤波器adaptiveedge-orientedsmoothingfilter在预处理深度图时不平滑非空洞区域。深度图的预处理方法只能适用于摄像机之间基线较小的情况，很难应用于基线较大的情形，即无法填补较大的空洞。基于深度图平滑的方法，由于深度信息大局部被过滤掉，使得生成的虚拟视图的3D效果大大减少，合成的3D视图本来是想让人体验强烈的层次感的，平滑深度图违犯了原始意图；深度图的失真同样导致生成的虚拟视图产生失真，十分是前景目的变形了，垂直方向上的纹理错位了。2.2非预处理深度图方法另一类方法是不预处理深度图，利用视频时域或者空域间的关联性获取填充信息。根据所利用的关
9、联性种别，可分为三类：基于空域方法，基于时域方法，基于时空域方法。1基于空域方法该方法利用图像在帧内空域上的相关性，根据空洞四周的背景信息填补空洞。在空域上，视图混合方法可以利用多个视角信息填充大局部空洞区域。视图混合方法需要多份摄像收集设备和传输带宽，本钱较高，所以单个视角的应用得到更广泛的关注。分层视图合成方法通过下采样和上采样的方法逐步填补虚拟视图的空洞，这样产生的视图不会产生几何失真，但当空洞区域比拟大时会产生模糊效应。目前流行的不会产生模糊效应的空洞填补是基于图像修复的方法。Criminisi等人提出了利用图像修复imageinpainting和纹理合成相结合的方案，它首先计算空洞边
10、界像素的优先程度，然后从非空洞区域搜索匹配块，并把它填充到优先级最高的区域。直接使用图像修复方法可以有效的填充大的空洞，但填充的区域存在大量的前景瑕疵。为了减轻这个问题，很多图像修复提升方法利用深度信息把前景排除于填充经过。Daribo和Saito把深度信息参加到Criminisi算法的图像块优先级和间隔的计算经过中，方差低的图像块被赋予高的优先级，然后从深度值和颜色相似的区域选取最匹配的图像块。Gautier等人也拓展了Criminisi的算法，他们使用DiZenzo矩阵的构造张量定义数据项dataterm，也把深度信息参加到最优图像块的计算模型中。文献假设虚拟视图的深度图是提供的，这在实际
11、中是不公道的。Ahn和Kim，Kppel等人，Buyssens等人的方法同样使用深度图改良了填补的优先级和图像块的选择经过，而且这些方法不需要提供虚拟视图的深度图，而是在修复虚拟视图空洞的经过中，同步修复虚拟视图的深度图。2基于时域方法在时域上，由于前景的运动，当前帧被前景遮挡的区域可能会在其它帧会变得可见，因此可以利用背景建模的方法恢复被遮挡区域的背景。平均背景模型先从场景中分割出背景，然后动态更新形成稳定的背景，该方法只合适准静止背景的场景。时域背景模型使用深度值方差在参考视频前向和后向搜索未被遮挡的背景信息，中值滤波这局部信息形成参考背景，然而，适宜的背景信息受限于相邻时间段。文献先预测
12、非闭塞区域的深度值，然后采用深度值做门限分割前景和背景，并更新背景深度图和背景视频。在文献中，利用混合高斯背景建模方法产生背景视频，还参加前景深度关联修正混合高斯背景建模，以去除旋转的前景和静止的前景，但当深度图不准确时，FDC会前景瑕疵块引入到背景里。为了减少计算量并进步对场景的适应性，文献提出了在线的可切换高斯模型。文献提出的基于背景建模的框架，先挖出前面，然后再进展背景建模，并采用了运动估计，能防止前景纹理瑕疵且适用于运动的背景。3基于时空域方法Wexler等人的视频修复方法采用全局优化方法，使得填充的内容可以在时域和空域内都保持最正确连续性，可以填补视频序列中的大面积空洞区域。该方法由
13、于采用了时空域图像块在时域和空域内寻求最正确匹配，计算复杂度与时间和图像成比例增长，即使文中介绍了采用由粗到细的优化方法，但其运行时间仍然太高，无法适用于实际场景。PatchMatch方法能大大降低块匹配计算复杂度，得到近似的最正确结果。Newson等人把PatchMatch优化方法拓展到了时空域,进一步优化了视频修复性能和速度。Huang等人提出了合适于运动背景的视频修复方法。直接使用视频修复方法在填充空洞区域时会引入大量的前景瑕疵。Choi等人同时考虑了时域和空域的关联性，在本来只利用空域关联信息的Criminisi修复算法中参加时间维度，同时利用帧内、帧间关联信息填补空洞，使得帧与帧之间
14、更具连续性，减少了闪烁现象。Hsu等人，Kim等人相继提出了基于能量函数最优化的时空域空洞填补方法，也可以保证修复视频的时空域连续性。3各类方法评述空洞填补是虚拟视图合成需要解决的关键问题，理想的空洞填补需要知足以下特性：1反映真实值；2看起来自然直观；3保持时域的连续性；4处理速度快。对于基于深度图预处理的方法，由于深度图经过了平滑，使得生成的视图3D效果减少，也不适用于处理大面积空洞的场景。算法固然简单快速，但虚拟视图严重失真。图像修复的方法可以恢复未知区域的内容，可以用来填补大面积空洞，填补的结果不会引起模糊效应。但把图像修复的方法直接用于填补非闭塞区域，可能会收集前景内容来填充空洞区域
15、，导致“前景穿透现象。一些基于修复的提升方法利用非闭塞区域特性以更好的填补空洞，但这些方法的改良需要结合所采用的修复方法，对其它修复方法并不一定适用，不具有普遍性。而且修复所得到的内容固然看起来与四周的内容相似，但不一定是真实内容。基于背景建模方法可以恢复局部背景，却无法恢复视频中被静止前景遮挡的那局部背景或一些无法在原始视图中找到对应映射区域的边界局部；而且，传统的背景建模方法会把一些前景纹理带入到构建的背景中，或不合适摄像机运动的场景；文献所提出的基于背景建模的框架能防止前景纹理瑕疵，但未考虑帧与帧之间的连续性问题，存在闪烁现象。时空域填补法采用全局优化，可以选取最正确的时空图像块填补空洞，但每次最匹配时空图像块的选择都是遍历视频中所有帧图像，计算复杂度太高。综上所述，目前还没有理想的方法可以同时知足反映真实值，保持连续性和速度快这几点要求。