《若干关于图像与视频的编辑与合成技术研究.pdf》由会员分享，可在线阅读，更多相关《若干关于图像与视频的编辑与合成技术研究.pdf（128页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、上海交通大学博士学位论文若干关于图像与视频的编辑与合成技术的研究姓名：刘海申请学位级别：博士专业：指导教师：马利庄201011摘要随着数字技术的发展，数字图像与视频在工业自动化、影视后期制作等领域，逐渐得到了广泛的应用。图像和视频的编辑与合成是图像和视频处理的一项重要技术，而传统的图像和视频的编辑与合成方法是相互之间彼此独立的处理过程，且需要人工利用多种设备进行大量的繁复操作。近年来，抠图(m a t t i n g)、颜色转移和匹配以及前景消除等图像和视频的编辑与合成技术得到了广泛的研究和应用，并在多种应用中取得了一定良好的效果，但这些方法只是提供了初步的解决思路，仍然无法普遍适应地处理具有
2、各种特征的图像和视频。传统的图像和视频编辑工作主要目的是由用户从大量的图像和视频片断中寻找合适的部分进行手工裁剪和拼接的直接操作。虽然近年提出的抠图(m a t t i n g)技术可以精细地处理每帧图像的内容，并可以描述后续的合成过程，但这种方法需要采用某些额外的处理来粗略确定源图像中的前景区域或背景区域，以构造下一步合成工作的材料；而传统的颜色匹配过程则完全需要经验丰富的美术师来手工对每一幅图像或视频中的帧进行色调、亮度等参数的调整，尽管基于数字设备的颜色匹配处理可以完成整体性的色调拟合，但只能针对包含单一场景的图像进行处理；传统的前景消除是电影后期处理中的一个重要手段，主要由美术师手工来
3、逐帧完成，尽管一些技术可以针对特定的前景进行半自动的移除处理，但是有受前景特征影响的局限性。因此，作为当前研究的热点，图像与视频的抠图、颜色匹配、前景移除等技术仍然需要进一步的改进和提高，其处理的效率和效果对图像和视频编辑与融合在各领域的应用有十分重要的意义。本文面向影视后期制作和家庭视频娱乐等应用领域，对图像和视频的抠图(m a t t i n g)、颜色转移和匹配以及前景消除等技术在特定领域的应用展开研究，试图减少用户的交互操作量，同时保证高质量的图像和视频编辑和生成效果。为此，本文进行研究和探索的方面包括：一、降雨和降雪环境下视频的雨雪前景移除；二、研究便捷的抠图方式，探讨利用附加信息对
4、不连续区域的半透明前景对象进行抠图的方法；三、探索便捷的层次化结构的颜色匹配技术，使得用户可以方便地校正图像和视频局部区域的颜色属性。基于上述目标，本文主要的研究工作包括了如下的内容：一、提出了一种基于时间滤波器的视频中降雨和降雪前景移除的方法。通过分析降雨和降雪环境所具有的独特光学特征，可以发现视频中的雨雪总是具有显著超摘要i i过背景的亮度，同时，雨雪在空间中的分布具有广义静态的特性。基于这两个基本事实，我们提出了利用时间滤波器在时间轴上来寻找视频中非雨雪场景的互补信息的方法。这种方法关键在于设计对亮度敏感的时间滤波器形式以及时间滤波器所需的滤波周期长度，为了进一步保证时间滤波器的处理效果
5、，必要的滤波处理效果评价标准也是算法设计的一个部分。因此，时间滤波器形式、滤波周期确定方法、滤波效果评价标准是这一工作的三个组成部分，而这三个部分也构成了视频中雨雪移除处理过程的三个步骤。二、提出了一种基于附加信息的抠图(i n f o r m e dm a t t i n g)方法。现有的抠图方法很少考虑视频中不连续区域的处理，基于降雪视频环境的光学特征，我们提出了一种利用额外背景信息进行降雪类半透明对象抠图处理的方法。降雪环境的视频可以获得移除雪花前景后的背景信息，这一附加信息可以提供降雪前景在视频中区别于背景的突出特征。我们通过在闭形式抠图算法中加入对背景信息的处理来获得对抠图过程的附加
6、约束，使得闭形式抠图方法简化了求解过程中的未知量。进一步地，利用视频中背景与前景的梯度差异来指导对雪花形成的不连续区域进行自动的三分图构造，从而实现了闭形式解抠图的方法在降雪视频中对雪花前景的抠图处理。三、提出了一种基于层次化结构的颜色匹配方法。现有的颜色匹配方法大多是对图像进行整体性的颜色分布测量，对场景组成复杂的图像之间的颜色匹配常会出现颜色扭曲的现象，而复杂场景图像的构成显然是由多个成分较单一的区域组成的，因而对复杂图像进行区域分解后再进行区域间颜色匹配是一个合理的处理方式。我们利用层次化分割对图像进行区域分割并形成具有层次化结构的树状结构，通过定义树状结构之间的构成形式，对颜色匹配图像
7、之间的区域特征相似性进行比较，以寻找目标图像与参考图像局部匹配的最佳区域。在此基础上，我们利用颜色概率分布转移的方法在图像的不同区域上进行局部颜色匹配以实现保持目标图像视觉特征的目的。关键词：时间滤波器，滤波周期，降雨和降雪视频，闭形式抠图，基于附加信息的抠图，颜色匹配，颜色概率分布函数，层次化分割，基于层次化结构的区域匹配A B S T R A C T、矾t hd e I v e l o p m e n to fd i 舀t a lt e c h I l i c s，d i 西t a li m a g e sa n dv i d e o sh a wb e e nw i d e l ya p
8、 p l i e dt oa u t o m a t i o na n df i l mi n d u s t r y 壮e a s E d i t i n ga n dc o m p o s i t i n go fi m a g ea n d 啊d e oa r ek e yt e c h n i c si nf i e l do fi m a g ea n dV i d e op r o c e s s i n g，b u tt r a d i t i o n a l la p p r o a c h e si n、r o l v ed i H b r e n tp r o c e d
9、l l r e sa n dh a、r et om a n u a l l yi m p l e m e n t 丽t hm a L l l ys p e c i a le q u i p m e n t s I nr e c e n ty e a r s，s o m et e c h n i c ss u c ha sm a t t i I l g，c o l o r 铲a 出n ga n df o r e 耵o u n dr e m 州n gh a v eb e e ns t u d i e di nd e p t ha n do b t a i n e ds o m ed e s i r
10、 e dr e s l l l t s，b u tt h e s e 印p r o a c h e sc a l l n o td e a lw i t ha ul【i n d so fi m a g e sa n d、，i d e o sa n do n l yp r o v i d e8 0 l ew a I y 8t op o s s i b l es o l u t i o n 8 T h et r a d i t i o n a la p p r o a c h e 8o fi m a g ea I I l d 讥d e oe d i 七i n gh a l v eb e e nd
11、o n eb yu s e r s8 e a r c h i I 培f o ra p p r o p r i a t ep a r t s0 fi m a g e sa n d 啊d e o s a n dm a n u a u yc u t t i I l ga n ds t i c：k i n gt h e 8 ep a n 8 A l t h o u g hm a t t i n ga p p r o a c hc a na c c u r a t e l yh a n d l el o c a la r e 嬲o fi m a g e sa n dd e s c r i b ec o
12、m p o s i t i n gp r o c e 鹃，t h e s ea p p r o a c h e sh a v et ou s es o m ep r e p r o c e 鼹f o rc o n 8 t r u c t i I 培t r i m a p；T h et r a d i t i o n 以c o l o rg r a d i n gh a st oa d j u s tt o n ea 1 1 dl i g h t n e S 8o fe v e 巧i m a g ea n d 行a I n eo fv i d e 0b ye X p e r i e n c e
13、d 唧e r t s A 1 t h o u 曲d i g i t a l 印p r o a c h e sc a nc o m p l e t ec o l o rg r a d i n gf o rs o l et a s k s，s o l ec o m p l e xs c e n e 8c a n n o tb e 印p r 伊p r i a t e l yt r e a t e d；T h et r a d i t i o n a lf o r e F o u n dr e m o 讥n gi s 札S 0b e e nm a I m a l l yd o n eb ye x p
14、e r t A l t h o u g hs o l et e c h m C 8c a ns e n 心a u t o m a t i c a l l yi m p l e m e n tr e m o v i n gf o r e-留o u n d 丘o ms p e c i a L li m a g e sa n d、，i d e o s，m a I l yl【i n d so fi m a g e sa 以dV i d e o sc a n n o tb ed e 砒w i t h S o，m a t t i I l g，c 0 1 0 rg r a d i n ga n df o r
15、 e 口o u n dr e m o v i n gt e c h n 洒h a et ob ei m p r o V e df b re m c i e n c ya n de f f e c t s T h i st h e s i sf o c u s e so nm a t t i n g，c o l o r 盯础n ga n df o r e 铲o u n dr e m o v i n gi nf i e l d so ff i l mi n d l l s t r)ra n d、，i d e oe n t e r t a i n m e n t，t r i e st or e l
16、i e v eu s e r 8 o p e r a t i o na n do b t a i nh i g hq u 拙yr e s u l t so fi m a g ea n d 订d e 0e d i t i n g T h ec 0 I l t e n to ft h i 8t h e 8 i 8i n c l u d e sr a i na n ds n o wr e m o v i n go fr a i l l i n ga I l ds n o w i n g 啊d e o s，m a t t i n go fs e m i t r a 璐p a r e n to b j
17、e c t si nd i s c r e t e 解e 舔b ye 吼r ai n f o r m a t i o n，c o l 酽a d i I l go fh i e r 甜6 h ys t r u c t u r e s T h ed e t a i l e dr e s e a I r c ht 盯g e t si nt h i st h e s i sa sf o l l 矾得：A na p p r oa _ hf o rr a i na n ds n a wr e m a、r i n gb 酗e do nt e m p o r a lf 1 1 t e r B a s e do
18、 nt h eo p t i c a lf e a t u r e so fs n o w i n ga I l l dr a i n i n gc o I l t e X ta I I l dW i d es e n s es t a t i o n a r yo fr a i n i n ga n ds n o w i n g，w ep r o p o s eat e m p o r a lf i l t e r i n ga p p r o a c hf o re x t r a c t i n gb a c I 哩；r o u n di n f o r m a t i o n 行o m
19、s n 佣，i n ga n dr a i l l i n gv i d e o s T h ea p p r o a c hf o c l l s e 8o nf o r mo ft e m p o r a lU lA B S T R A C Ti vf i l t e r，8 p a n【e t e r m i n a t i o no ff i l t e ra n de V a l u a 上i n g8 t a n d a r do f 丘1 t e r i n gr e s u l t s T h e s et l l r e ek e yp o i n t 8a r ei m p
20、 l e n l e n t e ds t e pb ys t e pt oc o m p l e t er a i na I n ds n o wr e m o、r i n gf r o mv j【e o s A n 印p r o a c hf o ri n f o r m e dm a t t i n g B a s e d0 nr e c a v e r e db a c k g r o u n di n f o r m a t i o n行o m8 n o w i n gV i d e 0，w ep r o p o s ea ni n f 0 聊e dm a t t i n ga p
21、p r o a c hf o r8 锄i t r 舢L s p 盯e n ts n 删l a k e si nv i d e o E x t r ab a c k g r o u n di n f o r m a t i o ni sa d d e d 七oc 1 0 s e df o r mm a t t i n gf o rc 0 1 1 s t r a i n i n gc o m p u t i n gp r o c e s 8，s 0 幽伽i m 8i ne q u a t i o n 8a r er e d u c e sa n ds o l u t i o ni sm o r e
22、p r e c i s e A d d i t i o n a l l y 酽a d i e n t0 ff o r e g r o u n di se v 赳u a t e da n du s e dt og u i d ec o n s t r u c t i o no ft r i m a p，s od i s c r e t ea r e a so fs n 伽m a k e si nf r a m e2 u r ea u t o m a t i c a l l ye x t r a c t e d A na p p r o a c ho fc o l o r 铲a 出n gu s i
23、 n gh i e r a r C l l i c a ls t r u c t u r e s B a s e do nh i e r a r d l l i c a L ls e g m e n t a t i o no fi m a g e 8，w eu s et r e es t r u c t u r e st od e s c r i b e 丘a m e si n 啊d e oa n dd e 6 n ea 啪yf o rC o m p 盯i n ga r e as i 1 i l a r i t yb e t a 唱e ti m a，g ea n dr 舒皂r e n c ei
24、 m a g e W i t hc 0 1 0 rP D Ft r a n s f e ra p p r o a c h，t h ec 0 1 0 r 铲a l d i n gp r o c e d u r ei si m p l e I n e n t e dt h r o u 曲m a t c h i n gs i m i l 盯i t yo fd i 虢r e n tl e v e l so fh i e r 盯c h i c a ls t r u c t u r ei ni m a g ep a i r，s ot h er e 8 u l t so fc o l o rF a d i
25、n gc a na v o i dc o l o rd i s t o r t i o no fo v e r a ui I n a g em a t c h i n g K e y w D r d s：T b m p o r a lf i l t e r，s p a no f6 l t e r，s n o w i n ga n dr a i n i n gV i d e o，c l o s e df o r mm a t t i n g，i n f o r m e dm a t t i n g，c o l o rg r a d i n g，c 0 1 0 rP D F，h i e r a r
26、 c h ys e g m e n t a t i o n，a r e am a t c h i n gb a s e d0 n1 1 i e r a r c h ys t r u c t u r e s插图1 1 影片合成画面及使用的素材2 02 1 降雨视频的中值与最小值滤波效果比较4 12 2 降雪视频的中值与最小值滤波效果比较4 22 3 降雨视频的广义静态场构造4 32 4 降雪视频的广义静态场构造4 42 5 降雨移除后的误差测量4 52 6 移除降雨的优化比较4 52 7 降雪移除后的误差测量4 62 8 移除降雪的优化比较4 62 9 移除雨和雪后的视频中单帧效果4 73 13
27、 23 33 43 54 14 24 34 4从降雪视频中获取的图像特征示例6 8通过梯度估计值获取的前景和背景的位置约束6 9本章算法计算得到的降雪遮片和提取的降雪。7 0输入数据演变对闭形式抠图处理降雪场景的影响7 1本章算法处理若干连续视频帧后的效果7 3颜色匹配中对应帧的层次化分割结构1 0 1一个层次化结构下的颜色匹配结果1 0 2连续帧的颜色匹配结果1 0 3另一个层次化结构下的颜色匹配结果1 0 4插图x第一章绪论图像和视频的编辑与合成是图像和视频处理的一项重要的技术。随着数字技术的发展，数字图像和视频在共业自动化、医疗诊断辅助、影视后期制作和家庭影音娱乐等领域，逐渐得到了广泛的
28、应用。传统的编辑工作主要目的是由用户从大量的视频片断中寻找合适的部分进行拼接而不涉及帧内容的直接操作，虽然近年提出的抠图(m a t t i n g)技术可以精细地处理每帧图像的内容，并可以描述后续的合成过程，但这种方法需要采用手工交互的方法粗略确定原始图像中的前景区域或背景区域，然后提取出a l p h a 通道来精确描述前景与背景的区别，以构造下一步合成工作的材料；传统的图像视频合成过程是在拥有所需的高动态图像材料的前提下，由用户判断并手工调整或修改材料的属性，然后将不同的图像材料对应合并以得到全新的图像或视频，即使抠图(m a t 乞i n g)技术也依然采取相同的处理过程。因此，剪切编
29、辑工作为融合生成提供所需的材料，在材料来源受限的情况下，剪切编辑工作的效率和效果对融合生成的过程和结果都产生巨大的影响。编辑与合成是数字图像和视频中的基本操作，编辑(E d i t i n g)是将任意形状的前景元素从图像或视频中抽取出来的过程；合成(C o m p o s i t i n g)是将已抽取出的前景合成到新的背景图像或视频中的过程。这些技术最初是为电影的后期制作而开发的。近几年来，随着数字图像和视频获取和制作设备的广泛应用，编辑与合成技术已经成为图像与视频特殊视觉效果制作和真实感图像生成上极为重要并且频繁使用的后处理手段。在影视制作、视频会议、虚拟现实、增强现实、的视觉震撼和身临
30、其境的感受。近几年来，高票房收入的电影制作中大量使用了这些技术，如“变形金刚”、“黑客帝国、“哈利波特”和“蜘蛛侠”等影片。由于图像和视频的编辑与合成技术的巨大应用潜力和重要的学术研究价值，这些技术和应用是当前计算机图形学、计算机视觉、图像与视频处理、机器学习等领域的一个极其活跃的研究热点，同时该技术涉及到了较多跨领域技术的交叉应用。图像和视频的编辑与合成技术包括了当前图像与视频处理中的若干个研究热点，这些热点大都是与计算机相关的理论与应用中多个分支的交叉与综合。计算机视觉中广泛应用的图像分割技术是图像和视频编辑的一个基础，而图像分割又涉及到了模式识别、机器学习等领域中的理论与算法。图像的合成
31、技术是当前在计算机图形学中受到极大关注的基于图像绘制技术的一个基础层次，为了实现具有真实感图像1绪论2的生成，又涉及到了光学物理模型的表示与恢复问题。1 1 研究背景影视后期是影视制作流程中的一个环节，是相对于前期拍摄阶段相对的概念。这个阶段的主要任务是将影视作品中的各种元素有机地结合起来，编辑与合成特效等工作都在此阶段完成。处理画面和创造特殊效果是在影视后期制作中广泛运用的两个方面，其中最常见的色调调整与画面合成就是两种典型的应用。从电影诞生之初，就开始了影视后期特效的发展和研究。图像的编辑与合成是摄影师很早就关注的一个问题。最早出现的图像编辑合成处理是摄影师0 s c a rR e j l
32、 a n d e r 于1 8 5 7 年进行的f 1 1，他首次利用多张摄影负片的叠加实现了图像的合成。随着电影工业的发展，图像和视频的编辑与合成技术得到了进一步的发展和完善。电影拍摄中经常需要将不同场景的图像合并成新的场景片段，由此促进了早期的双重曝光合成技术的出现。这种技术在首次拍摄时遮蔽胶片的一部分以保持未使用的状态，然后在重新拍摄中遮蔽使用过的部分，以达到合成不同拍摄内容到同一图像场景中的目的1 2】。随着电影制作技术的发展，在后期制作过程中的场景合成成为电影制作的一个重要方式。在这一过程中，通常是将视觉面积较小的前景对象修正视觉效果后叠加到复杂的背景画面上。因此，适于后期合成处理的
33、视频前景对象的获取成为一个关键的处理步骤。2 0 世纪6 0 年代中期开始，基于颜色差异法的光学抠图技术得到了广泛的应用。这种技术将需要合成的前景放在特定颜色的背景幕前拍摄，通过滤色技术以得到不受光源等背景条件影响的理想前景，随后再根据合成效果要求对前景图像进行颜色等属性的修正并与背景进行叠加以实现场景合成的目的。蓝屏(绿屏)前景抽取是这种技术的代表性方法，即使在当前最新的影视制作过程中，仍然得到了广泛的应用。虽然蓝屏抠图技术实现简便且易于控制，但其颜色的限制和蓝色外溢问题使得应用范围受到了局限。采用两个独立的胶卷同步对场景曝光的双胶卷技术可以避免上述问题。这一技术的实现方法是采用分束偏光镜，
34、将进入拍摄镜头的光线分别投射到具有不同滤镜的两个成像装置上，使得两个独立的胶卷具有不同光谱的同一场景图像。通常两个胶卷分别负责记录前景颜色信息和抠图信息。在背景无法控制的情况下，通常采用的抠图方法是由M a xF 1 出c h e r 于1 9 1 7 年发明的r o t 0 8 c o p e 技术。这一技术要求特效人员在专用设备上手工勾勒出关键帧上的前景目标轮廓，然后进行逐帧的插值，并进一步的手工修正以得到需要的前景图像。从2 0 世纪7 0 年代中期开始，随着计算机交互式图形系统的建立，计算机图形学得绪论3到了全面发展和广泛应用，并大量用于电影的后期制作过程。数字技术的高速发展提供了全新
35、的视觉表现手段，光学合成设备逐渐被计算机和专业软件所取代。早期的数字抠图与合成方法仅仅直接模拟了光学技术的处理过程，而最新的数字技术可以增加额外的控制手段来调整处理过程中各个元素之间的相互关系，从而得到更逼真的视觉效果2 1。尽管数字设备的应用极大改善了后期制作的方式和效果，但光学合成的技术和原理并没有改变，数字设备的设计与使用仍然基于光学技术的实现方法。数字设备的引入并没有使得后期合成的原理及过程产生本质上的变化，后期合成工作的过程可以用一个简单的实例说明。如图1 1 所示(见2 0 页)，拍摄于1 9 9 6 年的电影J 锄e sa n dt h eG i a n tP e a c h 中
36、的一帧合成画面所需的素材说明了合成制作的过程f 1 1。左上角是合成的最终效果，左中和左下是手绘的背景天空图片和计算机生成的海水波浪，右上和右中是蓝屏前拍摄的前景和提取用的遮片，右下是机械模型的拍摄效果。从这些图片可以清楚地看到后期合成的过程，即用蓝屏技术提取前景，用图像生成背景，用其它手段制作难以实拍的视觉效果，最后用合成设备将多个元素合成拍摄到一个场景中。此外，在现代电影制作中，导演经常基于表现手法的需要采用一些特殊的道具和设备进行拍摄以制作特殊的视觉效果，但这些拍摄方法通常需要对拍摄获取的图像和视频进行编辑与合成的处理以消除拍摄过程中产生的辅助设备的附加图像。例如在通常的武侠电影拍摄中，
37、“吊钢丝 成为一种通用的武打效果拍摄手段，但在后期制作中，利用视频编辑的方法去除影片中钢丝残影就成为一个基本的后期制作要求。在电影黑客帝国的拍摄中，导演甚至采用了更加复杂的万向支架作为演员移动的辅助设备，这就对后期处理的技术提出了更高的要求。1 2 研究现状上一节主要介绍了影视后期编辑与合成技术的历史演化和实用价值。在本节，我们主要讨论图像与视频的编辑与合成技术的研究现状以及相关的工作。1 2 1图像与视频的编辑合成数字合成技术是当代数字出版业与电影工业的核心技术，这一技术的发展是由电影制作业的技术人员和摄影师，计算机图形图像领域的研究人员以及其它行业的技术人员共同促进的。在现代电影制作中，多
38、个不同性质的摄影元素或拍摄镜头的合成已经成为常用的制作手段，从而合成技术也变得更加复杂而高效。通常各个可分离的视觉元素在不同的时间和地点下以最便捷的方式进行拍摄，这样可允许演员的表绪论4演可以在舞台上迅速被获取，而消耗时间的复杂背景或模型效果可以在后期的可控条件下按导演意图加入到最终影片中。在这一过程中，基于视觉元素的合成技术则提供了影片的基本生成质量和可用的单一影片，进一步的元素配置和编辑也是这一过程中需要考虑的问题 3】。从数字合成的数学理论基础的发展上看，M 盯cL e v o y 认为数字合成技术的发展有三个主要的阶段f 4 1：1 9 7 7 年，A l v yR A yS m i
39、t h 和E dC a t“l 首先创造了将局部透明的前景对象混合到不透明背景的合成方法。这种方法首次采用了取值在0(透明(t r 锄p a r e n t)和1(不透明(o p a q u e)之间的口图像来指示前景图像的透明程度 5】，并将乜图像作为彩色图像的一个单独通道从而提出了四通道图像的概念，即红、蓝、绿和a 通道。他们提出的这一方法被称做“数字抠像(出酉t a lm a t t i n g)一，可以被线性表示为如下公式：t=Q 向d 木q 鲥+(1 一Q，g d)木C；b(1 1)这里的C，d 和瓯，分别是前景图像和背景图像的不同颜色通道，Q，。d 是前景图像的d 值。1 9 8
40、0 年，B r u c eW 枷a c e 和M a r cL e v 哪发展出了一种递归的方法。这种方法可以利用Q 通道将两幅局部不透明的图像合成为一幅局部不透明的图像 6】，使得合成操作具有了更广泛的应用。这一过程可以如下表示：芝三芝曼磊：誓：木Q 呦珈砌2，c 伽t=(Q，g d 木d+(1 一Q 如d)水c 沁爿cQ 呦)Q 砌。这里C 例和C k。分别是前景图像和背景图像的不同颜色通道，Q，g d 和幻分别是前景图像和背景图像的Q 值。1 9 8 4 年，T h o m a sP o r t e r 和r I 0 mD u 嘣数字图像的合成过程进行归纳，引入了用数学语言描述合成操作的
41、合成代数并提出了成体系的合成操作所需要的1 2 个合成算子 7】。他们通过引入前景和背景图像与对应a 值的“预乘(p r 争m 1 1 l t i p l y i n g)处理将W 枷a u c e 和L e v o y 的计算方法简化为如下形式：，27 十，町鲥：丰：g(1 3)c 么=q 鲥+(1 一Q，9 d)牛、。这里=Q 口u t 木t，=Q，9 d 木q 鲥和9=a 6 幻幸G 幻分别是合成图像、前景图像和背景图像与相对应的值的预计算结果。这种预乘处理使得相同的操作不仅可以应用到表示颜色的R G B 通道，也可以应用到0：通道。后来的工作【8 9，1 0】证明了预乘对于许多的图像处
42、理运算，如滤波和降采样都是非常重要的。绪论5S m i t h 和C a t I n u l l 的公式(1 1)提供了合成两幅或多幅图像的方法，但在合成多幅图像时，合成过程必须按照多幅图像之间的深度关系顺序自底向上(从远到近的观察顺序)进行。而W a l l a c e 和L e、，o y 的递归公式(1 2)可以遵循结合律按任意顺序进行合成。例如，有A、B、C 三幅图像，其中A 是前景，C 是背景，用0 v e r 代表合成操作。那么按照公式(1 1)进行合成就表示为Ao v e r(B0 v e rC)，这个表达式的顺序不能改变。使用公式(1 2)进行合成，除了上述表达式外，还可以使用(
43、Ao v e rB)o v e rC 的顺序进行处理。在多幅图像合成的应用中，常有部分图像需要进行其它处理，这些处理通常是遵循分配律的一元运算，如旋转和缩放等操作。公式(1 2)的优势就在于此时可以将部分图像先进行合成处理，以减少一元运算的工作量。此外，在多幅连续图像(视频帧)的处理中，公式(1 2)可以减少恒定图像之间的合成工作量。如多幅没有运动的前景图像先做合成，然后与变化的背景图像合成，这样可减少逐帧处理的计算量。P o r t e r 和D u f f 的公式(1 3)则进一步提供了图像的四个通道同时处理的方法，方便了硬件上的加速处理设计。O p e n G L 软件包已经将四通道图像
44、的合成作为一个基本操作，并实现了P o r t e r 等提出的1 2 个算子f 1 1 1。无论在光学合成方法上，还是在数字合成方法上，图像与视频的合成方法理论都以上述三个公式为基础，具有相同的操作元素。一幅图像的合成过程需要有前景图像(f o r e g r o u n d)、背景图像(b a c k g r o u n d)、遮片(m a t t e)三个输入数据图像。由公式(1 1)至(1 3)可以明确图像合成操作包括三个步骤。首先用遮片对前景进行比例变换(s c a l e)，其次对背景用反转遮片(i I l v e r t e dm a t t e)进行比例变换，最后将进行过比例变
45、换的前景与背景进行叠加得到合成图像f 12 1。由此得到的合成图像仍然需要进一步的调整，主要在于前景与背景图像边缘的过渡需要有自然的效果。上述的图像合成方法不是混合(b l e n d)两幅图像的唯一方法。尽管公式(1 4)可以很好的处理纯质(s 0 1 i d)的前景与背景的合成问题，但是某些种类的合成目标，例如环境氛围、光照现象，需要其它的合成方法以得到更真实的视觉效果。例如其中一种比较常用的技术是筛滤(s c r e e n)操作，这种方法可以较为逼真的合成闪光、火焰等无遮蔽光源到新的背景上。最近，P 6 r e zP a t r i c k 和G a l l g I l e tM i
46、c h e l 等1 3 1 提出了利用泊松(P o i s s o n)方程插值求解进行图像合成的方法，这种方法不需要对前景进行精确的抠图处理，只需将包含前景图像的范围边界做为泊松方程的D i r i 龇e t 初始条件，以前景图像的梯度向量做为参考，即可将合成结果做为线性偏微分方程的结果进行求解。同时，这种方法还具有颜色调整的作用，可以作为一种颜色校正的方法来使用。但是这种方法对于D i r i d：1 l e t 边界条件十分敏感，在前景与背景边界条件相差较大的时候，会产生过度光滑的效果，导致边界模糊的现象。在此基础上，J i a 归J i a 和J i a nS u n 等 1 4 提
47、出了优绪论6化D i r i c l l l e t 边界条件的方法，他们采用动态规划的方法在前景的精确边界与用户提供的扩展区域边界之间的范围内寻找前景与背景最为相似的合成边界条件，以此来避免泊松方程求解造成的强色调渗透的问题。此外，他们还设计了以此方法为应用的简便的用户交互界面，将两幅数字图像的合成操作简化为用户直接对图像区域的鼠标选择和拖曳。H o n g d l e n gW a n g 和R 舢【瑚h 胁k a r 等【1 5 将泊松图像编辑方法扩展到了视频合成的应用上，利用一种优化的三维泊松方程求解算法加速视频合成中泊松方程求解过程并试图避免视频合成中产生的图像闪动问题。此外，前景与
48、背景的颜色匹配与光照效果的调整也是合成需要考虑的一个方面。通常合成所需的前景与背景是在不同的光照条件下拍摄的，直接合成后会在视觉上有明显的不一致，因此合成图像的颜色校正是非常重要的一个处理步骤。传统的电影工业中，这一过程需要后期制作人员逐帧进行手工的操作，需要制作人员同时具有绘画、雕刻等艺术素质，对光学物理知识的掌握和运用各种电影制作技术及工具的知识 1 2】。近年来，由于颜色转移与匹配，色调修正等技术在数字编辑技术中的广泛应用，这一方面的研究得到了较多的关注。一种简单的非线性颜色匹配的方法是对颜色向量的多个分量分别进行直方图匹配 1 6，1 7 ，但这种方法不能处理颜色过渡丰富的图像之间的匹
49、配。R e i n h a r d 和A s h i k h m j n 等1 8 1 提出了第一种广泛应用的颜色转移方法，这种方法通过在不同的颜色通道上匹配两幅图像像素的均值和方差来实现颜色校正。同时，他们指出R G B 彩色空间是高度相关的，并不适合于颜色匹配处理，提出用f p 彩色空间进行颜色处理以符合视觉的感知特征。基于主成份分析方法，A b a d p o u r 等f 1 9 1 提出了一个统一描述彩色图像之间颜色转移和黑白图像彩色化的一致性框架。但是上述方法的效果都依赖与两幅图像之间内容相似性，需要用户指定匹配块(p a t c h)来克服匹配过程中产生的粒度(g r a i n
50、)问题。P i t i 6 等 2 0 提出了一种保持源图像梯度场一致的后处理方法，这种方法使用简化的高维概率密度函数(P D F)转移技术来处理图像内容的变化。虽然这些方法能自动对两幅图像的颜色进行匹配，但当图像内容组成复杂，色调变化剧烈时，就会产生明显的瑕疵。最近，L i s c b j 璐k i 和跏b m a J l 等f 2 1 1 设计了一种交互方法来对图像的色调进行局部调整，这种方法关键在于根据用户的简单指定寻找色调变化保持一致的区域，但其并不是一种自动化的颜色匹配方案。由上面的简单介绍可以看出，图像和视频合成技术是个复杂的综合过程，涉及到了软件和硬件的联合应用，涉及到了新技术、