《全景影像后期工作流程及技术方案介绍.pdf》由会员分享，可在线阅读，更多相关《全景影像后期工作流程及技术方案介绍.pdf（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、全景影像后期工作流程及技术方案介绍 金晟【期刊名称】现代电影技术【年(卷),期】2016(000)011【总页数】7 页(P29-35)【作 者】金晟【作者单位】浙江传媒学院【正文语种】中 文 近年来,随着虚拟现实技术的兴起,其中一个重要的分支“全景”影像也随之成为热点。同时,“全景”影像的拍摄,由于高清摄影机小型化程度的提高而变得越来越经济方便。从去年到今年的一年间,各类全景摄影机也不断在全景设备市场涌现。如图 1 中来自 Nokia 的 OZO、三星的 ProjectBeyond、GoPro 的 Omni,还有Google 的 Jump 都是现在市场上热卖的全景摄影机或全景摄影架。这些全景
2、摄影机看似形态各异,实际上原理大同小异,即利用多个摄影机按照全景影像技术原理的方案组合在一起,并通过同步装置实现多摄影机同时开机拍摄,获得同一时间 360球体空间中所有的影像数据,再通过后期电脑技术将数个视频数据合并成为一个完整的 360视频。如果我们将 360空间的画面想象成为一个球的内部面,那么用指定镜头角度和数量的摄影机组即可使拍摄画面充满整个球面,这就是 360视频拍摄的原理基础。全景摄影机的发展使得全景视频的质量越来越高,渐渐脱离了小众的状态而走上普及的道路。越来越多的人开始拍摄全景视频,有名的如华人导演林诣彬的作品HELP(如图 2),这部 5 分钟耗资 500 万美元的大制作充分
3、体现了最高水准的全景影像,给人带来了无与伦比的沉浸式感官震撼。与此同时,更多的人也开始使用全景摄像机来记录自己的生活,如登山、潜水等冒险运动,以及现场直播等。Google、GoPro、Facebook 等大公司也利用自身的技术优势研究全景视频技术,纷纷推出了自己的全景视频摄影机和软件,希望在虚拟现实这个众人期待的影视技术增长点进行提前布局。随着全景视频技术的发展,观众对全景视频质量的要求也渐渐提高,原本非专业级的画面质量自然难以满足。专业度高如 HELP的制作有着让人望而却步的成本,故而越来越多的公司开始推出能够进行流程化制作全景视频的通用型软件工具。但市面上现有的一些全景视频拼接制作工具,其
4、准确性、专业性都不能制作出可以达到电影级质量要求的全景视频,而在全景视频市场越来越大的情况下,对专业级制作工具的需求日益高涨。作为一款在影视行业深耕多年的专业制作软件,NUKE 在数字合成等领域已经是业界翘楚(如图 3)。而在全景视频这一新兴的影视类型里,雄厚的技术实力也使得NUKE 鹤立鸡群,在专业度上脱颖而出。今年上半年 NUKE 研发了最新的名为CARAVR 的全景视频解决方案插件(如图 4),专门针对全景视频的多机位图像处理进行了相关的工具开发。在 NUKE 中进行全景视频制作有两大优势,一是能够稳定高效地完成拼接和优化工作,二是能够迅速延伸至影视制作的其他环节,如特效合成、抠像、摄像
5、机反求等。下面本文将对全景视频后期合成的整个工作流程进行介绍。拼接是全景视频制作的基础工作。影响全景视频拼接的要素有摄影机数量、镜头畸变程度、场景照度差别等等。与市面上其他全景制作软件类似,NUKE 在拼接上也是使用了特征点匹配的方法,而不同的是,NUKE 利用其在摄影机反求上的技术使得其在拼接精度上有了更高的水准。NUKE 在全景视频拼接上主要有三大工具模块,分为 CameraSolver(摄影机解算器)、Sticher(拼接器)和 ColorMatcher(色彩匹配器)。1.CameraSolver 摄影机解算器(如图 5)NUKE 利用其在计算机图形学上的技术积累,做出了强大解算工具。通
6、过分析每一个视频中图像相似的部分,计算出若干特征点,再通过特征点反向求出摄影机在物理空间中的排布方式,进而正确地将不同的视频放置到相对应的位置。图 6 为 CameraSolver 的设置画面,可以选择已有的摄影机预设从而快速地进行摄影机反求并定位图像,但就算没有预设也不妨碍使用,CameraSolver 强大的功能可以轻松解算出不同数量不同结构全景摄影机的空间位置。A.先设置好用于解算的关键帧,关键帧越多,计算越准确,耗时越久。B.然后,点击 Match,NUKE 将会开始寻找特征点。计算结束后,图例中黄色的部分即为特征点,而各个摄影机的图像因为还没有在画面中重新定位而重叠在一起。特征点重合
7、计算如图 7 所示。C.点击 Solve,这一过程即为 NUKE 通过前面 Match 匹配出的特征点来解算摄影机的空间位置的过程。画面中不同的视频在解算后分别被放置到不同的位置上,绿色点为匹配正确的特征点,而红色的点为匹配出错。点击 Reject 可去除错误特征点,再点击 Refine 即可在原有基础上优化解算,适量重复此步骤能够使解算更加精确。全景视频结算结果如图 8 所示*。如果此时在 NUKE 中切换 3D 视图,就可以看到 NUKE 已经模拟出了 10 台摄影机的空间位置关系。这一技术特点使得NUKE 在全景视频制作方面有着高度的准确性。不仅如此,模拟出摄影机 3D 空间意味着可以还
8、原出摄影环境,通过在 NUKE 中输出摄影机信息,可以在 3D 软件中进行更加复杂的制作,从而使全景视频的高端合成成为可能。解算出的摄像机结构如图9 所示。D.通过模块内的其他工具,还可以精确调整特定镜头的位置,以保证地平线等环境元素的真实。在画面中可以精确查看特征点并可逐个进行调整,也可以检查每两个镜头间的相关度,进行小范围的位置调整,详细的摄影机列表让用户可以清晰地查看并调整每单个镜头的位置信息,这些精确而专业的工具都为高质量全景视频的制作创造了条件。摄像机图像集合图示如图 10 所示。2.Sticher 拼接器 同样是基于计算机图形学,NUKE 通过调整视频与视频之间交接部分的羽化和畸变
9、,精确地修整每个镜头画面之间的合并边缘,使画面变得清晰锐利。光是反求摄影机调整位置是不能将不同的画面融合在一起的,而 Sticher 就是一串将画面缝合起来的针线。Sticher 节点如图 12 所示。通过调整不同镜头画面之间的重合度(converge)来调整 Sticher 对画面影响的程度,不同的素材下有着不同的合适数值。Sticher 具体参数如图 13 所示。全景图像调整前后对比如图 14 所示:左图为调整前,右图为调整后。可以看到原本有着许多重影和模糊的画面变得清晰干净。Sticher 需在 CameraSolver 后使用,但在逻辑结构上属于拼接流程的末尾,因为不论是 Camera
10、-Solver 提供的摄影机位置信息,还是接下来的 ColorMatcher 提供的色彩信息都是 Sticher 进行缝合的依据,故而置于流程末端。3.ColorMatcher 色彩匹配器(如图 15)色彩匹配器的作用是纠正不同摄影机画面照度不同造成的画面不连贯的问题,使各个方向上的影像调整到接近的亮度水平。此功能并非艺术性的色彩加工,而是为了能够更加精确地拼接画面而进行的色彩校正。ColourMatcher 节点参数如图 16。A.自动调整。设置好关键帧,选择 Exposure,点击 Analyse,NUKE 会开始分析所有视频的曝光度并自动调整每一个视频的曝光水平。左图为调整前,右图为调整
11、后。可以发现空间中光线的分布自然了很多,画面中光线的过渡也趋于正常,如图 17 所示。B.手动调整。在分析并调整后,色彩匹配器会将每一个视频的 RGB 调整信息显示在模块窗口内供用户进行更加自由的操作,用户可以通过色盘或修改色彩数值手动修改每一个镜头的色彩表现,直到满意。色彩匹配器的 RGB 信息调整对比如图 18 所示。通过对三个镜头的调整,画面更加自然了一些,而更加细致的画面优化,将在接下来的部分中完成。图 19 所示为色彩优化处理前后对比,左图为调整前,右图为调整后,可见画面中亮度的变化更加柔和了。全景视频的制作不能止步于拼接,如之前实例的图片中一样,会有画面中色彩亮度不均匀、地面上有摄
12、影机支架的残影等瑕疵,而全景视频的优化工作就是为了修复这些瑕疵。在以往,全景视频制作技术不成熟的情况下,全景视频最大的问题就在于精度不够和后期制作中很难消除镜头与镜头之间因拼接而造成的残影等瑕疵。而NUKE 作为一款顶尖的专业电影级后期制作工具,利用其在电影制作中积累多年的技术,使得全景视频制作提高到了全新的水平,向电影级别迈进。在良好的无损优化技术存在后,与之带来的高端后期合成也能够在全景视频中实现。优化工作主要利用到 NUKE 的 SphericalTransform 球面变换工具和 Roto 工具,SphericalTransform 能将全景视频映射到一个球面空间上,并能精确调整角度,
13、再利用 Roto 在调整好的内容上进行修补,接着进行合成和色彩调整。图 20 所示为优化工作节点结构。1.使用 SphericalTransform,将全景视频映射到球面上,用户可以用鼠标拖动来交互式地调整视角,下左图为 NUKE 模拟出的交互式画面,我们将画面调整到面朝正下方,以能够完整地检视地面上的摄影机支架残影。2.视角调整完毕后,便可以在当前视角上使用 Roto 工具进行绘制,将瑕疵涂抹覆盖,从而修复瑕疵。如图 21 所示,左图为调整视角后位于空间正下方的摄影及支架的残影,右图为修复后,可见原本复杂的画面残影在高精度手动修复下完全消失了踪影。3.Roto 绘制完毕后,再次使用 Sphe
14、ricalTransform工具将投射在球面上的画面重新扭曲回原来画面中的形状,原本模拟到空间中的方形画面再次被还原到完整画面中,通过合成技术可将刚刚使用 Roto 所做的修复还原到完整的画面中。修复还原地面部分画面如图 22 所示。不光是地面上的瑕疵,画面中的许多拼接瑕疵都可以通过这种方式进行修复。地面修复完成整体全景图像前后对比如图23 所示,左图为修复前,右图为修复后,可以看到画面中原本布满残影的地面现在已经毫无痕迹。4.通过使用 NUKE 的整体色彩调整功能,得到高精度且色彩亮度皆相当准确的画面,为接下来的制作环节做好准备,如图 24 所示。高精度拼接制作相当于制作出高质量的原始素材,
15、而特效合成将全景视频制作技术提升到新的高度。使用 NUKE 制作全景视频能够轻松地进行特效合成的制作,原因在于 NUKE 根本上是在三维空间中进行全景视频的制作,故而能够轻松地将画面在三维空间中模拟,进而使不同元素的合成成为可能。特效合成首先得回到 CameraSolver 摄影机解算器,摄影机解算器解算出的摄影机空间结构是进行合成的关键。要使用到摄影机的结构数据,就得使用CameraSolver 中的一项功能,即摄影机输出,如图 25 所示。上图为 CameraSolver 中的输出选项,点击 Create 即可在 NUKE 中导出摄影机的节点工具。这一组工具中包含了坐标系 Axis,十个相
16、机 Camera 的信息,还有将他们组合在一起的场景节点 Scene。每个 Camera 包含了其空间位置、镜头畸变和焦距等信息。摄像机解算出的所有摄像机节点如图 26 所示。为 Scene 节点添加一个 WriteGeo 输出节点能够将场景数据输出为 FBX 等三维格式,并在三维软件中使用,从而制作匹配场景的三维元素,如图 27 所示。将 FBX 导入 Maya,可见摄影机的位置、关键帧等信息已经设置完毕,如图 28 所示。在三维软件中完成合成元素的制作后,返回 NUKE 再使用 SphericalTransform 工具进行合成。类似于之前优化拼接的过程,利用 Merge 合成节点将元素合
17、成入场景中,如图 29 所示。上述内容为目前全景影像后期制作的标准工作流程之一,由于该工作流程以及相关技术是今年 5 月份才刚刚出现,必然存在很多细节问题和局限性,有待于经过实践创作经验以及更多研发工作来逐步完善。希望通过本文,可以为广大电影技术研发人员及业界技术人员提供一种思路,为全景影像技术的发展作出绵薄之力。注释*由于本刊为黑白印刷不能展示原始图像,请读者于见刊 10 个工作日后登录到“中国电影科技网”或手机微信公众号“电影技术微刊”查看。(2)换灯时注意外观检查,如发现新灯有明显裂纹或破损情况,请与供应商联系。(3)如果万一遇到爆灯,请离开现场 5 分钟,等机器充分冷却后操作,关闭电源,注意防护安全操作,戴口罩、手套和眼镜,将灯及碎片用塑料袋收集,避免接触皮肤。有关换灯具体操作请参考DP2K-6E 放映机快速启动指南(详见巴可大学网站)。8.收 寿终旧灯需要回收,因为灯泡内含汞(水银),常温下是银白色液体,水银和它的大多数化合物是有毒的,所以一定不要随意处理,以免污染环境,请客户联系当地的有资质的回收商进行妥善处置。因此,只要搞好环境、操作规范、维护到位就一定可以延长放映灯使用寿命。中影巴可(北京)电子有限公司 陈 凡 供稿