首页 > 新闻 > 解密 | 虚拟影像重建技术让邓丽君“复活”

解密 | 虚拟影像重建技术让邓丽君“复活”

时间:2016-7-21 9:43:37
来源:马卫

作为一代华人歌坛“天后”邓丽君英年仙逝,始终是“君迷们”心中挥之不去的结。2015年8月8日,上海大舞台迎来了“如果能许一个愿”邓丽君20周年虚拟人纪念演唱会。一曲经典的《甜蜜蜜》后“邓丽君”向观众致意,亦真亦幻,现场观众如痴如醉,有的“君迷”甚至掩面而泣。观众们在讶异之际,不禁要问是什么技术将邓丽君又带回到现实。其实,邓丽君的“复活”所用的是虚拟影像重建技术。笔者将通过解读虚拟影像重建技术的特点、实际应用案例,为读者解开明星“复活”的神秘面纱。

制作邓丽君虚拟人影像的技术分析

俗语说:“画鬼容易画人难”。邓丽君作为华人歌坛现象级的歌手,其形象为广大华人社会所熟悉,要想将她“复活”,的确是一个巨大的挑战。敢于接受这一挑战的是世界知名特效公司数字王国。利用虚拟影像重建技术实现明星“复活”,需要经历如图1所示的几个技术阶段。

 


图1 虚拟影像重建技术阶段

素材采集

邓丽君在世时留下了数以千计的影像资料,数字王国特效团队从众多的素材中提取有价值的信息。虽然这项工程得到了邓丽君兄长邓长富的大力支持,但是特效团队长期服务于西方文化,在该项目中面临的最大困难是对东方文化的理解,尤其是对“婉约”认知的不足与偏差。邓丽君独有的“婉约”美,是她广受华人社会欢迎的重要原因之一。特效开发团队为此找到了本土设计师罗婷负责从整体上对虚拟邓丽君进行设计把控,因她与邓丽君生前有过接触。她认为,20世纪80年代的歌手打扮都比较传统,但如果全部照搬,那么出来的效果可能会让观众不太容易接受,毕竟现在的观众都是二十岁出头的年轻人。所以形象设计上就定为:白色(或红色)旗袍、亮色淡妆,这样能够将现在时尚文化同中国传统文化结合起来。

特效团队收集到很多邓丽君的演唱细节:“她有很美的牙齿,在演唱时会常常露出来,尤其是在‘yi’这个音。特别是她唱到高音时喉咙会有颤动,嘴唇也可能会有颤动。”这些常人忽略的细节为虚拟邓丽君影像注入了生命力。图2为邓丽君真人照与虚拟出的邓丽君。

 


 


图2 邓丽君真人照(上图)和虚拟人邓丽君(下图)

模型重建

任何人物建模最难的就是人脸与毛发。人物面部建模,数字王国有自己的优势。该特效公司拥有获得奥斯卡技术奖的面部表情捕捉系统MOVA。该系统能够捕捉正在表演的演员之高度细致、面貌一致、栩栩如生的网状结构化的面部表情,以供特效师创作具极高质素的人物动画。通过多相机(80个以上)360°全方位拍摄,如图3所示,并配合先进的照明设备,MOVA可以记录演员表演的全部细节。依据获取的大数据,软件创造出该演员面部的高清立体网状结构,重建演员包括小皱纹在内的整张脸,如图4所示,保留表演最细微的部分。特效师利用这张动画脸部,可以制作出演员在不同场景的表情。另外,为虚拟人模拟真人头发的制作难度同样很大,仅头发的虚拟图像,特效人员就绘制了约15000幅,并且这些头发还需要模仿人物的动态。

 

 


图3 技术人员调试全方位拍摄相机

 


图4 建模脸部拓扑线

动作捕捉

动作捕捉(motion capture)技术就是利用计算机系统捕捉演员表演时的表情动作,然后把这些动作表情同步到计算机中的虚拟角色上,使虚拟角色的动作表情与真人无异。从电影《阿凡达》到《霍比特人》三部曲,好莱坞惊世骇俗的狂飙制作,离不开动作捕捉技术的功劳。因为在建模阶段,人物是静态。通过动作捕捉,可以让虚拟人物动起来。这个阶段可以请歌手模仿邓丽君的动作,捕捉到身体动作(见图5)、姿态(见图6)、表情等数据,从而使虚拟人邓丽君自然逼真。

 


图5 全身动作捕捉

 


图6 手部动作捕捉

虚拟合成

虚拟现实(virtual reality)技术是通过计算机系统生成,能够实时追踪用户多感官(视觉、听觉、触觉、味觉、嗅觉等)信息,用户可以高度浸入这个虚拟实境进行浏览、交互与探查。该技术具有:浸入性、交互性、实时性、构想性的特点。当完成虚拟邓丽君建模后,就需要将模型导入虚拟现实软件(unity\VRP\DVS3D等)进行调试、渲染、烘焙、导出。值得一提的是在调试阶段,制作团队还一点点地抠画、修改嘴型,以便让虚拟邓丽君嘴形和声音同步。在渲染阶段,头发的渲染非常不易,100次死机有60次是因为头发渲染失败。不仅如此,即使在导出阶段,为了达到同当年的邓丽君“声情并茂、形神举止”的一致,特效人员进行了数百个版本虚拟邓丽君的修改。

全息输出

全息投影技术(front-projected holographic display) 原理是利用干涉和衍射原理记录并再现物体真实的三维图像的记录和再现的技术。该技术首先是利用干涉原理记录物体光波信息,其次是利用衍射原理再现物体光波信息,如图7所示。3D全息投影技术类似于自然界中的海市蜃楼,通过不同数量的投影机把真实影像或事先经过精心制作并具有立体效果的数字影像均匀对称地投射在成像膜上(这种成像膜是一种透明的超薄膜)。经过光的衍射和折射,再现三维影像。

 


图7 全息投影原理

在虚拟邓丽君演唱会现场,演出方要搭建一张与地面呈45°夹角的全息膜,全息膜高度透明,利用演出时的灯光照明产生的明暗,观众很难发现此膜存在。高清投影机被设置在舞台前上方,由其投射出来的三维数字影像(制作的3D虚拟邓丽君表演视频),经过折射投影到全息膜上,如图8所示。全息膜成像细腻、清晰度高,并能使影像产生极大的立体纵深感,邓丽君就会跃然于观众面前,如图9所示。

 


图8 模拟邓丽君虚拟人演唱会全息投影

 


图9 演出现场(虚拟邓丽君与费玉清对唱)

(本文来源:演艺科技)

标签:虚拟影像
相关文章 >>
热门文章
热门话题