诠视科技:基于LED屏幕的虚拟拍摄解决方案

上海 2022年12月7日

元宇宙的到来,影响着从传统技术到新兴技术的演变,诠视科技最新推出的就是一项这类技术演变所带来的新应用:基于LED屏幕的虚拟拍摄解决方案——通过无缝拼接的LED显示屏构建沉浸式拍摄环境,结合3D引擎实时渲染的虚实结合拍摄技术。

相比传统绿幕,该方案呈现了一种虚实结合、联动的虚拟立体空间,把特效合成背景用实时拍摄的方式完成,极大地简化了制作流程,同时也降低了拍摄成本。而且,画面更为真实,色彩还原更准。

虚拟拍摄,本质上是基于XR技术的一类新兴应用,它不仅可以应用于电影拍摄当中,在综艺、直播、演播室、电视剧等等的拍摄应用中皆可应用,加上LED大屏幕的沉浸更加营造出实景难以表现的科幻感。今年4月,《诞辰》在美国广播电视展(NAB)首映,在业内引起巨大反响。这是全球第一部全片采用虚拟制片(Virtual-Production)的影片。该影片导演介绍到,这部片子采用了三件道具,四天时间,不需要任何后期特效,现场拍摄出来的即是成片效果。可见虚拟拍摄在全球的发展,以及这项技术可能带给相关产业的颠覆性改变。从一切有赖于后期合成,到目前常见架设轨道,安装很多个传感器,才能获得的人在三维场景中景深和景别的变化,最后到今天通过LED显示+XR技术驱动的虚拟拍摄方案,我们将现实中的人物、布景与虚拟的3D场景实时结合,透过数字摄影机进行一体化拍摄,并保持光学镜头与虚拟镜头的参数一致,现实世界与虚拟世界的坐标一致,呈现出真实的视觉关系和透视效果。

虚拟拍摄系统框架

虚拟拍摄,镜头所需的各种元素,包括场景、人物、灯光等,全部被整合进了电脑。虚拟拍摄整体架构解决方案,主要是由视频播放系统、虚拟场景渲染系统、虚拟场景制作系统、定位追踪系统、LED控制系统、以及外设硬件(摄像机、LED屏幕)等组成。

虚拟制片与传统制片对比,优势很多

传统制片搭建费时费力,不可控制因素很多,后期制作反复调整很困难,拍摄环境和过程不可逆,有些可以通过剪辑和特效处理,有些实在处理不了还得重新拍摄,增加成本和周期。

传统制片过程

虚拟拍摄和制片过程

方案的核心技术

景随人动,是这套方案的精髓,我们要做到被摄人物在抠像区内自由走动的时候达成近乎真实的拍摄场景。因此,定位追踪技术就显得额外重要。在这些神奇技术的背后,是软硬件的开发,和人工智能技术的不断升级和应用。

这套方案采用了诠视科技Xvisio的SeerSense™产品作为定位跟踪设备,通过VSLAM定位追踪将摄像机与三维场景内的虚拟摄像机绑定,在拍摄时实现景随人动。

Xvisio SeerSense™系列,可作为一个进行三维虚拟拍摄的场景追踪系统,只需要把它对接在一台摄像机镜头上,随着摄像机镜头的移动,直接就能获得人在现实空间中的实时位置和运动参数,然后对这些数据进行运算和分析,就可以实时获得完美的虚实合成画面。

采用了英特尔芯片的Xvisio SeerSense™产品

虚拟场景定位技术VSLAM

这套追踪系统精度高,抗干扰能力强、室内外无标记均可以使用,搭建环境要求低,可实现追踪空间更大,同时提供6DOF数据。相对于市面上产品而言,除了性能优越,性价比优势明显。该方案同时还搭配了英特尔10nm制程的Mini-PC作为边缘侧的智能加速及媒体播放。

核心产品规格
Xvisio SeerSense™ DS80

Mini-PC

关于诠视

诠视科技是一家专注XR空间感知交互核心技术(高速VSLAM技术)和XR产品解决方案的高科技初创公司,2016年创立于硅谷,落地于上海,目前在硅谷和欧洲设有研发中心,拥有业界杰出的海内外研发团队及20余项算法、硬件、软件、系统及应用的核心技术IP。公司主要产品包括SeerSense™感知模组,SeerLens™系列XR glass,以及核心技术授权和定制化产品开发服务。公司客户覆盖诸多行业标杆企业,产品销路遍及日本、美国、欧洲等地。