构建通向元宇宙之路

上海 2021年12月13日

元宇宙的概念将过去十年中多领域的技术融会贯通,为未来十年的发展指明了方向,业界为此振奋不已。它既是互联网应用的延伸,也孕育着新的社会形态。

元宇宙拓展了人类生存的空间:将有限的现实世界延伸到无限的虚拟世界;同时也拓展了人类的感官体验:人们可以沉浸式地与虚拟的信息交互。因而与此相关的技术,被认为是构建通往元宇宙必由之路的基石。

诠视科技 Xvisio Technology(上海诠视传感技术有限公司)是一家创立于硅谷的海归初创公司,多年来专注空间感知交互领域核心技术与产品。从核心技术研发、ODM服务到产品平台打造积累了20余项核心IP,实现了从算法、传感器件、硬件平台、应用SDK到系统优化等环节的自主可控与融会贯通。联合行业伙伴赋能了大量行业客户构建XR系统及生态,是构建元宇宙生态的重要推手。在今年的9月的世界互联网大会上,诠视科技推出的企业级AR眼镜SlimEdge E34RB受到了业界的关注。

10月的世界ARVR产业大会上,诠视科技推出了多款AR HMD新品,并在第四届进博会上联手爱普生,推出面向文旅行业的AR导览解决方案,完成了一次数字化文旅的成功实践,也是对元宇宙技术落地的积极探索。

那么,诠视科技是凭借什么得以在通往元宇宙的征途中持续发力的呢?

对现实空间的理解与重构是通向元宇宙的第一步。

一、高性能的VSLAM技术是空间感知交互的基础

VSLAM(Simultaneous Localization And Mapping,同步定位与地图构建)是实现6DOF沉浸式空间感知交互体验的核心,感知交互与近眼显示一起被列为XR的两大支柱技术。VSLAM技术虽然在学术界历史悠久,但受限于产品平台算力,近两年才在产品端实现落地。诠视科技在业界以其高性能的VSLAM技术及方案部署而见长,其特点是由独立VPU/DSP计算单元承载算力和传感器融合的任务, 提高了系统性能和设计的灵活性。目前微软Hololens,Magicleap和传闻即将发布的Apple MR头显中均采用类似架构以保证性能。诠视科技早在2018年就实现了基于这种结构的器件级部署,同年被工信部评为“关键技术突破类”企业。近年来持续迭代,目前已经在多个芯片平台上实现部署。在今年的世界ARVR产业大会上,诠视科技发布了支持双目和四目VSLAM的产品方案,精度对标Hololens。迄今为止诠视科技以其感知交互核心技术为基础的ODM服务及相应的平台产品赋能了大批行业客户,包括多个行业标杆客户。

基于四目VSLAM的 SlimEdge B50R Pro AR 眼镜

诠视科技在过去的三年中完成了原生VSLAM算法的持续迭代,实现了在Intel、高通、MTK等主流硬件平台上的部署, 全链路低延时多次渲染优化技术的研发, 以及与全光学系列的近眼显示方案对接,形成了基于空间智能感知层+交互层的XR系统架构。

二、全链条底层技术支持丰富产品平台

要实现沉浸式的交互体验,空间感知交互的精度、速度和交互的维度(手势、手柄)是极其重要的基础,而目前大多数产品开发商都不具备如此全面的系统整合、综合研发和产品部署能力,这也限制了AR/MR产品的大规模普及。诠视科技在过去的三年中完成了原生VSLAM算法的持续迭代,实现了在Intel、高通、MTK等主流硬件平台上的部署, 全链路低延时多次渲染优化技术的研发, 以及与全光学系列的近眼显示方案对接,形成了基于空间智能感知层+交互层的XR系统架构。诠视科技构建的基于独立芯片处理的XR感知层,实现了包括双目、四目鱼眼、TOF、RGB、红外相机、微光相机、IMU等多传感器的端处理与融合,提供了高速VSLAM、高速深度检出、物体姿态检出、物体识别、音视频交互的本地化处理能力,极大地方便了系统的模块化设计与部署,适用于多形态空间感知交互场景的落地,包括:XR终端、可穿戴设备、机器人等。面向应用场景的交互能力由Xvisio AR foundation SDK结合感知层能力实现,提供和XR交互的主要功能,包括空间锚定、平面检出、地图创建、虚实结合、三维重建、手势交互、多人协同及端云结合等交互能力,支持Android、Windows、Linux主流操作系统平台,丰富了元宇宙的入口。

三、精准空间锚定及虚实结合

虚实结合是AR/MR设备在元宇宙中的核心价值, 是通向元宇宙的入口, 也是最有挑战的环节。实现精准的虚实结合、空间锚定,除了要有精准的VSLAM技术,还要有高精度光学透视的系统标定及低延迟的系统优化。诠视科技在这一领域已形成完整的高精度定位与虚实叠加的技术体系与作业流程,并支持全光学路径的硬件终端平台部署(PC、Android、Linux)。这一系列技术积累为业界提供了多种技术选择,拓宽了元宇宙的入口。

四、打通手机“任督二脉”,开启流畅的6DOF体验

手机作为移动互联网入口的桥头堡,有大量的存量市场。而AR眼镜作为手机附件,一直被认为是XR的最佳落地场景。但目前市面上的大量AR眼镜仍以投屏观影为主,原因是要获得流畅的沉浸式6DOF体验,目前的主流方案都需要修改手机底层代码以实现低延迟处理,需要手机厂商开放root权限。这对于通用型AR眼镜来说无疑是个巨大的挑战。诠视科技基于其独特的端处理分体式架构,实现了在非root手机上的低延迟处理,达到了和定制化设备同样的体验。这一技术打破了6DOF AR眼镜在手机市场落地的僵局,可迅速拉动基于手机平台的内容生态,将大大拓展元宇宙的落地场景。

五、头手协同6DoF交互增强沉浸式体验

在沉浸式交互形态上,AR与VR的共通之处是都需要头部的6DOF追踪定位。区别是AR偏重对环境的理解,而VR偏重于空间信息的获取。在手部交互方式上,AR倾向于自然手势,而VR倾向于手柄,目前6DOF手柄已经成为VR设备的标配。近期Facebook(Meta)发表的自带摄像头的主动追踪方式的手柄是基于独立VSLAM计算单元的产品,代表着业界的技术方向。诠视科技早在2018年就推出了同类产品的设计, 并获得了美国专利授权。与此同时,诠视科技也可支持基于CV的6DOF手柄方案,基于四目相机的头手6DOF的方案已经在产品化中。

在自然手势交互领域,诠视科技开发了基于AI算法的高速手势识别技术,其产品平台也兼容市场上其他手势方案。

在2021进博会上,诠视科技展示了云端渲染的三维虚拟沙盘技术、基于端云结合的沉浸式三维空间AR导航与场景识别技术,完成了基于轻量化AR设备的端云结合大场景导览的落地实践。

六、多人协同,端云结合,实现跨时空交互

元宇宙将改变我们的工作方式和生存空间, 跨时空的协同作业将是XR设备带给我们的全新的交互能力, 其中快速环境理解与三维空间重建是实现跨时空协同作业的重要基础,传统的三维重建要经过扫描与后处理两个阶段,诠视科技基于其强大的端处理传感器融合与VSLAM技术的结合,已实现实时三维重建、地图创建与分享、场景识别、端云结合,为多人远程协作奠定了基础。为虚拟仿真、数字孪生提供了快速部署的平台。在2021进博会上,诠视科技展示了云端渲染的三维虚拟沙盘技术、基于端云结合的沉浸式三维空间AR导航与场景识别技术,完成了基于轻量化AR设备的端云结合大场景导览的落地实践。基于5G的高带宽低延迟云渲染技术,让多场景复杂模型的重渲染工作得以在云端实现,不受系统算力影响,可多人共享云端渲染内容和互动,提升了跨时空的交互体验。

七、沉浸式体积视频内容生成

基于强大的端处理传感器融合能力,诠视科技的SlimEdge XR平台支持提供带有高精度同步深度点云和姿态信息的RGB视频流,可用于体积视频(Volumetric Video)的拍摄、XR内容的快速制作以及三维物体重建,为元宇宙时代沉浸式UGC(User Generated Contents)生成提供了便利。制作者可以用头戴XR设备进行第一人称视角拍摄,也可用诠视科技的独立拍摄设备进行第三视角拍摄。

八、核心技术平台化助力元宇宙应用落地

诠视科技从创立之初就坚持算法与硬件相结合,从底层传感器到产品平台的发展路径。在服务行业标杆客户的过程中,打造了全链条的核心技术与产品部署能力,相继推出了多款AR/VR产品方案、机器视觉模组产品系列,目前以面向XR行业的基于感知交互核心技术的定制化ODM服务及标准化平台产品交付两个核心业务模式,助力元宇宙应用落地。

“创新机器视觉感知能力,超越人类视觉极限”,是诠视科技团队的共同愿景。在元宇宙概念如火如荼的当下,诠视科技将与所有生态伙伴一起,构建通向元宇宙之路。

来源:VR陀螺
原报道链接:构建通向元宇宙之路

关于诠视

诠视科技2016年创立于硅谷,2017年获天使投资落地上海,是一家专注空间感知与交互的解决方案提供商,提供AR/VR眼镜的底层技术及系统集成。核心产品SlimEdge XR 是集VSLAM引擎,深度引擎,AI引擎,音视频引擎,手势眼控于一体的端处理平台,适用于分体式和一体式XR设备。创始人团队皆来自世界500强企业,系列创业团队,拥有多年行业领先研究成果积累,目前在美国和欧洲设有子公司。