虚拟成像在未来发展的可能性？

下面以关键技术虚拟现实发展趋势来作为解答：

（1）现阶段技术发展进程处于部分沉浸期

业界对虚拟现实的界定认知由特定终端设备向联通端管云产业链条的沉浸体验演变。参考国际上自动驾驶汽车智能化程度分级以及对《虚拟（增强）现实白皮书（2017年）》中分级标准修订增补，将虚拟现实技术发展划分为如下五个阶段，不同发展阶段对应相应体验层次，目前处于部分沉浸期，主要表现为1.5K-2K单眼分辨率、100-120度视场角、百兆码率、20毫秒MTP时延、4K/90帧率渲染处理能力、由内向外的追踪定位与沉浸声等技术指标。

图表1：虚拟现实沉浸体验阶梯

资料来源：中国信通院

（2）近眼显示：变焦显示与光波导成为热点，显示计算化初见端倪

相比虚拟现实技术体系中的其他领域，近眼显示技术轨道呈现螺旋上升的发展态势，即近眼显示关键体验指标间的权衡取舍与VR/AR的差异化功能定位成为推动各类近眼显示技术演进突破的主要动因。其中，高角分辨率、广视场角、可变焦显示成为核心发展方向，VR近眼显示技术侧重提高视觉沉浸体验的发展路线，AR侧重低功耗、全天可佩戴、外观轻便的近眼显示发展路线。借鉴Gartner技术成熟度曲线呈现形式，分析总结如下各类近眼显示技术产业化进程。

图表2：虚拟现实近眼显示技术产业化进程

资料来源：中国信通院

（3）渲染处理：注视点渲染与混合渲染快速升温，端云协同、软硬耦合的精细化渲染成为趋势

渲染处理领域的主要矛盾表现为用户更高的体验需求与渲染能力的不足。当前，面向虚拟现实的渲染处理面临着“小马拉大车，既要马儿吃得少，又要跑得快”的技术挑战。

首先，相比主流游戏画面渲染与电影制作渲染的负载要求，时下虚拟现实渲染负载（部分沉浸体验级PI）将分别提高七倍与两倍，相当于4K超高清电视每秒像素吞吐量。若以完全沉浸级FI乃至附带现有电影视觉保真度为渲染目标，虚拟现实渲染负载将在PI水平上再分别提高五十倍甚至数十万倍。

其次，为获得即时反馈，传统视频游戏用户交互延迟须低于150ms，而虚拟现实MTP时延要求低于20ms。

最后，对于移动平台固有的功耗约束，虚拟现实渲染处理领域所面临的技术挑战正在进一步放大。因此，更优的静态画质、视觉保真度、渲染时延与功耗开销成为该领域的技术动因。虽然可以通过堆叠算力来提高渲染质量，但这一不具备成本经济性的技术路线将迟滞虚拟现实产业发展。目前，业界聚焦面向虚拟现实的注视点渲染、深度学习渲染与混合云渲染等热点领域，旨在探索软硬耦合的精细化渲染之路。

图表3：虚拟现实渲染处理技术产业化进程

资料来源：中国信通院

（4）网络传输：网联式云化虚拟现实加速发展，5G赋能云VR

与近眼显示领域不同，面向虚拟现实的网络传输强调基于既定技术发展轨道的“微创新”，即针对虚拟现实带宽、时延双敏感的业务特性，优化适配各类网络传输技术，弥合潜在技术断点，打破当前“单机版”的发展定势，探索网联式云化虚拟现实技术路径，旨在保证不断进阶视觉沉浸性与内容交互性的同时，着力提升用户使用移动性，降低大众软硬件购置成本，加速虚拟现实普及推广。与VR相比，由于AR侧重与真实环境的人机交互，须将摄像头捕捉到的图片/视频上传云端，云端实时下载需要增强叠加显示的虚拟信息，因此需求更多的上行带宽。鉴于虚拟现实网络传输涉及接入网、承载网、数据中心、网络运维与监控及投影、编码压缩等技术领域，有关技术产业化进程如下。

图表4：虚拟现实网络传输技术产业化进程

资料来源：中国信通院

（5）感知交互：眼球追踪成为焦点，多感官交互技术路径多元化

感知交互强调与近眼显示、渲染处理与网络传输等的技术协同，通过提高视觉、触觉、听觉等多感官通道的一致性体验，以及环境理解的准确程度，实现虚拟现实“感”、“知”能力的持续进化。当前，由内向外的空间位置跟踪已取代由外向内的技术路线，成为主流定位跟踪技术。继此之后，眼球追踪有望成为虚拟现实感知交互领域最为重要的发展方向之一，鉴于该技术与其他重点领域的融合创新潜力，业界对眼球追踪的研讨焦点已由两年前是否具备落地价值转变为何时能够落地。此外，感知交互技术在VR、AR领域的发展路线有所差异，就VR而言，侧重于多感觉通道交互。由于虚拟信息覆盖整个视野，重点在于现实交互信息的虚拟化。对于AR而言，由于大部分的视野中呈现现实场景，感知交互侧重于基于机器视觉的环境理解。

图表5：虚拟现实感知交互技术产业化进程

资料来源：中国信通院

（6）内容制作：内容交互性不断提高，助推媒体采编播创新

作为新一代人机交互界面，虚拟现实契合时下新媒体所追求视觉沉浸感与用户交互性的发展趋势。虚拟现实内容制作技术开始广泛应用于纽约时报与CNN等纸媒电视、YouTube与爱奇艺等互联网视频平台、Verizon与中国移动等电信运营商视频网络，并在“采、编、播”环节注入了创新活力。

内容采集环节，由于虚拟现实可提供360度、720度的全景视频，双目、阵列乃至光场式VR相机取代了传统画面视角受限的单目摄影机，可采集4K-12K全景分辨率的3D视频内容。此外，由于360度无死角拍摄，编导与摄影师等工作人员站位、观众视觉兴趣点引导、多相机同步控制等新问题对内容采集带来挑战。

内容编辑环节，由于虚拟现实相机涉及多镜头同时拍摄，从而产生出视频间精准拼接缝合这一全新内容编辑技术。根据实现方式的不同，可分为实时、离线拼接与自动、手动拼接等。英伟达近期推出其拼接编辑软件VRWorks360，可实现单一VR相机中多达32个拍摄镜头的跨平台的实时拼接。此外，由于虚拟现实强调观众沉浸感与互动性，在内容制作方面开展了相关基于后期特效合成的微创新。例如，在既有真实拍摄内容上，基于机器视觉与三位建模，引入观众虚拟化身参与其中。同时，通过3D沉浸声、混合云渲染等方式附加高保真的虚拟图像，从而实现内容制作的“虚实融合”。

内容播放环节，由于虚拟现实需要解决如何将内容编制时的平面媒体格式转化为用户最终看到的全景球面视频，因此运用了传统视频没有涉及的投影技术。其中，等角投影是YouTube、爱奇艺等采用的主流技术，但存在画质失真、压缩效率低等问题，多面体投影成为发展方向。此外，现有操作系统需要优化创新以适配虚拟现实内容应用的体验要求。

图表6：虚拟现实内容制作技术产业化进程

资料来源：中国信通院