新闻动态

VR 视频应用的挑战与前景

VR 视频的出现给广播电视带来了新的机遇,本章梳理了 VR 视频节目制作、传输分发和终端消费各环节所面临的问题和挑战,解决这些挑战对完全实现身临其境的 VR 视频体验是非常必要的。

 VR 视频节目制作域

1 拍摄指导

由于许多拍摄技术限制和取景美学构图等原因,与传统节目制作相比,VR 制作往往更加复杂。在 VR 视频拍摄录制中,没有任何地方可以隐藏设备和制作人员,因而在制作期间进行镜头间视频的拼接是不可缺少的;此外,为了防止用户观看时感觉头晕,VR 视频中镜头的快速移动、位置变化、场景切换等通用拍摄手段必须小心使用。在这些约束下,导演必须找到能够引导观众注意力的替代方法。

2 映射

映射环节是将 360°的球体视频投影到二维平面上的过程,有多种映射方法都可将 VR 视频图像投影成适用于当前视频编码器的二维平面格式。其中最常使用的映射模式是 ERP,也有其他各种方法如金字塔映射、立方体映射等。但 VR 显示设备(如 HMD 等)一般不支持多种投影映射模型,因此在前端制作和传输分发过程中就需要考虑到各种终端的不同适配情况。

3 制作流程和创作工具

对于 VR 专业内容创建,自动化生产工作流程对于及时、高质量的内容交付是必要的。线性叙事 VR 视频内容工作流程包括:素材拍摄、格式转换、拼接映射、音频制作、资产创建、渲染、审看、分发和存档等。此工作流程虽然可能类似于HDR 视频制作,但处理的数据量通常要大得多。而对于非线性叙述 VR 视频内容制作,即基于一些用户交互的 VR 视频内容,工作流程还包括游戏开发的工具。VR 视频内容制作也受益于这类新的创作工具,如声音设计创作工具,使得在通过 HMD或 360°视频播放器观看视频内容的同时,可以平移和可视化声源。

目前,VR 视频内容制作工具被集成到广播制作流程和基础设施中的还不太多,统一的技术标准对于 VR 视频内容的制作、交换、分发等会带来一定工作量的简化。

 VR 视频传输分发域

1 高传输码率

VR 视频的传输分发对于现在正在使用的传输分发系统是目前最大的挑战。VR视频的传输码率远远超过当前高质量广播节目的数据码率。许多消费者设备的网络吞吐量和处理能力都不能满足,通常都需要进行数据缓冲来保证连续一致的沉浸式体验。

为了给用户提供高质量的 VR 视频,业界正在寻找各种方法。这些方法大多基于视角相关视频流的动态切换,即用户正在观看的视角接收高质量视频,而其他视角接收较低质量的视频。为防止在头部旋转期间感知到低质量视频内容,从一个视角到另一个视角的无缝切换是至关重要的。但对于广播电视信道传输 VR/AR 视频时,基于视角的解决方案可能行不通,需要一次性将整个视频进行传输。

2  VR 分发格式

标准化的分发格式对于向用户提供高质量的沉浸式 VR/AR 内容也是非常重要的。目前,MPEG 已发布了第一版全景媒体应用格式 OMAF 标准 ISO/IEC 23090-2,它不仅定义了 VR/360°内容的媒体格式,还定义了使用 MMT、MPEG-DASH 传送 OMAF内容的方法。

 VR 视频终端消费域

VR 视频生产和传输过程中的许多技术问题是由终端高质量内容消费需求驱动发展出来的,这些需求超过了对传统电视广播的要求。例如许多专家建议,至少需要每秒 60 帧和双眼 4K 的视频图像才能实现高质量 VR 体验。可接受的动作和声音、运动和光的延迟是实现和预防眩晕的重要技术参数。除此之外,调研发现消费者对于 HMD 的重量、外观设计也有一定的要求。VR 视频在不同终端的呈现效果也不一样,因此亟需统一的标准进行规范。

目前创建的 VR 视频大多持续时间不到 15 分钟,这是为了避免更长时间使用HMD,尤其是观看高速运动内容时可能发生的眩晕感。尽管已进行了多年的研究,但预防、去除眩晕感仍旧是 VR 消费的难题。众所周知,眩晕感是视觉渲染技术参数(延迟、帧数、显示视图的闪烁、显示宽度)和人体方面(曝光持续时间、个人灵敏度、运动控制、健康、性别、年龄、情绪、焦虑、姿势稳定性等)因素共同影响的。中国电子协会消费电子分会等单位组织了 VR 头戴式显示设备对青少年眼健康影响的实验研究,结果显示,使用 VR 头戴式显示设备会对青少年眼部指标和主观感受产生影响,建议青少年合理分配使用 VR 头戴式显示设备的时间和频率。

发展前景展望

5G 具有大带宽、低时延的特性,为 VR 视频的发展提供了强有力的支撑,VR视频不仅在广播电视领域快速发展,也将在新闻、旅游、游戏、电影、科研、教育、医疗等领域得到广泛应用,VR 技术与 AR 技术融合发展也是未来的发展趋势之一。在未来的规划及发展中,VR 视频应用与广电的融合将为广电业务转型升级注入新兴力量,也将为智慧广电新生态建设开辟全新空间。