新闻动态

VR 视频映射及压缩编码

VR 视频映射是 VR 视频编码的预处理环节,目前专门针对 VR 视频的编码标准仍在研究中,通常将 360°的二维球面视频图像映射成为二维平面矩形视频图像,再送入编码器进行编码传输。VR 视频有多种映射表示方式,从压缩编码的角度看,不同的映射方式其压缩效率也不同。

1. 映射
VR 视频映射是指将球面全景视频表示为适于压缩编码的平面视频,即将球面全景图像转化映射成为二维平面图像。
球面全景图像映射成为二维平面图像的映射模型有多种,为了进一步提高编码效率以及达到尽可能好的映射效果,映射模型还在不断地研究和丰富中。MPEG 等标准中提出了多种映射模型,最常用的是等距圆柱映射和正六面体映射模型。典型映射模型介绍如下:

(1 )等距圆柱映射( ERP )
ERP 映射模型是在 VR 视频中使用最广泛的映射模型,如图所示即是 ERP 映射模式的二维图像平面。经纬图模型只有一个投影面。YouTube、Samsung Gear、优酷、爱奇艺等均采用此种投影格式生产 VR 媒体文件。

(2  )正六面体映射( CMP )
CMP 映射模型有 6 个映射面,分别将 360°球体视频图像映射到 6 个面上,如图所示。

(3 )等角方块映射( EAC )
EAC 等角方块映射投影法的目标是不论取样样点在映射面的什么位置,都能保证观看者在各处获得统一的像素观看密度感。EAC 映射模型在 6 个映射面上,各角度内的像素密度是保持恒定不变的。EAC 与 CMP 映射模型的对比示意图如图 6 所示。

(4 )正八面体映射( OHP )
OHP 映射模型有 8 个三角形的映射面和 6 个顶点,OHP 模型不同于 CMP 模型的特殊之处在于它包含三角形的映射面。三角形映射面需要仔细处理以保证面与面交界处的视觉连续性以及编码效率提升,如图 7 所示。

(5 )正二十面体映射( ISP )
ISP 模型有 20 个三角形的映射面和 12 个顶点。非紧凑型和紧凑型 ISP 的示意图如图 8 所示。

(6 )分区域球体映射( SSP )
SSP 映射法将球体分为北极区圆、南极区圆和中间赤道部分等三个区域进行映射,如图 9 所示。

(7 )截体金字塔( TSP )
TSP 映射模型使用顶端截断的金字塔形的立方体几何模型,并将该立方体的六个面整合形成一个紧凑的矩形帧。观看正面是一个整形的正方形,观看侧面和背面则逐渐缩小,如图 10 所示。

(8 )非均匀映射方法
除上述多种映射模型外,还可以采用非均匀映射的方法。在主视点区域使用较高的采样密度进行采样,在非主视点区域使用逐渐降低的采样密度进行采样。使用非均匀映射方法的好处是可以大幅降低服务器端的接收码率和解码复杂度,可用于流切换等场景。常用的非均匀映射方式包括非均匀经纬图、非均匀球体和非均匀正六面体等。

2 压缩编码
映射后的 VR 视频可采用普通视频的编码技术进行压缩。目前应用较多的视频编码技术是 H.264、H.265、AVS2 等,在保证同等画质的前提下,H.265 和 AVS2 的压缩效率大约比 H.264 提升 50%左右。下一代编码技术 H.266 与 AVS3 的目标压缩效率比 H.265 与 AVS2 提升一倍。
码率是影响 VR 视频在终端接收观看清晰度的重要指标。8K/50P 的视频,采用H.265 或 AVS2 编码,码率需 80~100Mbps。

(文章内容摘自:5G 高新视频 — VR 视频技术白皮书( 2020))