1 基本流程
VR 视频以流媒体形式经网络传输到达用户终端侧，或者 VR 视频以文件形式存储在终端侧，终端对 VR 视频进行解码、渲染和显示。目前，终端有两种形态，一种是 HMD 形式，HMD 主要是显示设备，解码渲染等处理能力在 PC、机顶盒等终端上，HMD 要与终端连接；另一种是 VR 眼镜，可以是具备处理能力的一体式 VR 眼镜，也可以是连接手机使用的 VR 眼镜。
运行在终端上的 VR 视频应用软件，实时追踪用户头部的 3DoF 姿态，即头部的偏转、俯仰和滚动参数，并根据这些参数实时渲染出用户当前姿态下应看到的每一帧 VR 视频画面，追踪、渲染、显示实时完成。
2 VR视频渲染
在 VR 视频应用中，渲染主要是指根据用户头部姿态从全景视频中截取出用户当前应看到的画面，并根据 HMD 和 VR 眼镜的透镜特性，对画面进行的变形处理。
HMD 和 VR 眼镜的显示屏幕配合距离人眼只有 4～5cm 距离的凸透镜，达到增大视角范围的效果。VR 视频应用软件预先对图像进行“桶形失真”变形处理，图像经透镜折射后，“桶形失真”与透镜折射引入的“枕形畸变”相互抵消，最终用户在 HMD 和 VR 眼镜里可看到正常的画面。“桶形失真”和“枕形畸变”示意图分别如图 12、图 13 所示。
3 VR视频显示
（1）VR 视频像素密度
人肉眼视网膜中心凹（视网膜中心凹是视觉敏锐度最高的区域）的分辨率极限是 60 PPD（因人而异，平均为 60 PPD），即如果一幅 60×60 像素的图像落入视网膜中心凹 1°×1°的区域，则人眼无法将其与一幅 80×80 像素且落入 1°×1°视网膜中心凹区域的图像区分开。根据人眼 60PPD 的分辨能力，可以计算得到，为达到良好视觉效果，VR 视频水平方向 360°应具有至少 21600 像素。
目前，VR 视频分辨率通常是 4K，与理想分辨率还有较大差距。未来拍摄 30K×15K 的超高分辨率 VR 视频，达到人眼观看时 60PPD 的视网膜感受，才能带来画面质量质的飞跃。
（2 ）显示屏分辨率
HMD 和 VR 眼镜的显示屏在显示 VR 视频时会分为左右相等的两个显示区域，分别显示左右眼观看的画面。目前，终端显示屏的最高分辨率可达到 4K，按照人眼视域 124°和 60PPD 计算，终端显示屏要达到 16K 才能实现理想的显示效果，因此终端屏幕分辨率还需要进一步提升。
HMD 和 VR 眼镜内置了凸透镜，用于放大显示屏幕的图像，放大倍数一般为 5～7 倍。因此，用户通过 HMD 和 VR 眼镜观看 VR 视频时，相当于近距离用一个放大 5～7 倍的放大镜观看显示屏，显示屏的物理结构被放大显现出来，这就是业内常说的
纱窗效应，类似于隔着纱窗看窗外的世界，如图 14 所示。因此，HMD 和 VR 眼镜的显示屏分辨率需要进一步提升，降低纱窗效应。
（文章内容摘自：5G 高新视频 — VR 视频技术白皮书（ 2020））