VR直播流程及通往8K/3D VR直播的映射算法介绍

2016年可以说是VR元年，从Facebook的Oculus，HTC的Vive到Sony的PS VR，层出不穷的VR设备和VR内容让用户逐步开始体验到了虚拟现实的魅力。VR视频和VR直播俨然已经成为了展览会议、活动赛事的标配，甚至向婚庆、新闻、影视行业延伸。那么VR直播的实现挑战、关键技术、解决方案和应用场景都是什么呢？本文将为大家逐一展开。

VR直播为什么被看好

通常我们看到的活动、新闻现场VR直播，最大的特点是全景观感和交互性强。VR直播采用专业的拍摄设备覆盖用户整个360度的视野，捕捉到的每一帧画面都是一个360度的全景，观众可以选择上下左右任意的角度来观看，没有限制地观察三维立体空间内的事物，体验全景带来的逼真和沉浸感。

同时，VR直播具有直播实时性、互动性的特点，结合VR的技术手段，从视觉、听觉、嗅觉等感官系统出发，营造一个完整的虚拟环境，让观众与空间、主播、甚至其他观众产生互动。以上两大特点让VR直播在直播模式中脱颖而出，成为了炙手可热的、用来吸引用户的新玩法。

预计在未来几年，随着技术积累和环境逐渐成熟，VR直播将逐渐迎来爆发。它将不仅会在演唱会、赛事、活动等场景中被越来越大规模地应用，也会逐渐走进新闻广电、游戏、教育、医疗等领域，服务于各场景下的沉浸式体验。

那么，如果你拥有适合的内容，你又该如何开展VR直播呢？

VR直播面临的挑战

任何的直播，观众都希望是清晰和真实的。VR直播中因为用户体验到的包裹着用户所有视野的VR视频是一个球形的视频，而实际上在源端转码并且传输到终端设备的是这个球形的二维展开。所以即使是VR视频都号称特别高的分辨率，但是用户的体验仍然不理想。如果要让用户体验到超1080p的虚拟现实体验，我们需要的VR视频源的分辨率就要达到8K甚至更高，因为2D的虚拟现实还是离真实的感觉差太远。理想情况下，我们需要8K/3D才能使得用户真正的沉浸于虚拟现实之中，而这就需要50Mbps-100Mbps的带宽。
 
VR球形视频及其Equirectangular平面展开

直播通常是在全国、甚至全球观众面前播放，而普通用户家里稳定的下载速度一般只有10-20 Mbps左右，更大的码率就不能保证家庭网络能稳定接收了。所以一般的VR视频会强行把码率压到3-10Mbps左右范围，牺牲清晰度，以保证用户稳定接收。所以，带宽问题成为了已经成为了VR实际播放效果不好最大的瓶颈。

假设这个限制因素得已解决，相对普通直播，VR直播也是对CDN的节点覆盖度、带宽储备、稳定性的要求更高的。自建CDN和小型第三方CDN厂商都无法满足高效分发的需求。而且，直播场景下的带宽费用也是相对比较高昂的，这都是平台方需要考虑的问题。

另外，VR直播也对转码的实时性、终端解码性能等有很高的要求。鉴于其交互形式复杂，涉及到专业设备，还会存在比如市面上主流头显、移动设备的适配等问题。想要开始直播，需要投入大量的人力和物力进行研发。

面对如此困境，市面上能够解决带宽对播放效果的限制问题的解决方案提供商寥寥无几。为了用技术给用户带来更高价值的体验，阿里云在近期推出了VR视频解决方案，在保证360度3D 立体VR视频的高清晰度的前提下，基于视角进行流媒体动态切换，最大化节约传输带宽，实现低至 3Mbps 的 4K VR 分发，为用户带来突破性的高价值体验。

VR直播整体流程及关键技术

VR直播的流程与普通直播相似，主要包括：摄像机采集、PC端视频编解码及处理、视频推流、云端分发、客户端播放等。
 
一、 摄像机采集画面，通过360度球形摄像机采集现场视频
二、 前端一体机进行视频处理，这一步中包括多路视频流的拼接
三、 对VR视频进行编码，并推流到服务器或CDN
四、 高性能云端CDN进行视频分发，传输到离用户最近的节点
五、 客户端播放，这是VR直播和视频直播最大的不同之处，需要既支持沉浸式的头显体验，也提供降级的手持手机VR体验，可以满足用户随时随地轻量级的体验需求

阿里云VR解决方案在其中有四个关键技术与能力：

一、国标映射技术进行视频加工 有效节省75%码率
阿里巴巴VR技术团队经过不断探索实践，提出的映射技术被VR国家标准认可。在技术实现层，支持两种映射模型，对称映射模型可以最大化端到端的VR显示兼容性，非对称映射模型可以最大化关键画面区域的有效像素比和清晰度。

同时，阿里云VR视频解决方案基于非对称映射模型和动态流切换技术，视频流只传输用户观看的内容，用非常低的码率进行高清的VR点播和直播，最大化节约传输带宽，比普通的压缩技术可以节约75%左右的码率。
 

二、高清双目VR拍摄方案
解决了码率太大这个痛点，对于视频采集的清晰度就不再有限制了。阿里云VR视频解决方案支持高达20台摄像机的实时画面采集，摄像机间时间轴同步，搭配阿里云云导播台，可实现现场导播和多机位切换。采集完成后，解决方案支持360度3D画面实时拼接，并且具备高达10gb/s数据处理能力，完美储存极大码率4K超高清原始介质。进入图文包装阶段，阿里云VR解决方案搭建了国内首个3D VR实时图文包装系统，通过计算深度信息，将记分牌、角标等外插内容与全景3D画面实时融合，全方位展示信息，并且支持导入现场2D画面，使得VR直播是普通2D直播的加法，优化用户体验，这种技术曾应用在阿里云年会之上，得到了实际场景的验证。

三、全链路低延时实现
在整个VR直播系统的技术实现的方面，涉及到从采集端到云端再到播放端的技术，阿里云的VR视频解决方案，在云端上采用基于阿里云GPU+CPU技术的异构映射，处理和转码系统，在终端上可以实时进行多路视角流切换的播放器，终端实时切流延迟平均350ms左右。

四、全面保障
依托阿里云CDN在全球1200+节点和OSS可靠的数据存储，保障了直播内容的极速分发和媒资的安全、稳定。同时，该解决方案支持可视化业务监控，支持无缝容灾切流机制，保证运营安全。
 
除此之外，VR视频解决方案是从采集、转码、推流、分发到播放一站式的解决方案，采集端可进行快速图文包装，服务端一键入驻，全终端集成SDK，支持主流头显适配，并且已经在优酷视频经过3亿次播放验证，稳定可靠，值得用户信赖。

VR直播的典型适用场景

一、 Live直播
多机位多视角覆盖舞台，与杜比合作的全景声制作与分发，可以完美还原演唱会现场氛围，给粉丝带来身临其境的体验，图文包装乐曲和演员信息，画面实时互动更是增加了娱乐性，让粉丝全面、立体、多角度地和明星零距离接触。

二、 外景直播
在大型赛事、新闻、活动现场，VR直播可以消除观众与主持人、选手的距离感，突破原有的视角，高度还原事件现场。 

三、 秀场直播
VR直播可以给主播全新的表现能力，仅需升级一款移动VR设备进行直播，就可以达到相比普通直播更具沉浸感的直播效果，使用户打赏更投入

四、 游戏直播
游戏场景之下，平台可以精心制作内容，只需要接入VR的推流地址，即可进行直播形式的推流与分发，给观众更好的观看体验。


在未来，有了技术的加持，VR可以走进教育、医疗、购物、旅游、婚庆等各个领域，虚拟现实世界一定会带给用户更多惊喜，我们期待通过技术，更多人用更低的成本体验到世界的丰富和精彩。