VR直播的挑战和关键技术

【讲师简介】

VR直播的挑战和关键技术

任福新,RGB联合创始人兼CTO。中科院计算所博士,互联网创业老兵。在数据挖掘,推荐系统,游戏,虚拟现实等领域有多年研发经验。2015合伙组建RGBVR团队,致力于VR视频点播和直播产品研发与关键技术研究,已推出国内首个全功能的VR视频播放器-小花看看,国内首个3DVR秀场直播平台-小花秀,并预计为行业开发者开放其直播服务。

VR直播火爆

据相关咨询公司有关数据报告,2016年,VR市场规模预计会达到56亿,到2020年,可以达到556亿,接近10倍的增长。网络直播,截至2015年年底,有平台200余家,在线人数有400万。在今年上半年手机直播火爆之后,直播平台数量保守估计已经有400家,在线人数也已经远远被刷新了,例如,Papi酱的网络首秀,对外宣称的同时在线人数有2000万。

VR市场、VR技术被寄予厚望,是一个新技术,一种黑科技。VR直播是大众娱乐一种很重要的内容形式,通过网络直播方式去沟通交流、交友、获取信息,已经成为一种潮流。VR直播的一个优势,就是能给大家带来身临其境的体验,成为一种很重要的内容消费形式。

VR直播的挑战

无论是开发者,还是硬件厂商,都会面临一件苦恼的事情:做出来了头盔,搭建了一个平台,买了很多版权,有很多内容,但是消费者就是不买账,号称有400万注册用户,但其实每天日活只有一两万。这时,一些问题就浮出水面:适合VR的内容形式与表演方式是什么样的?怎么拍摄高质量的VR视频?怎么分发和存储高分辨率和高码率的VR视频?如何呈现、交互?

VR直播流程

VR直播流程和普通直播流程很像,但要达到身临其境的感觉,在头盔端需要达到4K甚至更高的分辨率,所以整个流程的各个环节的要求都提高了,这时候就需要从端到端进行变革。合格的拍摄设备、高效的视频处理流程、够宽的网络传输、舒适的头显设备、精心打造的直播应用,这些都是VR直播的重要环节。

1. VR摄像机

VR直播的挑战和关键技术

如上图所示,从左到右依次是360度摄像机、180度3D摄像机、360度3D摄像机。360度摄像机的特点是能够覆盖360度角度,把图像采集下来,异构后续处理。180度3D摄像机虽然是180度,牺牲了一半的空间,但是具有3D功能,能够让用户感觉到景深,带来体验上的升级。360度3D摄像机是比较高级的设备,基本上能够全场景包围,还有立体感。

无论是哪一种形式的相机都需要解决几个问题:由于都是多颗镜头、多个传感器共同协作,首先需要有多颗镜头去覆盖想要覆盖的角度,360度或180度,需要做到多个传感器之间同步,同时开始拍摄,才能在后续进行比较好的拼接。此外,还需要色彩、白平衡等各种参数达到一致,方便后续处理。

2. 视频处理

1)首先是拼接:将多镜头拍摄的画面进行亮度色彩调整、对齐、畸变矫正、投影到球面等一系列处理后,合成为一幅完整画面的过程。

拼接的核心在于,分开不同的角度拍了很多照片之间会有重叠,需要找一个合适的位置把它们叠在一起,如何找到这个位置?用的最多方法是基于图像特征控制点的方法,基于图像的灰度变化特征,找到灰度变化差异最小的块叠在一起。

VR直播的挑战和关键技术

基于图像特征control points控制点

用这种方法完成拼接后,出来的效果整体上看不到接缝,能够找到一个点去匹配,但是如果仔细看还是能够发现,或者存在两个画面有不一致的点,或者接缝处会存在模糊的现象。因为两个镜头从不同的角度拍到的图像是同一个物体的不同侧面,其实是没有办法完美拼接到一起的,这个方法不可能做到完美的图像输出。很多离线视频之所以看上去找不到任何拼接痕迹,主要是后期进行了大量制作,需要很多人力逐帧做拼接,但在实时里没有机会做。

另外一种拼接方法是基于机器视觉optical flow光流法。大体原理是用光流法,计算两个微小变化画面之间主点对应时,点的对应关系求最优解的过程。一旦求出来同一个点在两张画面中不同位置,就可以算出视差和深度,这样就可以借助这个深度做差值,进而生成360度的3D图像。

2)投影变换

目前VR行业中最常用的投影方式是Equirectangular 等距矩形投影。VR直播的挑战和关键技术

VR直播的挑战和关键技术

可以认为是一个球沿着某一条经线撕扯开平铺在一个平面上,在平铺的过程中赤道线上的长度是不变的,两个极点就是两个点,尤其是当纬度越高面积很小,要平铺到球面时就要撕扯开,保留了多个相机之间画面仍然是连续的,虽然进行了拉深,但是仍然连续,所以这方便拍视频时监看,看现在演员的站位好不好,看有没有穿帮,仍然能从图像里看出来,非常方便做后期处理。但是,有一个很大的缺点,就是浪费了很多存储,在极点做了很大的拉扯,那里的图像面积很小,但却花了很多面积存储这部分。比如南极洲实际面积应该是在1400万平方公里,而非洲是4000万平方公里,在这个图上可以明显看出来南极洲比非洲大很多,那些存储都浪费掉了。

Cylindrical Equal-area 圆柱形等面积投影是改进的一种方法。VR直播的挑战和关键技术

VR直播的挑战和关键技术

既然靠近极点那部分的面积实际很小,在投影变换时做小,在y×sinφ,随着离极点越近,存储面积就越小,从这个图里可以看到南极洲面积被压缩得非常小,到极点就形成一条线。简单作一下对比,等距投影和柱形等积投影,用方格子可以明显看出来在靠近极点时处理不同,在接近中心的地方可以从画红框部分对比出来,在底下的示意图也能看出来,柱形等积投影清晰度会比等距投影清晰度高很多,这是在同等尺寸、同等存储空间的限制下。初步计算大约在10度能够提升50%的清晰度。

Cube map 立方体图投影

VR直播的挑战和关键技术

Cube map广泛用于计算机图形学中,比如unity中的天空盒、反射等应用都使用cubemap的方式来做。

优势是各面没有几何变形,各面像素点均匀分布,投影很方便,当从一个球面投影到Cube map操作很方便,反投影回去也很方便。现在视频编码时限是考虑到运动物体关联关系做,如果没有几何变形,这个关系能够利用得很好,存储压缩可以压到更低。像素均匀分布,在监看时也能够看得比较清楚,因为没有变形,能够清晰地看到表演者或这些物体的真实情况。可以节省25%的像素存储空间。

3)编码

把视频流拼接好,做好投影,在分发出去时要进行编码,否则视频量太大,没有办法做分发。现在一般常用的编码还是H264,一般4K清晰度的VR视频264编码码率大于10M,在编码和清晰度之间要找一个合适的点,理论上做到几兆都可以,一般压到6M,再小容易出现视频不清晰。265在现在很多存储,包括点播视频里已经用起来了,因为现在很多电视盒子都带265硬解功能,现在手机都是旗舰机才带4K265硬解,在很多手机还不支持的情况下,电视盒子已经开始支持了。尽快在直播中用到265,能够节省30%-50%的带宽信号。

3. 网络传输

编码之后的视频要进行网络分发,要解决的问题就是上行和下行。需要注意的问题有:尽量减少上行码率,使用云转码生成多码率视频,根据客户情况动态调整下行码率。

4. 直播应用

云端分发的视频流用户拿到之后,在直播应用里需要做几件事情,一是营造强的沉浸感,这是VR核心。二是强的临场感。三是方便的交互方式。此外还有高性能解码播放、适配各种手机和头显设备、低延迟、秒开、音画一致等。沉浸感的营造方式主要有全空间包围、直播画面大于人眼FOV、等比例还原、Avatar形象提升代入感等。临场感提升主要靠3D技术。语音聊天、送礼物等都是比较方便的交互方式。

5. 头显设备

头显设备中比较热门的是移动头显设备,一种是Cardboard,一种是GeraVR,还有一体机。指标参数方面:分辨率应该达到2K,计算能力需要到骁龙820,因为CPU运算和对视频解码要求比较高,解码能力要4K硬解。系统和交互主要是输入,比较看好Daydream输入,小手柄的设计很好,里面有陀螺仪,还有很多按键设计很不错。其他的要求主要有延迟低、FOV足够大、无畸变、无色散。

相关推荐