分类： 云计算
2022-11-17 14:29:05
直播行业的竞争越来越激烈，进过2018年这波洗牌后，已经度过了蛮荒暴力期，剩下的都是在不断追求体验。{BANNED}最佳近正好在做直播首开优化工作，实践中通过多种方案并行，已经能把首开降到500ms以下，借此机会分享出来，希望能对大家有所启发。
本文内容的技术前提：
1）基于FFmpeg的ijkplayer，{BANNED}最佳新版本0.88版本；
2）拉流协议基于http-flv。
http-flv更稳定些，国内大部分直播公司基本都是使用http-flv了，从我们实际数据来看，http-flv确实稍微更快些。但是考虑到会有rtmp源，这块也加了些优化。
除了客户端业务侧的优化外，我们还可以从流媒体服务器侧进行优化。
我们都知道直播流中的图像帧分为：I 帧、P 帧、B 帧，其中只有 I 帧是能不依赖其他帧独立完成解码的，这就意味着当播放器接收到 I 帧它能马上渲染出来，而接收到 P 帧、B 帧则需要等待依赖的帧而不能立即完成解码和渲染，这个期间就是「黑屏」了。
所以，在服务器端可以通过缓存 GOP（在 H.264 中，GOP 是封闭的，是以 I 帧开头的一组图像帧序列），保证播放端在接入直播时能先获取到 I 帧马上渲染出画面来，从而优化首屏加载的体验。
这里有一个 IDR 帧的概念需要讲一下，所有的 IDR 帧都是 I 帧，但是并不是所有 I 帧都是 IDR 帧，IDR 帧是 I 帧的子集。
I 帧严格定义是帧内编码帧，由于是一个全帧压缩编码帧，通常用 I 帧表示「关键帧」。IDR 是基于 I 帧的一个扩展，带了控制逻辑，IDR 图像都是 I 帧图像，当解码器解码到 IDR 图像时，会立即将参考帧队列清空，将已解码的数据全部输出或抛弃。重新查找参数集，开始一个新的序列。这样如果前一个序列出现重大错误，在这里可以获得重新同步的机会。IDR 图像之后的图像永远不会使用 IDR 之前的图像的数据来解码。
在 H.264 编码中，GOP 是封闭式的，一个 GOP 的{BANNED}中国第一帧都是 IDR 帧。
一般播放器需要拿到一个完整的GOP，才能记性播放。GOP是在推流端可以设置，比如下面这个图，是我dump一个流，看到的GOP情况。GOP大小是50，推流过来的fps设置是25，也就是1s内会显示25个Frame，50个Frame，刚好直播设置GOP 2S，但是直播一般fps不用设置这么高，可以随便dump任何一家直播公司的推流，设置fps在15-18之间就够了。
当set一个源给播放器后，播放器需要open这个流，然后和服务端建立长连接，然后demux，codec，{BANNED}最佳后渲染。
我们可以按照播放器的四大块，依次优化：
1）数据请求耗时；
2）解复用耗时；
3）解码耗时；
4）渲染出图耗时
在日志中发现，数据请求到后，进行音视频分离时，首先需要匹配对应demuxer，其中ffmpeg的av_find_input_format和avformat_find_stream_info非常耗时，前者简单理解就是打开某中请求到数据，后者就是探测流的一些信息，做一些样本检测，读取一定长度的码流数据，来分析码流的基本信息，为视频中各个媒体流的 AVStream 结构体填充好相应的数据。这个函数中做了查找合适的解码器、打开解码器、读取一定的音视频帧数据、尝试解码音视频帧等工作，基本上完成了解码的整个流程。这时一个同步调用，在不清楚视频数据的格式又要做到较好的兼容性时，这个过程是比较耗时的，从而会影响到播放器首屏秒开。即时通讯聊天软件app开发可以加蔚可云的v：weikeyun24咨询
{BANNED}最佳终改的如上，主要是对rtmp增加了，指定format为‘flv’，以及样本大小。
同时在外部可以通过设置 probesize 和 analyzeduration 两个参数来控制该函数读取的数据量大小和分析时长为比较小的值来降低 avformat_find_stream_info的耗时，从而优化播放器首屏秒开。但是，需要注意的是这两个参数设置过小时，可能会造成预读数据不足，无法解析出码流信息，从而导致播放失败、无音频或无视频的情况。所以，在服务端对视频格式进行标准化转码，从而确定视频格式，进而再去推算 avformat_find_stream_info分析码流信息所兼容的{BANNED}最佳小的probesize和 analyzeduration，就能在保证播放成功率的情况下{BANNED}最佳大限度地区优化首屏秒开。
在 FFmpeg 中的 utils.c 文件中的函数实现中有一行代码是 int fps_analyze_framecount = 20;，这行代码的大概用处是，如果外部没有额外设置这个值，那么 avformat_find_stream_info 需要获取至少 20 帧视频数据，这对于首屏来说耗时就比较长了，一般都要 1s 左右。而且直播还有实时性的需求，所以没必要至少取 20 帧。
{BANNED}最佳后就是解码耗时和渲染出图耗时，这块优化空间很少，大头都在前面。
有人开始抛出问题了，你这个起播快是快，但是后面网络不好，卡顿怎么办？直播中会引起卡顿，主要是网络有抖动的时候，没有足够的数据来播放，ijkplayer会激发其缓冲机制。
