H.264/AVC (advanced video coding 高级视频编码)

  如果您对比使用过视维和其他品牌的视频会议产品，您会发现，在相同的网络条件下，使用相同的机器，视维产品的视频清晰度和流畅度要远远高于其他产品，视维是如何解决“视频质量”和“网络带宽占用”这个矛盾的呢？

　　在视频会议应用中，视频质量和网络带宽占用是矛盾的，通常情况下视频流占用的带宽越高则视频质量也越高；如要求高质量的视频效果，那么需要的网络带宽也越大；解决这一矛盾的钥匙当然是视频编解码技术。评判一种视频编解码技术的优劣，是比较在相同的带宽条件下，哪个视频质量更好；在相同的视频质量条件下，哪个占用的网络带宽更少。

　　视频编解码技术有两套标准，国际电联（ITU-T）的标准H.261、H.263、H.263+等；还有ISO 的MPEG标准Mpeg1、Mpeg2、Mpeg4等等。H.264/AVC是两大组织集合H.263+和Mpeg4的优点联合推出的最新标准，最具价值的部分无疑是更高的数据压缩比。在同等的图像质量条件下，H.264的数据压缩比能比H.263高2倍，比MPEG-4高1.5倍。

　　以下我们简单介绍H.264的概念和发展，并探讨H.264技术实用化的可能性

H.264/AVC是什么？

　　H.264/AVC标准是由ITU-T和ISO/IEC联合开发的，定位于覆盖整个视频应用领域，包括：低码率的无线应用、标准清晰度和高清晰度的电视广播应用、Internet上的视频流应用，传输高清晰度的DVD视频以及应用于数码相机的高质量视频应用等等。

　　ITU-T给这个标准命名为H.264（以前叫做H.26L），而ISO/IEC称它为MPEG-4 高级视频编码（Advanced Video Coding，AVC）,并且它将成为MPEG-4标准的第10部分。既然AVC是当前MPEG-4标准的拓展，那么它必然将受益于MPEG-4开发良好的基础结构（比如系统分层和音频等）。很明显，作为MPEG-4高级简洁框架（Advanced Simple Profile，ASP）的MPEG-4 AVC将会优于当前的MPEG-4视频压缩标准，它将主要应用在具有高压缩率和分层次质量需求的方向。

　　就像在下边“视频编码历史”表格中看到的，ITU-T和ISO/IEC负责以前所有的国际视频压缩标准的定制。到目前为止，最成功的视频标准是MPEG-2，它已经被各种市场领域所广泛接受比如DVD、数字电视广播（覆盖电缆和通讯卫星）和数字机顶盒。自从MPEG-2技术产生以来，新的H.264/MPEG-4 AVC标准在编码效率和质量上有了巨大的提高。随着时间的过去，在许多现有的应用领域，H.264/MPEG-4 AVC将会取代MPEG-2和MPEG-4，包括一些新兴的市场（比如ADSL视频）。

数字视频编解码技术的演变

　　国际标准通常是由国际标准化组织ISO在国际电信联盟 ITU的技术建议的基础上制订的。数字视频编解码标准也经历了多次变革，其演变进程如图所示：

　　很明显，H264标准使运动图像压缩技术上升到了一个更高的阶段，在较低带宽上提供高质量的图像传输是H.264的应用亮点。H.264的推广应用对视频终端、网守、网关、MCU等系统的要求较高，将有力地推动视频会议软设备在各个方面的不断完善。

H.264的核心竞争力

　　H.264最具价值的部分无疑是更高的数据压缩比。压缩技术的基本原理就是将视频文件中的非重要信息过滤，以便让数据能够更快地在网络中传输。在同等的图像质量条件下，H.264的数据压缩比能比当前DVD系统中使用的MPEG-2高2-3倍，比MPEG-4高1.5-2倍。正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。

　　在MPEG-4需要6Mbps的传输速率匹配时，H.264只需要3Mbps-4Mbps的传输速率。我们用交通运输来做更加形象的比喻：同样是用一辆卡车运输一个大箱子，假如MPEG-4能把箱子减重一半，那么H.264能把箱子减重为原来的1/4，在卡车载重量不变的情况下，H.264比MPEG-2让卡车的载货量增加了二倍。

　　H.264获得优越性能的代价是计算复杂度的大幅增加，例如分层设计、多帧参论、多模式运动估计、改进的帧内预测等，这些都显著提高了预测精度，从而获得比其他标准好得多的压缩性能。

　　不断提高的硬件处理能力和不断优化的软件算法是H.264得以风行的生存基础。早在十年前，主频为几十兆的CPU就达到了顶级，而如今普通的台式机，CPU的主频已经高达几千兆。按照摩尔定律的说法，芯片单位面积的容量每18个月翻一番，因此H.264所增加的运算复杂度相对于性能提升效果而言微不足道。更何况新的计算方法层出不穷，也相对缓解H.264对处理速度的饥渴需求。

H.264 与MPEG-4的比较

1、在极低码率（32-128Kbps）的情况下，H.264与MPEG-4相比具有性能倍增效应，即： 相同码率的H.26L媒体流和MPEG-4媒体流相比，H.26L拥有大约3个分贝的增益（画质水平倍增）。 32Kbps的H.26L媒体流，其信躁比与128K的MPEG-4媒体流相近。即在同样的画面质量下，H.264的码率仅仅为MPEG-4的四分之一。

　　2、 H.26L在中低码率下与MPEG-4比较： 在中低码率（32-128Kbps）的情况下，H.26L与MPEG-4相比具有性能倍增效应。

　　3、H.264与MPEG-4的画面效果比较

　　下图左为MPEG-4在码率为1Mbps情况下的画面质量，右为H.26L在码率为512Kbps情况下的画面质量。同样体现了H.26L的性能倍增。

　　H.264标准推出仅一年，大部分宣传支持H.264的终端厂商主要都是支持H.264的基本档次。因为H.264编解码复杂度的增加，对终端厂商的视频处理能力提出了挑战。现有的平台，要么就根本无法做H.264的编解码，要么就不能支持高码率下的编解码。而视维视频会议产品最大支持640*480，视频标准采用最新的高码率编解码技术，图像清晰流畅。在带宽节约39%的基础上视频质量的信噪比要比同类产品高出40%，是目前视频质量最好的编码技术。

　　下面我们深入探讨一下H.264/AVC核心技术。

H.264/AVC核心技术概览

　　就像在图中看到的一样，这个新的标准是由下面几个处理步骤组成的：

　　帧间和帧内预测
　　变换（和反变换）
　　量化（和反量化）
　　环路滤波
　　熵编码

　　单张的图片流组成了视频，它能分成16X16像素的“宏块”，这种分块方法简化了在视频压缩算法中每个步骤的处理过程。举例来说，从标准清晰度标准视频流解决方案（720X480）中截取的一幅图片被分成1350（45X30）个宏块，然后在宏块的层次进行进一步的处理。

帧间预测

　　改良的运动估计。运动估计用来确定和消除存在于视频流中不同图片之间的时间冗余。当运动估计搜索是根据过去方向的图片，那么被编码的图片称为“P帧图片”，当搜索是根据过去和将来两种方向的图片，那么被编码的图片被称为“B帧图片”。

　　为了提高编码效率，为了包含和分离在“H.264运动估计-改良的运动估计”图中的运动宏块，宏块被拆分成更小的块。然后，以前或将来的图片的运动矢量被用来预测一个给定的块。H.264/MPEG-4 AVC发明了一种更小的块，它具有更好的灵活性，在运动矢量方面可以有更高的预测精度。

H.264运动估计-改良的运动估计

帧内预测

　　不能运用运动估计的地方，就采用帧内估计用来消除空间冗余。内部估计通过在一个预定义好的集合中不同方向上的邻近块推测相邻像素来预测当前块。然后预测块和真实块之间的不同点被编码。这种方法是H.264/MPEG-4 AVC所特有的，尤其对于经常存在空间冗余的平坦背景特别有用。一个例子就是下边展示的“H.264内部估计”。

H.264内部估计

变换

　　运动估计和内部估计后的结果通过变换被从空间域转换到频率域。H.264/MPEG-4 AVC使用整数DCT4X4变换。而MPEG-2和MPEG-4使用浮点DCT8X8变换。

　　更小块的H.264/MPEG-4 AVC减少了块效应和明显的人工痕迹。整数系数消除了在MPEG-2和MPEG-4中进行浮点系数运算时导致的精度损失。

H.264变换

量化

　　变换后的系数被量化，减少了整数系数的预测量和消除了不容易被感知高频系数。这个步骤也用来控制输出的比特率维持在一个基本恒定的常量。

H.264量化/码率控制

环路滤波

　　H.264/MPEG-4 AVC标准定义了一个对16X16宏块和4X4块边界的解块过滤过程。在宏块这种情况下，过滤的目的是消除由于相邻宏块有不同的运动估计类型（比如运动估计和内部估计）或者不同的量化参数导致的人工痕迹。在块边界这种情况下，过滤的目的是消除可能由于变换/量化和来自于相邻块运动矢量的差别引起的人工痕迹。环路滤波通过一个内容自适应的非线性算法修改在宏块/块边界的同一边的两个像素。

熵编码

　　在熵编码之前，4X4的量化系数必须被重排序。根据这些系数原来采用的预测算法为运动估计或者内部估计的不同来选择不同的扫描类型创建一个重排序的串行化流。扫描类型按照从低频到高频的顺序排序这些系数。既然高频系数大多数趋向于零，那么利用游程编码就可以缩减零的数目，从而高效的达到熵编码的目的。

H.264熵编码-系数的串行化

　　在熵编码步骤通过映射符号的字节流来表示运动矢量，量化系数和宏块头。熵编码通过设计用一个较少的比特位数来表示频繁使用的符号，比较多的比特位数来表示不经常使用的符号。

视维产品中的H.264/AVC

　　H.264虽然具有如此优秀的特点，但是标准算法却需要耗费巨大的系统资源，硬件视频会议升级到H.264的困难在于此，原有的芯片无法支持如此大量的运算；软件视频会议系统升级到H.264的困难也在于此，普通PC的处理能力无法满足编码H.264的要求。

　　视维产品团队核心编解码研究组致力于H.264的编解码优化，并成功推出商用级H.264编解码技术，应用于视维网络视频会议系统Version 4.5。利用当今最优秀的编解码技术和快速H.264编解码算法，视维为客户提供了当今视频会议领域最杰出视频效果的产品。