[20100128]Android Opencore OpenMAX学习（2）

数据格式及OMX输入缓冲细节

1.1 帧起始代码

一般不用，H.264可能使用。

1.2 OMX缓冲区

三个值得信赖的关键参数

nFilledLen 缓冲区长度

nTimestamp 缓冲区时间戳

OMX_BUFFERLAG_ENDOFFRAME 缓冲区结束标志位

1.3多帧合并输入缓冲

一些音频信息，单帧过小（eg ARM），将其合并作为一个缓冲区处理。

nFilledLen为所有帧总长度，nTimestamp指向缓冲区第一帧时间。

1.4部分帧

视频解码单帧过大情况下，可能将单帧拆分后传递给缓冲区。

部分帧情况下，只有最后一帧的缓冲区才拥有OMX_BUFFERLAG_ENDOFFRAME。

部分帧缓冲区不会包含两帧信息。

流媒体可能包含多帧。

部分帧的nTimestamp应当相同。

总结：OMX输出缓冲区可能包含

——完整多帧

——完整单帧

——部分帧

1.5 错误的数据封装

多帧的部分帧封装 eg wrong（Frame1+Frame2 part）

1.6 Codec配置数据

Codec配置缓冲区使用OMX_BUFFERLAG_ENDOFFRAME 和OMX_BUFFERFLAG_CODECCONFIG标志位。

H.264的SPS和PPS使用独立的OMX输入缓冲区。

2 H264/AVC 解码器格式

Codec配置头部：

SPS和PPS NAL单元位于起始的OMX输入缓冲区。

SPS和PPS NALs使用独立的OMX输入缓冲区，并使用OMX_BUFFERLAG_ENDOFFRAME 和OMX_BUFFERFLAG_CODECCONFIG标记。

2.1 AVC NAL模式与AVC Frame模式

通过设置iOMXComponentUsesFullAVCFrame标志位，可以决定AVC数据使用哪种模式解码。

默认使用NAL模式，此种模式下OpenCORE框架同时提供完整单帧和部分帧输入缓冲区。

在Frame模式下，OpenCORE框架积累NALs并提供完整单帧给输入缓冲区。

OMX_OTHER_EXTRADATA结构体用来区分NAL边界。

如果iOMXComponentUsesFullAVCFrame和iOMXComponentUsesNALStratCodes都被置为OMX_TRUE，

NAL边界可被start codes区分，此时OMX_OTHER_EXTRADATA无用。

数据结构——NAL模式：

输入缓冲区包含一个或多个NAL，但只包含同一帧的NAL，一帧最后一个NAL才含有OMX_BUFFERLAG_ENDOFFRAME标志位。

数据结构——Frame模式：

每个输入缓冲区包含完整帧。

如果使用NAL start codes，可通过读取NAL start codes区分NAL边界。

否则使用OMX_OTHER_EXTRADATA结构体区分NAL边界。

在Frame模式中，每个缓冲区都含有OMX_BUFFERLAG_ENDOFFRAME标志位。

在Frame模式中，每个缓冲区都含有位于OMX_BUFFERLAGHEADERTYPE结构体nFlags区域的OMX_BUFFERLAG_EXTRADATA标志位。

缓冲区最后包含AVC frame，追加以下数据：

OMX_OTHER_EXTRADATATYPE extra;

OMX_OTHER_EXTRADATATYPE terminator;

extra.eType = OMX_ExtraDataNALSizeArray;

extra.nSize = 20+4*(number of NALs in the frame); // 20 is the size of

OMX_OTHER_EXTRADATATYPE structure + 4 bytes per NAL size

extra.nDataSize = 4 * (number of NALs in the frame)

extra.data[4*i] = size of the i-th NAL (data is declared as byte array – so offset is 4*i, since 4 bytes

is assigned to signal the size of each NAL unit)

terminator.eType = OMX_ExtraDataNone;

terminator.nSize = 20;

terminator.nDataSize = 0;

#define OMX_ExtraDataNALSizeArray 0x7F123321

通过获取OMX_OTHER_EXTRADATA结构体信息，可以得知每一帧包含NAL单元的数目并确定NAL边界。

一个例子：AVC Frame模式，包含2个NAL，包含extra数据结构

总结：

1）每个缓冲区都含有位于OMX_BUFFERLAGHEADERTYPE结构体nFlags区域的OMX_BUFFERLAG_EXTRADATA标志位

2）每个NAL的长度应当使用独立的4byte无符号整型数表示（eg OMX_U32）

3）所有NAL的长度被编码成OMX_U32的数组存放在buffer最后。

4）包含完整帧的缓冲区必须含有位于OMX_BUFFERLAGHEADERTYPE结构体nFlags区域的OMX_BUFFERLAG_ENDOFFRAME标志位。

5）一个独立的缓冲区不包含多帧数据。

3 YUV和RGB数据格式

OMX编码组件中，生肉提供YUV或者RGB格式，OpenCORE框架将提供一帧完成的YUR或RGB数据给OMX组件。