分类： 嵌入式
2010-07-23 23:38:28
SDL（Simple DirectMedia Layer）是一个自由的跨平台的多媒体开发包，它被广泛的用于游戏、演示软件、模拟器、MPEG播放器等应用软件，SDL可以设置8bpp或更高的任意色彩深度的视频模式，也可以直接写入线性的图像帧缓冲framebuffer。SDL支持各种事件如键盘输入、鼠标输入、用户推出等。除此之外，SDL还提供完整的CD音频控制API，以及线程、定时器等工具函数。
本课题选用的SDL版本为1.2.13。
基于SDL显示模块主要分如下几步：
● SDL函数库的初始化，主要是设置SDL支持视频显示。
SDL_Init(SDL_INIT_VIDEO|SDL_INIT_TIMER)；
● 设置视频显示模式，SDL会尝试使用硬件加速，如果硬件加速失败，SDL会自动调整尽量使用与设置最为接近的模式。
screen = SDL_SetVideoMode (WIDTH, HEIGHT, 0, SDL_HWSURFACE
| SDL_DOUBLEBUF
| SDL_ANYFORMAT
| SDL_RESIZABLE);
● 设置窗口显示标题
SDL_WM_SetCaption ("USB Camera By Breeze", NULL);
● 创建YUV覆盖。多媒体领域中，尤其涉及到MPEG的播放时，通常使用YUV的颜色空间，如果MPEG的图片要在屏幕上显示则需要YUV到RGB的转化。某些显示芯片能够支持YUV到RGB的转换，免去软件转换的性能损失。这样，只要将YUV信息写到缓冲区，硬件就能自动完成YUV到RGB的转换并将图像显示到屏幕上。
overlay = SDL_CreateYUVOverlay(XDIM, YDIM, SDL_YV12_OVERLAY, screen);
● 将视频信息传送到显示设备上。SDL_LockSurface(screen);
SDL_LockYUVOverlay(overlay);
pict.data[0] = overlay->pixels[0];
pict.data[1] = overlay->pixels[2];
pict.data[2] = overlay->pixels[1];
pict.linesize[0] = overlay->pitches[0];
pict.linesize[1] = overlay->pitches[2];
pict.linesize[2] = overlay->pitches[1];
SDL_UnlockYUVOverlay(overlay);
SDL_UnlockSurface(screen);
SDL_DisplayYUVOverlay(overlay, &rect);
x264是优秀的免费的MPEG-4视频编码格式，基于H264算法，拥有如下特点：
● 采用CAVLC/CABAC多种算法编码
● 内置所有macroblock格式（16x16, 8x8, and 4x4 ）
● Inter P：所有的分割块（从16x16到4x4 ）
● Inter B：分割块从16x16到8x8
● 码率控制：恒定的分层编制，单次或多次的ABR压制，可选的VBV压制
● 场景剪切侦测
● 支持B-frame
● 能够任意编制B-frame命令行
● 无损模式
● 8x8和4x4的格式能够进行翻转或旋转
● 自定义精确的矩阵模板
● 可在多个CPU平行编码
● 隔行扫描的文件质量要好。它符合GPL许可证。
● 通过如下方式获得x264源码：
svn co svn://svn.videolan.org/x264/trunk x264
● 进行编译安装
./configure --prefix=/usr --enable-shared
配置为下：
Platform: X86
#make && make install
本课题利用FFMPEG将视频进行无损的压缩保存，x264编码能在尽量保证视频质量到同时做到大比例到压缩，是非常流行到MPEG-4编码，本课题选用x264编码压缩视频数据后保存为mp4文件。
● 配置FFMPEG 支持x264
./configure
--enable-gpl \
--enable-static \
--enable-xvid \
--enable-x264 \
--disable-shared
配置的最终效果为：
C compiler gcc
.align is power-of-two no
ARCH x86 (generic)
big-endian no
yasm yes
MMX enabled yes
MMX2 enabled yes
3DNow! enabled yes
3DNow! extended enabled yes
SSE enabled yes
SSSE3 enabled yes
CMOV enabled no
CMOV is fast no
EBX available yes
EBP available yes
10 operands supported yes
gprof enabled no
debug symbols yes
strip symbols yes
optimizations yes
static yes
shared yes
postprocessing support no
software scaler enabled yes
new filter support no
filters using lavformat no
video hooking yes
Imlib2 support no
FreeType support yes
network support yes
IPv6 support yes
threading support no
SDL support yes
libx264 enabled yes
libxvid enabled yes
vdpau enabled no
zlib enabled yes
bzlib enabled yes
Enabled encoders:
ac3 ljpeg pcm_u24le
adpcm_adx mjpeg pcm_u32be
adpcm_g726 mp2 pcm_u32le
adpcm_ima_qt mpeg1video pcm_u8
adpcm_ima_wav mpeg2video pcm_zork
adpcm_ms mpeg4 pgm
adpcm_swf msmpeg4v1 pgmyuv
adpcm_yamaha msmpeg4v2 png
alac msmpeg4v3 ppm
asv1 nellymoser qtrle
asv2 pam rawvideo
bmp pbm roq
dnxhd pcm_alaw roq_dpcm
dvbsub pcm_f32be rv10
dvdsub pcm_f32le rv20
dvvideo pcm_f64be sgi
ffv1 pcm_f64le snow
ffvhuff pcm_mulaw sonic
flac pcm_s16be sonic_ls
flashsv pcm_s16le svq1
flv pcm_s24be targa
gif pcm_s24daud tiff
h261 pcm_s24le vorbis
h263 pcm_s32be wmav1
h263p pcm_s32le wmav2
huffyuv pcm_s8 wmv1
jpegls pcm_u16be wmv2
libx264 pcm_u16le zlib
libxvid pcm_u24be zmbv
License: GPL
● 编译安装
#make && make install
最后在生成如下文件：
1）头文件
libavcodec/ libavformat/ libswscale/
libavdevice/ libavutil/
2）库文件
libavcodec.a libavdevice.a libavformat.a libavutil.a
libavcodec.so libavdevice.so libavformat.so libavutil.so
● 初始化FFMPEG函数库，初始化视频编码器
● 根据编码器初始化视频流结构体，设置比特率等
st = av_new_stream(oc, 0);
if (!st) {
fprintf(stderr, "Could not alloc stream\n");
exit(1);
}
c = st->codec;
c->codec_id = CODEC_ID_H264;
c->codec_type = CODEC_TYPE_VIDEO;
/* put sample parameters */
c->bit_rate = 1000;//40;
c->sample_rate = 800*1000;
c->time_base = (AVRational){1,25};//! 如果有延迟就改这里
c->gop_size = 12;
● 转换原始图像数据颜色空间到YUV420P
img_convert_ctx = sws_getCachedContext( img_convert_ctx,
cc->width, cc->height,
cc->pix_fmt,
cc->width, cc->height,
(PixelFormat)src_pix_fmt,
sws_flags,
NULL, NULL, NULL);
sws_scale(img_convert_ctx, picture->data, picture->linesize,
0, cc->height, destFrame->data, destFrame->linesize);
● 编码压缩
out_size = avcodec_encode_video(cc, m_video_outbuf, m_video_outbuf_size, picture);
● 将编码后的一帧图像数据写到文件里
pkt.stream_index= m_video_st->index;
pkt.data= m_video_outbuf;
pkt.size= out_size;
ret = av_write_frame(m_fc, &pkt);
● 最后写文件尾等信息到MP4目标文件，关闭文件，释放资源等。
avcodec_close(m_video_st->codec);
av_write_trailer(m_fc);
url_fclose(m_fc->pb);
av_free(m_fc);
本章讨论了PC端视频监控系统的设计和实现。JRTPLIB是开源的优秀的RTP函数库，PC端基于JRTPLIB实现的RTP接收模块。本章讨论了FFMPEG音视频函数库的开发技术，基于FFMPEG实现了图像颜色空间的转换，并通过SDL图形显示库将视频图像实时显示到屏幕上。H264是优秀的视频编码算法，本章通过FFMPEG实现了将图像数据按H264进行编码压缩，并保存成MP4文件。
