分类： LINUX
2008-10-06 21:41:05
关键词：嵌入式Linux Video4Linux S3C2410 内存映射
随着多媒体技术、网络技术的迅猛发展和后PC机时代的到来，利用嵌入式系统实现远程视频监控、可视电话和视频会议等应用已成为可能。为了实现这些应 用，实时获得视频数据是一个重要环节。针对这一点，本文在基于嵌入式Linux系统平台上，利用Video4Linux内核应用编程接口函数，实现了单帧 图像和视频连续帧的采集，并保存成文件的形式供进一步视频处理和网络传输用。
1 系统平台上的硬件系统
本文使用的系统平台硬件功能框图如图1所示。该平台采用Samsung公司的处理器S3C2410。该处理器内部集成了ARM公司 ARM920T处理器核的32位微控制器，资源丰富，带独立的16KB的指令Cache和16KB数据Cache、LCD控制器、RAM控制器、NAND 闪存控制器、3路UART、4路DMA、4路带PWM的Timer、并行I/O口、8路10位ADC、Touch Screen接口、I2C接口、I2S 接口、2个USB接口控制器、2路SPI，主频最高可达203MHz。在处理器丰富资源的基础上，还进行了相关的配置和扩展，平台配置了16MB 16位 的Flash和64MB 32位的SDRAM。通过以太网控制器芯片DM9000E扩展了一个网口，另外引出了一个HOST USB接口。通过在USB接 口上外接一个带USB口的摄像头，将采集到的视频图像数据放入输入缓冲区中。然后，或者保存成文件的形式，或者运行移植到平台上的图像处理程序，对缓冲的 图像数据直接进行相关处理，再保存并打成UDP包。最后，通过网络接口将图像发送到Internet上。本文只讨论其中视频采集部分的具体实现。
2 系统平台中的软件系统
2.1 Linux与嵌入式系统
Linux具有内核小，效率高，源代码开放，内核直接提供网络支持等优点。但嵌入式系统的硬件资源毕竟有限，因此不能直接把Linux作为 操作系统，需要针对具体的应用通过配置内核、裁减shell和嵌入式C库对系统定制，使整个系统能够存放到容量较小的Flash中。Linux的动态模块 加载，使Linux的裁减极为方便 ，高度模块化的部件使添加非常容易。正因为Linux的上述优点，在本文实现的平台上，使用的操作系统是对Linux 进行了定制的armlinux。它启用了MMU（内存管理单元），是针对支持MMU的处理器设计的。
2.2 开发环境的建立
绝大多数Linux的软件开发都以native方式进行，即本机开发、调试，本机运行的方式。这种方式通常不适于嵌入式系统的软件开发，因 为对于嵌入式系统的开发，它没有足够的资源在本机（即嵌入式系统平台）运行开发工具和调试工具。通常的嵌入式系统软件开发采用交叉编译调试的方式。交叉编 译调试环境建立在宿主机（即图1所示通过串口连接的宿主机PC）上，对应的开发板叫做目标板（即嵌入式ARM2410系统）。
通常宿主机和目标板上的处理器不同，宿主机通常为Intel处理器，而目标板如图1所示为SAMSUNG S3C2410，所以程序需要使 用针对处理器特点的编译器才能生成在相应平台上可运行的代码。GNU编译器提供这样的功能，在编译时，可以选择开发所需的宿主机和目标机，从而建立开发环 境。在进行嵌入式开发前的第一步工作就是把一台PC机作为宿主机开发机，并在其上安装指定的操作系统。对于嵌入式Linux，宿主机PC上应安装 Linux系统。之后，在宿主机上建立交叉编译调试的开发环境，开发环境的具体建立这里不细谈。本文采用移植性很强的C语言在宿主机上编写视频采集程序， 再利用交叉编译调试工具编译链接生成可执行代码，最后向目标平台移植。
3 视频采集的具体实现
上面提到系统平台上运行的是armlinux。在启动后，启用了MMU，系统进入保护模式，所以应用程序就不能直接读写外设的I/O区域 （包括I/O端口和I/O内存），这时一般就要借助于该外设的驱动来进入内核完成这个工作。本系统中的视频采集分两步实现：一是为USB口数码摄像头在内 核中写入驱动，二是要再写入上层应用程序获取视频数据。本文着重讨论后一步。
3.1 USB口数码摄像头的驱动实现
在Linux下，设备驱动程序可以看成Linux内核与外部设备之间的接口。设备驱动程序向应用程序屏蔽了硬件实现了的细节，使得应用程序 可以像操作普通文件一样来操作外部设备，可以使用和操作文件中相同的、标准的系统调用接口函数来完成对硬件设备的打开、关闭、读写和I/O控制操作，而驱 动程序的主要任务也就是要实现这些系统调用函数。本系统平台使用的嵌入式armLinux系统在内核主要功能上与Linux操作系统没本质区别，所以驱动 程序要实现的任务也一样，只要编译时使用的编译器、部分头文件和库文件等要涉及到具体处理器体系结构，这些都可以在Makefile文件中具体指定。
Video4Linux(简V4L)是Linux中关于视频设备的内核驱动，它为针对视频设备的应用程序编程提供一系列接口函数，这些视频 设备包括现今市场上流行的TV卡、视频捕捉卡和USB摄像头等。对于USB口摄像头，其驱动程序中需要提供基本的I/O操作接口函数open、read、 write、close的实现。对中断的处理实现，内存映射功能以及对I/O通道的控制接口函数ioct1的实现等，并把它们定义在 struct file_operations中。这样当应用程序对设备文件进行诸如open、close、read、write等系统调用操作 时，Linux内核将通过file_operations结构访问驱动程序提供的函数。例如，当应用程序对设备文件执行读操作时，内核将调用 file_operations结构中的read函数。在系统平台上对USB口数码摄像头驱动，首先把USB控制器驱动模块静态编译进内核，使平台中支持 USB接口，再在需要使用摄像头采集时，使用insmode动态加载其驱动模块，这样摄像头就可正常工作了，接着进行了下一步对视频流的采集编程。
3．2 Video4Linux下的摄像头采集编程
在USB摄像头被驱动后，只需要再编写一个对视频流采集的应用程序就可以了。根据嵌入式系统开发特征，先在宿主机上编写应用程序，再使用交 叉编译器进行编译链接，生成在目标平台的可执行文件。宿主机与目标板通信采用打印终端的方式进行交叉调试，成功后移植到目标平台。本文编写采集程序是在安 装Linux操作系统的宿主机PC机上进行的，下面是具体论述。
（1）程序中定义的数据结构
struct voide_capability grab_cap;
struct voide_picture grab_pic;
struct voide_mmap grab_buf;
struct voide_mbuf grab_vm；
这些数据结构都是由Video4Linux支持的，它们的用途如下：
*video_capability包含摄像头的基本信息，例如设备名称、支持的最大最小分辨率、信号源信息等，分别对应着结构体中成员变量 name[32]、maxwidth、maxheight、minwidth、minheight、channels(信号源个数)、type等；
*voide_picture包含设备采集图像的各种属性，如brightness(亮度)、hue(色调)、contrast(对比度)、whiteness(色度)、depth(深度)等；
*video_mmap用于内存映射；
*voido_mbuf利用mmap进行映射的帧信息，实际上是输入到摄像头存储器缓冲中的帧信息，包括size（帧的大小）、frames（最多支持的帧数）、offsets（每帧相对基址的偏移）。
程序中用到的主要系统调用函数有：open("/dev/voideo0",int flags)、close(fd)、 mmap(void *start,size_t length,int prot,int flags,int fd,off_t offset)、 munmap(void *start,size_tlength)和ioctl(int fd,int cmd,…)。
前面提到Linux系统中把设备看成设备文件，在用户空间可以通过标准的I/O系统调用函数操作设备文件，从而达到与设备通信交互的目的。 当然，在设备驱动中要提供对这些函数的相应支持。这里说明一下ioctl(int fd,int cmd,…)函数，它在用户程序中用来控制I/O通道， 其中，fd代表设备文件描述符，cmd代表用户程序对设备的控制命令，省略号一般是一个表示类型长度的参数，也可没有。
（2）采集程序实现过程
首先打开视频设备，摄像头在系统中对应的设备文件为/dev/video0，采用系统调用函数grab_fd=open("/dev /video0",O_RDWR),grab_fd是设备打开后返回的文件描述符（打开错误返回-1），以后的系统调用函数就可使用它来对设备文件进行操 作了。接着，利用ioct1（grab_fd,VIDIOCGCAP,&grab_cap）函数读取 struct video_capability中有关摄像头的信息。该函数成功返回后，这些信息从内核空间拷贝到用户程序空间grab_cap各成员分 量中，使用printf函数就可得到各成员分量信息，例如printf("maxheight=%d",grab_fd.maxheight)获得最大垂 直分辨率的大小。不规则用ioct1(grab_fd,VIDIOCGPICT,&grab_pic)函数读取摄像头缓冲中 voideo_picture信息。在用户空间程序中可以改变这些信息，具体方法为先给分量赋新值，再调用VIDIOCSPICT ioct1函数，例 如：
grab_fd.depth=3;
if(ioct1(grab_fd,VIDIOCSPICT,&grab_pic)<0)
{perror("VIDIOCSPICT");return -1;};
完成以上初始化设备工作后，就可以对视频图像截取了，有两种方法：一种是read()直接读取；另外一种mmap()内存映射。 Read()通过内核缓冲区来读取数据；而mmap()通过把设备文件映射到内存中，绕过了内核缓冲区，最快的磁盘访问往往还是慢于最慢的内存访问，所以 mmap()方式加速了I/O访问。另外，mmap()系统调用使得进程之间通过映射同一文件实现共享内存，各进程可以像访问普通内存一样对文件进行访 问，访问时只需要使用指针而不用调用文件操作函数。因为mmap()的以上优点，所以在程序实现中采用了内存映射方式，即mmap()方式。
利用mmap()方式视频裁取具体进行操作如下。
①先使用ioct1(grab_fd,VIDIOCGMBUF,&grab_vm)函数获得摄像头存储缓冲区的帧信息，之后修改voideo_mmap中的设置，例如重新设置图像帧的垂直及水平分辨率、彩色显示格式。可利用如下语句
grab_buf.height=240;
grab_buf.width=320;
grab_buf.format=VIDEO_PALETTE_RGB24;
②接着把摄像头对应的设备文件映射到内存区，具体使用grab_data= (unsigned char*)mmap(0,grab_vm.size,PROT_READ|PROT_WRITE,MAP_SHARED,grad_fd,0) 操作。这样设备文件的内容就映射到内存区，该映射内容区可读可写并且不同进程间可共享。该函数成功时返回映像内存区的指针，挫败时返回值为-1。
下面对单帧采集和连续帧采集进行说明：
*单帧采集。在上面获取的摄像头存储缓冲区帧信息中，最多可支持的帧数（frames的值）一般为两帧。对于单帧采集只需设置 grab_buf.frame=0，即采集其中的第一帧，使用ioctl(grab_fd,VIDIOCMCAPTURE,&grab_buf) 函数，若调用成功，则激活设备真正开始一帧图像的截取，是非阻塞的。接着使用ioct1(grab_fd,VIDIOCSYNC,&frame) 函数判断该帧图像是否截取完毕，成功返回表示截取完毕，之后就可把图像数据保存成文件的形式。
*连续帧采集。在单帧的基础上，利用grab_fd.frames值确定采集完毕摄像头帧缓冲区帧数据进行循环的次数。在循环语句中，也是使用 VIDIOCMCCAPTURE ioct1和VIDIOCSYNC ioctl函数完成每帧截取，但要给采集到的每帧图像赋地址，利用语句 buf=grab_data+grab_vm.offsets[frame],然后保存文件的形式。若要继续采集可再加一个外循环，在外循环语句只要给原 来的内循环再赋frame=0即可。
4 小结
笔者最后在宿主机PC上使用交叉编译器编译链接连续帧采集程序（以双帧采集为例并保存成bmp文件文件形式）使之生成可执行代码，并完成了 向目标平台的移植。为了进一步观察采集的图像效果，笔者在目标平台带网络支持的基础上，编写了一个简单的网络通信程序，把采集到并保存为bmp的图像文件 通过网络传输到PC机上进行显示，把采集到并保存为bmp的图像文件通过网络传输到PC机上进行显示，通过对效果的分析，再回到采集程序中重新设置 video_picture中的信息，如亮度、对比度等和voide_mmap中的分辨率，重新移植以达到最好效果为准。
在图1中的嵌入式系统平台上，应用本文所述方法完成视频采集工作，再加上相关的视频处理并接入网络，就构成了一个智能终端设备，可用于工厂、银行及小区等场合全天候的智能监控，具有广阔的市场和应用前景。
