分类： C/C++
2012-04-29 14:43:23
一、OpenCV概述与功能介绍
OpenCV是Intel®开源计算机视觉库。它由一系列 C 函数和少量 C++ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV 拥有包括 300 多个C函数的跨平台的中、高层 API。它不依赖于其它的外部库——尽管也可以使用某些外部库。
OpenCV 对非商业应用和商业应用都是免费（FREE）的。（细节参考 license）。代码下载地址：
OpenCV 为Intel® Integrated Performance Primitives (IPP) 提供了透明接口。 这意味着如果有为特定处理器优化的的 IPP 库，OpenCV 将在运行时自动加载这些库。 更多关于 IPP 的信息请参考：
它有以下特点：
1) 开放的C/C++源码
2) 基于Intel处理器指令集开发的优化代码
3) 统一的结构和功能定义
4) 强大的图像和矩阵运算能力
5) 方便灵活的用户接口
6）同时支持MS-WINDOWS、LINUX平台
作为一个基本的计算机视觉、图像处理和模式识别的开源项目，OPENCV可以直接应用于很多领域，作为第二次开发的理想工具。
OpenCV功能介绍：
OpenCV包含如下几个部分：
Cxcore：一些基本函数（各种数据类型的基本运算等）。
Cv：图像处理和计算机视觉功能（图像处理，结构分析，运动分析，物体跟踪，模式识别，摄像机定标）
Ml：机器学习模块，目前内容主要为分类器。
Cvaux：一些实验性的函数（ViewMorphing，三维跟踪，PCA，HMM）
Highgui：用户交互部分，（GUI，图象视频I/O，系统调用函数）
二、OpenCV安装
OpenCV2.0刚刚发布，VC 2008 Express下安装OpenCV2.0请参考：
三、基础知识：
1、opencv 数据类型转换操作小结
（1）图像中或矩阵数组中数据格式转换：
cvConvert( image, image_temp );
cvConvertScale( const CvArr* src, CvArr* dst, double scale CV_DEFAULT(1), double shift CV_DEFAULT(0) );
cvScale(src, dst);
// Converts CvArr (IplImage or CvMat,...) to CvMat.
cvGetMat( const CvArr* arr, CvMat* header, int* coi CV_DEFAULT(NULL), int allowND CV_DEFAULT(0));
cvCopy( const CvArr* src, CvArr* dst, const CvArr* mask ); //可以实现对不规制图形的提取
（2）多通道图像转成数组中数据
cvGetMat( const CvArr* array, CvMat* mat, int* pCOI, int allowND )
cvCopy(img,mat);
// Converts CvArr (IplImage or CvMat,...) to CvMat.
cvGetMat( const CvArr* arr, CvMat* header, int* coi CV_DEFAULT(NULL), int allowND CV_DEFAULT(0));
(3) 数组中数据转成多通道图像
cvCopy( const CvArr* src, CvArr* dst, const CvArr* mask=NULL );
cvGetMat( const CvArr* arr, CvMat* header, int* coi CV_DEFAULT(NULL), int allowND CV_DEFAULT(0));
2、二值化函数cvAdaptiveThreshold和cvThreshold的一些发现
自适应二值化计算像素的邻域的平均灰度，来决定二值化的值。如果整个区域几乎是一样灰度的，则无法给出合适的结果了。之所以看起来像边缘检测，是因为窗尺寸设置的小，可以改大一点试一试。
cvAdaptiveThreshold( src, dst, 255, CV_ADAPTIVE_THRESH_MEAN_C, CV_THRESH_BINARY, 21); //窗设置为21
没有万能的二值化方法，具体问题具体分析，自适应二值化对于光照不均的文字，条码等，效果很好。窗口大小选择，考虑被检测物体尺寸。自适应阈值化中的阈值完全是由你所选择的邻域所确定的，如果你所选择的邻域非常小（比如3×3），那么很显然阈值的“自适应程度”就非常高，这在结果图像中就表现为边缘检测的效果。如果邻域选择的比较大（比如31×31），那么阈值的“自适应程度”就比较低，这在结果图像中就表现为二值化的效果。
3、用 gabor 和 AdaBoost （MultiBoost ）做目标检测图像识别
4、视频跟踪方法
跟踪的方法我知道的有KLMAN滤波.粒子滤波.camshift.meanshift。
基于Mean Shift的阈值分割：http://arslan-ai.spaces.live.com/blog/cns!CAE7EF891A2218BA!123.entry5、怎么访问图像像素
（坐标是从0开始的，并且是相对图像原点的位置。图像原点或者是左上角 (img->origin=IPL_ORIGIN_TL) 或者是左下角(img->origin=IPL_ORIGIN_BL) ）
假设有 8-bit 1－通道的图像 I (IplImage* img)：
---------------------------------------------------------------------
I(x,y) ~ ((uchar*)(img->imageData + img->widthStep*y))[x]
---------------------------------------------------------------------
假设有 8-bit 3-通道的图像 I (IplImage* img)：
---------------------------------------------------------------------
I(x,y)blue ~ ((uchar*)(img->imageData + img->widthStep*y))[x*3]
I(x,y)green ~ ((uchar*)(img->imageData + img->widthStep*y))[x*3+1]
I(x,y)red ~ ((uchar*)(img->imageData + img->widthStep*y))[x*3+2]
------------------------------------------------------------------------------
例如，给点 (100,100) 的亮度增加 30 ，那么可以这样做：
------------------------------------------------------------------------------
CvPoint pt = {100,100};
((uchar*)(img->imageData + img->widthStep*pt.y))[pt.x*3] += 30;
((uchar*)(img->imageData + img->widthStep*pt.y))[pt.x*3+1] += 30;
((uchar*)(img->imageData + img->widthStep*pt.y))[pt.x*3+2] += 30;
-----------------------------------------------------------------------------
或者更高效地：
-----------------------------------------------------------------------------
CvPoint pt = {100,100};
uchar* temp_ptr = &((uchar*)(img->imageData + img->widthStep*pt.y))[pt.x*3];
temp_ptr[0] += 30;
temp_ptr[1] += 30;
temp_ptr[2] += 30;
-----------------------------------------------------------------------------
假设有 32-bit 浮点数, 1-通道 图像 I (IplImage* img)：
-----------------------------------------------------------------------------
I(x,y) ~ ((float*)(img->imageData + img->widthStep*y))[x]
-----------------------------------------------------------------------------
现在，一般的情况下，假设有 N-通道，类型为 T 的图像：
-----------------------------------------------------------------------------
I(x,y)c ~ ((T*)(img->imageData + img->widthStep*y))[x*N + c]
-----------------------------------------------------------------------------
你可以使用宏 CV_IMAGE_ELEM( image_header, elemtype, y, x_Nc )
-----------------------------------------------------------------------------
I(x,y)c ~ CV_IMAGE_ELEM( img, T, y, x*N + c )
-----------------------------------------------------------------------------
也有针对各种图像（包括 4 通道图像）和矩阵的函数（cvGet2D, cvSet2D）， 但是它们非常慢。
6、如何访问矩阵元素？
方法是类似的（下面的例子都是针对 0 起点的列和行）
设有 32-bit 浮点数的实数矩阵 M (CvMat* mat)：
----------------------------------------------------------------------------
M(i,j) ~ ((float*)(mat->data.ptr + mat->step*i))[j]
----------------------------------------------------------------------------
设有 64-bit 浮点数的复数矩阵 M (CvMat* mat)：
----------------------------------------------------------------------------
Re M(i,j) ~ ((double*)(mat->data.ptr + mat->step*i))[j*2]
Im M(i,j) ~ ((double*)(mat->data.ptr + mat->step*i))[j*2+1]
----------------------------------------------------------------------------
对单通道矩阵，有宏 CV_MAT_ELEM( matrix, elemtype, row, col ), 例如对 32-bit
浮点数的实数矩阵：
M(i,j) ~ CV_MAT_ELEM( mat, float, i, j ),
例如，这儿是一个 3x3 单位矩阵的初始化：
CV_MAT_ELEM( mat, float, 0, 0 ) = 1.f;
CV_MAT_ELEM( mat, float, 0, 1 ) = 0.f;
CV_MAT_ELEM( mat, float, 0, 2 ) = 0.f;
CV_MAT_ELEM( mat, float, 1, 0 ) = 0.f;
CV_MAT_ELEM( mat, float, 1, 1 ) = 1.f;
CV_MAT_ELEM( mat, float, 1, 2 ) = 0.f;
CV_MAT_ELEM( mat, float, 2, 0 ) = 0.f;
CV_MAT_ELEM( mat, float, 2, 1 ) = 0.f;
CV_MAT_ELEM( mat, float, 2, 2 ) = 1.f;
7、如何在 OpenCV 中处理我自己的数据
设你有 300x200 32-bit 浮点数 image/array, 也就是对一个有 60000 个元素的数组。
----------------------------------------------------------------------------
int cols = 300, rows = 200;
float* myarr = new float[rows*cols];
// 第一步，初始化 CvMat 头
CvMat mat = cvMat( rows, cols,
CV_32FC1, // 32 位浮点单通道类型
myarr // 用户数据指针（数据没有被复制）
);
// 第二步，使用 cv 函数， 例如计算 l2 (Frobenius) 模
double norm = cvNorm( &mat, 0, CV_L2 );
...
delete myarr;
其它情况在参考手册中有描述。 见 cvCreateMatHeader，cvInitMatHeader，cvCreateImageHeader， cvSetData 等
8、如何读入和显示图像
----------------------------------------------------------------------------
/* usage: prog
#include "cv.h"
#include "highgui.h"
int main( int argc, char** argv )
{
IplImage* img;
if( argc == 2 && (img = cvLoadImage( argv[1], 1)) != 0 )
{
cvNamedWindow( "Image view", 1 );
cvShowImage( "Image view", img );
cvWaitKey(0); // 非常重要，内部包含事件处理循环
cvDestroyWindow( "Image view" );
cvReleaseImage( &img );
return 0;
}
return -1;
}
9、图像的通道
描述一个像素点，如果是灰度，那么只需要一个数值来描述它，就是单通道。 如果一个像素点，有RGB三种颜色来描述它，就是三通道。4通道通常为RGBA，在某些处理中可能会用到。 2通道图像不常见，通常在程序处理中会用到，如傅里叶变换，可能会用到，一个通道为实数，一个通道为虚数，主要是编程方便。
10、HBITMAP 转换IplImage、IplImage转换为DIB
// HBITMAP 转换IplImage
IplImage* hBitmap2Ipl(HBITMAP hBmp)
{
BITMAP bmp;
::GetObject(hBmp,sizeof(BITMAP),&bmp);
int nChannels = bmp.bmBitsPixel == 1 ? 1 : bmp.bmBitsPixel/8 ;
int depth = bmp.bmBitsPixel == 1 ? IPL_DEPTH_1U : IPL_DEPTH_8U;
IplImage* img = cvCreateImageHeader( cvSize(bmp.bmWidth, bmp.bmHeight)
, depth, nChannels );
img->imageData =
(char*)malloc(bmp.bmHeight*bmp.bmWidth*nChannels*sizeof(char));
memcpy(img->imageData,(char*)(bmp.bmBits),bmp.bmHeight*bmp.bmWidth*nChannels);
return img;
}
void createDIB(IplImage* &pict){
IplImage * Red=cvCreateImage( cvSize(IMAGE_WIDTH,IMAGE_HEIGHT),
IPL_DEPTH_8U, 1 );
IplImage * Green=cvCreateImage( cvSize(IMAGE_WIDTH,IMAGE_HEIGHT),
IPL_DEPTH_8U, 1 );
IplImage * Blue=cvCreateImage( cvSize(IMAGE_WIDTH,IMAGE_HEIGHT),
IPL_DEPTH_8U, 1 );
cvSetImageCOI( pict, 3);
cvCopy(pict,Red);
cvSetImageCOI( pict, 2);
cvCopy(pict,Green);
cvSetImageCOI(pict, 1);
cvCopy(pict,Blue);
//Initialize the BMP display buffer
bmi = (BITMAPINFO*)buffer;
bmih = &(bmi->bmiHeader);
memset( bmih, 0, sizeof(*bmih));
bmih->biSize = sizeof(BITMAPINFOHEADER);
bmih->biWidth = IMAGE_WIDTH;
bmih->biHeight = IMAGE_HEIGHT; // -IMAGE_HEIGHT;
bmih->biPlanes = 1;
bmih->biCompression = BI_RGB;
bmih->biBitCount = 24;
palette = bmi->bmiColors;
for( int i = 0; i < 256; i++ ){
palette[i].rgbBlue = palette[i].rgbGreen = palette[i].rgbRed =
(BYTE)i;
palette[i].rgbReserved = 0;
}
cvReleaseImage(&Red);
cvReleaseImage(&Green);
cvReleaseImage(&Blue);
}
// HBITMAP转换DIB
HBITMAP plIamgeToDIB(IplImage *pImg,int Size)
{
HDC hDC = ::CreateCompatibleDC(0);
BYTE tmp[sizeof(BITMAPINFO)+255*4];
BITMAPINFO *bmi = (BITMAPINFO*)tmp;
HBITMAP hBmp;
int i;
memset(bmi,0,sizeof(BITMAPINFO));
bmi->bmiHeader.biSize = sizeof(BITMAPINFOHEADER);
bmi->bmiHeader.biWidth = pImg->width;
bmi->bmiHeader.biHeight = -pImg->height;
bmi->bmiHeader.biPlanes = Size;
bmi->bmiHeader.biBitCount = pImg->nChannels * pImg->depth;
bmi->bmiHeader.biCompression = BI_RGB;
bmi->bmiHeader.biSizeImage = pImg->width*pImg->height*1;
bmi->bmiHeader.biClrImportant =0 ;
switch(pImg->nChannels * pImg->depth)
{
case 8 :
for(i=0 ; i < 256 ; i++)
{
bmi->bmiColors[i].rgbBlue = i;
bmi->bmiColors[i].rgbGreen= i;
bmi->bmiColors[i].rgbRed= i;
}
break;
case 32:
case 24:
((DWORD*) bmi->bmiColors)[0] = 0x00FF0000; /* red mask */
((DWORD*) bmi->bmiColors)[1] = 0x0000FF00; /* green mask */
((DWORD*) bmi->bmiColors)[2] = 0x000000FF; /* blue mask */
break;
}
hBmp = ::CreateDIBSection(hDC,bmi,DIB_RGB_COLORS,NULL,0,0);
SetDIBits(hDC,hBmp,0,pImg->height,pImg->imageData,bmi,DIB_RGB_COLORS);
::DeleteDC(hDC);
return hBmp;
}
11、图像分割
做分水岭图像分割：cvWatershed
meanshift图像分割：PyrMeanShiftFiltering
用金字塔实现图像分割：cvPyrSegmentation
http://blog.csdn.net/gnuhpc/archive/2009/06/21/4286186.aspx
大津算法阈值分割：http://hi.baidu.com/lazycat3611/blog/item/491febde06bc605d94ee37e8.html
最大熵阈值分割算法：
12、边缘检测
cvCanny：采用 Canny 算法做边缘检测
cvLaplace：laplace边缘检测
cvSobel：Sobel边缘检测
cvCornerHarris：哈里斯（Harris）边缘检测
13、匹配
cvCalcEMD2：两个加权点集之间计算最小工作距离
cvMatchShapes：比较两个形状
cvMatchTemplate：比较模板和重叠的图像区域
基于opencv的sift图像匹配算法vc++源码：
14、分类器
boosted分类器：分类器的boosting技术有四种： Discrete Adaboost, Real Adaboost, Gentle Adaboost and Logitboost。
HAAR分类器，自于haar小波运算。
神经网络分类器
SVM分类器，SVM是一个分类器，原始的SVM是一个两类分类的分类器。可以通过1:1或者1:n的方式来组合成一个多类分类的分类器。天生通过核函数的使用支持高维数据的分类。从几何意义上讲，就是找到最能表示类别特征的那些向量(支持向量SV),然后找到一条线，能最大化分类的 Margin。libSVM是一个不错的实现。
http://blog.csdn.net/byxdaz/archive/2009/11/28/4893935.aspx
15、如何用OpenCV训练自己的分类器
http://blog.csdn.net/byxdaz/archive/2009/11/30/4907211.aspx
16、运动目标跟踪与检测
CamShift：
MeanShift：
http://blog.csdn.net/xauatnwpu/archive/2009/10/29/4743058.aspx
17、目标检测
目标检测：http://wenjuanhe.blog.163.com/blog/static/745017252009102101728454/
人脸检测的代码分析：
http://wenjuanhe.blog.163.com/blog/static/74501725200910391512151/
基于Haar-like特征的层叠推进分类器快速目标检测：
http://wenjuanhe.blog.163.com/blog/static/7450172520091039180911/
18、检测直线、圆、矩形
检测直线：cvHoughLines，cvHoughLines2
检测圆：cvHoughCircles
检测矩形：opencv中没有对应的函数，下面有段代码可以检测矩形，是通过先找直线，然后找到直线平行与垂直的四根线。
http://blog.csdn.net/byxdaz/archive/2009/12/01/4912136.aspx
19、直方图
typedef struct CvHistogram
{
int type;
CvArr* bins; //用于存放直方图每个灰度级数目的数组指针，数组在cvCreateHist 的时候创建，其维数由cvCreateHist 确定
float thresh[CV_MAX_DIM][2]; // for uniform histograms
float** thresh2; // for non-uniform histograms
CvMatND mat; // embedded matrix header for array histograms
}CvHistogram;
创建直方图 CvHistogram* cvCreateHist( int dims, int* sizes, int type,float** ranges=NULL, int uniform=1 );
dims 直方图维数的数目
sizes 直方图维数尺寸的数组
type 直方图的表示格式: CV_HIST_ARRAY 意味着直方图数据表示为多维密集数组 CvMatND; CV_HIST_TREE 意味着直方图数据表示为多维稀疏数组 CvSparseMat.
ranges 图中方块范围的数组. 它的内容取决于参数 uniform 的值。这个范围的用处是确定何时计算直方图或决定反向映射（backprojected ），每个方块对应于输入图像的哪个/哪组值。
uniform 归一化标识。 如果不为0，则ranges[i]（0<=i
OpenCV统计应用-CvHistogram直方图资料：http://blog.csdn.net/koriya/archive/2008/11/21/3347369.aspx
20、物体跟踪
http://blog.csdn.net/gnuhpc/category/549384.aspx?PageNumber=4
21、在opencv中暂时无法打开二值图像，它里面至少是8位的图像。0，表示黑点；255，表示白点。
22、cvcanny Canny 算法做边缘检测
void cvCanny( const CvArr* image, CvArr* edges, double threshold1,double threshold2, int aperture_size=3 );
一般threshold=threshol2*0.4 （经验值）。
23、cvCopy与cvCloneImage的区别
/* Copies source array to destination array */
CVAPI(void) cvCopy( const CvArr* src, CvArr* dst,
const CvArr* mask CV_DEFAULT(NULL) );
/* Creates a copy of IPL image (widthStep may differ) */
CVAPI(IplImage*) cvCloneImage( const IplImage* image );
如果设定了ROI等参数的时候，cvCopy只是复制被设定的区域，复制到一个和所设定参数相吻合的新的IplImage中
而cvCloneImage则是将整个IplImage结构复制到新的IplImage中，其中的ROI等参数也会一同复制。新的IplImage将会和原来的一模一样。
cvCopy的原型是：
void cvCopy( const CvArr* src, CvArr* dst, const CvArr* mask=NULL );
在使用这个函数之前，你必须用cvCreateImage（）一类的函数先开一段内存，然后传递给dst。cvCopy会把src中的数据复制到dst的内存中。如果mask(x,y)=0，则不对src/dst的(x,y)操作操作；如果mask(x,y)!=0, 则操作。
cvCloneImage的原型是：
IplImage* cvCloneImage( const IplImage* image );
在使用函数之前，不用开辟内存。该函数会自己开一段内存，然后复制好image里面的数据，然后把这段内存中的数据返回给你。
clone是把所有的都复制过来，也就是说不论你是否设置Roi,Coi等影响copy的参数，clone都会原封不动的克隆过来。
copy就不一样，只会复制ROI区域等。用clone复制之后，源图像在内存中消失后，复制的图像也变了，而用copy复制，源图像消失后，复制的图像不变。
使用cvCopy实现对不规制图形的提取：http://artificialwistom.spaces.live.com/blog/cns!C4334BEEE0193F50!191.entry
24、图像形态学操作
http://blog.csdn.net/byxdaz/archive/2010/07/30/5775717.aspx
四、书籍推荐：
《opencv教程基础篇》大部分为OpenCV帮助手册的翻译，原创性内容不是很多。
《Learning OpenCV》深入浅出讲OpenCV函数背后的原理，比课堂教材生动且实用，极具实战功能。
五、相关资料：
项目主页：
邮件列表：
中文网站：
中文论坛：
