opencv学习笔记（一）IplImage, CvMat, Mat 的关系

　　opencv中常见的与图像操作有关的数据容器有Mat，cvMat和IplImage，这三种类型都可以代表和显示图像，但是，Mat类型侧重于计算，数学性较高，openCV对Mat类型的计算也进行了优化。而CvMat和IplImage类型更侧重于“图像”，opencv对其中的图像操作（缩放、单通道提取、图像阈值操作等）进行了优化。在opencv2.0之前，opencv是完全用C实现的，但是，IplImage类型与CvMat类型的关系类似于面向对象中的继承关系。实际上，CvMat之上还有一个更抽象的基类----CvArr，这在源代码中会常见。

1. IplImage

　　opencv中的图像信息头，该结构体定义： 

1 typedef struct _IplImage  2 {  3     int nSize;    /* IplImage大小 */ 4     int ID;    /* 版本 (=0)*/ 5     int nChannels;  /* 大多数OPENCV函数支持1,2,3 或 4 个通道 */  6     int alphaChannel;  /* 被OpenCV忽略 */  7     int depth;   /* 像素的位深度: IPL_DEPTH_8U, IPL_DEPTH_8S, IPL_DEPTH_16U,  8                 IPL_DEPTH_16S, IPL_DEPTH_32S, IPL_DEPTH_32F and IPL_DEPTH_64F 可支持 */  9     10     char colorModel[4]; /* 被OpenCV忽略 */ 11     char channelSeq[4]; /* 被OpenCV忽略 */ 12     int dataOrder;      /* 0 - 交叉存取颜色通道, 1 - 分开的颜色通道. cvCreateImage只能创建交叉存取图像 */ 13     int origin;     /* 0 - 顶—左结构,1 - 底—左结构 (Windows bitmaps 风格) */ 14     int align;     /* 图像行排列 (4 or 8). OpenCV 忽略它，使用 widthStep 代替 */ 15     16     int width;     /* 图像宽像素数 */ 17     int height;    /* 图像高像素数*/ 18     19     struct _IplROI *roi;  /* 图像感兴趣区域. 当该值非空只对该区域进行处理 */ 20     struct _IplImage *maskROI; /* 在 OpenCV中必须置NULL */ 21     void *imageId;  /* 同上*/ 22     struct _IplTileInfo *tileInfo;  /*同上*/ 23     24     int imageSize;    /* 图像数据大小(在交叉存取格式下imageSize=image->height*image->widthStep），单位字节*/ 25     char *imageData;    /* 指向排列的图像数据 */ 26     int widthStep;     /* 排列的图像行大小，以字节为单位 */ 27     int BorderMode[4];     /* 边际结束模式, 被OpenCV忽略 */ 28     int BorderConst[4];    /* 同上 */ 29     30     char *imageDataOrigin;    /* 指针指向一个不同的图像数据结构（不是必须排列的），是为了纠正图像内存分配准备的 */ 31 } IplImage;

　　dataOrder中的两个取值：交叉存取颜色通道是颜色数据排列将会是BGRBGR...的交错排列。分开的颜色通道是有几个颜色通道就分几个颜色平面存储。roi是IplROI结构体，该结构体包含了xOffset,yOffset,height,width,coi成员变量，其中xOffset,yOffset是x,y坐标，coi代表channel of interest(感兴趣的通道)，非0的时候才有效。访问图像中的数据元素，分间接存储和直接存储，当图像元素为浮点型时，(uchar *) 改为 (float *)：

1 /*间接存取*/ 2 IplImage* img=cvLoadImage("lena.jpg", 1); 3 CvScalar s;       /*sizeof(s) == img->nChannels*/ 4 s=cvGet2D(img,i,j);  /*get the (i,j) pixel value*/ 5 cvSet2D(img,i,j,s);   /*set the (i,j) pixel value*/ 6  7 /*宏操作*/ 8 /* 9 可以使用opencv定义的宏来提取象素值10 CV_IMAGE_ELEM是一个宏，11 如果是IPImage类型，则为：12 #define CV_IMAGE_ELEM( image, elemtype, row, col ) \13 (((elemtype*)((image)->imageData + (image)->widthStep*(row)))[(col)])    //image参数为IplImage *指针，elemtype为数据类型，常为uchar，row和col分别是数据矩阵的行和列14 如果是Mat类型，则为：15 #define CV_MAT_ELEM( mat, elemtype, row, col ) \16 (*(elemtype*)CV_MAT_ELEM_PTR_FAST( mat, row, col, sizeof(elemtype)))17 18 灰度图像为单通道，访问时使用CV_IMAGE_ELEM(image,uchar,i,j);19 三通道的彩色图像，访问时使用CV_IMAGE_ELEM(image,uchar,i,j*3);CV_IMAGE_ELEM(image,uchar,i,j*3+1);CV_IMAGE_ELEM(image,uchar,i,j*3+2);访问三个通道的值。20 21 注意：22 1、初学者容易将i和j写反了，这样就出现了访问出界的错误，i的上限是img->height，而j的上限是img->width。23 2、OpenCV中CvRect和CvPoint等常用的结构使用的是点的坐标：24 cvRect(int x,int y,int width,int height)和cvPoint(int x,int y)中的x上限是img->width，y上限是img->height。25 3、也就是说，如果（i，j）这个点对应的像素值为CV_IMAGE_ELEM(image,uchar,i,j)，那么它对应的点就是cvPoint(j,i)。26 */27 IplImage* img; //malloc memory by cvLoadImage or cvCreateImage28 for(int row = 0; row <　img->height; row++)29 {30     for (int col = 0; col < img->width; col++)31     {32         b = CV_IMAGE_ELEM(img, UCHAR, row, col * img->nChannels + 0); 33         g = CV_IMAGE_ELEM(img, UCHAR, row, col * img->nChannels + 1); 34         r = CV_IMAGE_ELEM(img, UCHAR, row, col * img->nChannels + 2);35     }36 }37 38 /*直接存取*/39 IplImage* img; //malloc memory by cvLoadImage or cvCreateImage40 uchar b, g, r; // 3 channels41 for(int row = 0; row <　img->height; row++)42 {43     for (int col = 0; col < img->width; col++)44     {45         b = ((uchar *)(img->imageData + row * img->widthStep))[col * img->nChannels + 0]; 46         g = ((uchar *)(img->imageData + row * img->widthStep))[col * img->nChannels + 1]; 47         r = ((uchar *)(img->imageData + row * img->widthStep))[col * img->nChannels + 2];48     }49 }

 初始化使用IplImage *，是一个指向结构体IplImage的指针： 

1 IplImage * cvLoadImage(const char * filename, int iscolor CV_DEFAULT(CV_LOAD_IMAGE_COLOR)); //load images from specified image 2 IplImage * cvCreateImage(CvSize size, int depth, int channels);  //allocate memory

2.CvMat

　　首先，我们需要知道，第一，在OpenCV中没有向量(vector)结构。任何时候需要向量，都只需要一个列矩阵(如果需要一个转置或者共轭向量，则需要一个行矩阵)。第二，OpenCV矩阵的概念与我们在线性代数课上学习的概念相比，更抽象，尤其是矩阵的元素，并非只能取简单的数值类型，可以是多通道的值。

• OpenCV有针对矩阵操作的C语言函数. 许多其他方法提供了更加方便的C++接口，其效率与OpenCV一样.
• OpenCV将向量作为1维矩阵处理.
• 矩阵按行存储，每行有4字节的校整.

CvMat 的结构： 

1 typedef struct CvMat  2 {  3     int type;          4     int step;          /*用字节表示行数据长度*/ 5     int* refcount;     /*内部访问*/ 6     union { 7         uchar*  ptr; 8         short*  s; 9         int*    i;10         float*  fl;11         double* db;12     } data;    /*数据指针*/13      union {14         int rows;15         int height;16     };17     union {18         int cols;   19         int width;20     };21 } CvMat; /*矩阵结构头*/

 创建CvMat数据：

1 CvMat * cvCreateMat(int rows, int cols, int type); /*创建矩阵头并分配内存*/2 CV_INLine CvMat cvMat((int rows, int cols, int type, void* data CV_DEFAULT); /*用已有数据data初始化矩阵*/3 CvMat * cvInitMatHeader(CvMat * mat, int rows, int cols, int type, void * data CV_DEFAULT(NULL), int step CV_DEFAULT(CV_AUTOSTEP)); /*(用已有数据data创建矩阵头)*/

对矩阵数据进行访问：

1 /*间接访问*/ 2 /*访问CV_32F1和CV_64FC1*/ 3 cvmSet( CvMat* mat, int row, int col, double value); 4 cvmGet( const CvMat* mat, int row, int col ); 5  6 /*访问多通道或者其他数据类型: scalar的大小为图像的通道值*/ 7 CvScalar cvGet2D(const CvArr * arr, int idx0, int idx1); //CvArr只作为函数的形参void cvSet2D(CvArr* arr, int idx0, int idx1, CvScalar value); 8  9 /*直接访问: 取决于数组的数据类型*/10 /*CV_32FC1*/11 CvMat * cvmat = cvCreateMat(4, 4, CV_32FC1);12 cvmat->data.fl[row * cvmat->cols + col] = (float)3.0;13 14 /*CV_64FC1*/15 CvMat * cvmat = cvCreateMat(4, 4, CV_64FC1);16 cvmat->data.db[row * cvmat->cols + col] = 3.0;17 18 /*一般对于单通道*/19 CvMat * cvmat = cvCreateMat(4, 4, CV_64FC1);20 CV_MAT_ELEM(*cvmat, double, row, col) = 3.0; /*double是根据数组的数据类型传入,这个宏不能处理多通道*/21 22 /*一般对于多通道*/23 if (CV_MAT_DEPTH(cvmat->type) == CV_32F)24     CV_MAT_ELEM_CN(*cvmat, float, row, col * CV_MAT_CN(cvmat->type) + ch) = (float)3.0; // ch为通道值25 if (CV_MAT_DEPTH(cvmat->type) == CV_64F)26     CV_MAT_ELEM_CN(*cvmat, double, row, col * CV_MAT_CN(cvmat->type) + ch) = 3.0; // ch为通道值27 28 /*多通道数组*/29 /*3通道*/30 for (int row = 0; row < cvmat->rows; row++)31 {    32     p = cvmat ->data.fl + row * (cvmat->step / 4);33     for (int col = 0; col < cvmat->cols; col++)   34     {       35          *p = (float) row + col;       36          *(p+1) = (float)row + col + 1;       37          *(p+2) = (float)row + col + 2;       38          p += 3;    39     }40 }41 /*2通道*/42 CvMat * vector = cvCreateMat(1,3, CV_32SC2);CV_MAT_ELEM(*vector, CvPoint, 0, 0) = cvPoint(100,100);43 /*4通道*/44 CvMat * vector = cvCreateMat(1,3, CV_64FC4);CV_MAT_ELEM(*vector, CvScalar, 0, 0) = CvScalar(0, 0, 0, 0);

复制矩阵操作：

1 /*复制矩阵*/2 CvMat* M1 = cvCreateMat(4,4,CV_32FC1);3 CvMat* M2;4 M2=cvCloneMat(M1);

3.Mat

　　Mat是opencv2.0推出的处理图像的新的数据结构，现在越来越有趋势取代之前的cvMat和lplImage，相比之下Mat最大的好处就是能够更加方便的进行内存管理，不再需要程序员手动管理内存的释放。opencv2.3中提到Mat是一个多维的密集数据数组，可以用来处理向量和矩阵、图像、直方图等等常见的多维数据。

1 class CV_EXPORTS Mat 2 { 3   4 public： 5   6 /*..很多方法..*/ 7 /*............*/ 8   9 int flags;（Note ：目前还不知道flags做什么用的）10 int dims;  /*数据的维数*/11 int rows,cols; /*行和列的数量;数组超过2维时为(-1，-1)*/12 uchar *data;   /*指向数据*/13 int * refcount;   /*指针的引用计数器; 阵列指向用户分配的数据时，指针为 NULL14 15  16 /* 其他成员 */ 17 ...18  19 };

　　从以上结构体可以看出Mat也是一个矩阵头，默认不分配内存，只是指向一块内存(注意读写保护)。初始化使用create函数或者Mat构造函数，以下整理自opencv2.3.1 Manual:

1 Mat(nrows, ncols, type, fillValue]);  2 M.create(nrows, ncols, type); 3  4 例子： 5 Mat M(7,7,CV_32FC2,Scalar(1,3)); /*创建复数矩阵1+3j*/ 6 M.create(100, 60, CV_8UC(15)); /*创建15个通道的8bit的矩阵*/ 7  8 /*创建100*100*100的8位数组*/ 9 int sz[] = {
    100, 100, 100}; 10 Mat bigCube(3, sz, CV_8U, Scalar:all(0));11 12 /*现成数组*/13 double m[3][3] = {
     {a, b, c}, {d, e, f}, {g, h, i}};14 Mat M = Mat(3, 3, CV_64F, m).inv();15 16 /*图像数据*/17 Mat img(Size(320,240),CV_8UC3); 18 Mat img(height, width, CV_8UC3, pixels, step); /*const unsigned char* pixels,int width, int height, int step*/19 20 /*使用现成图像初始化Mat*/21 IplImage* img = cvLoadImage("greatwave.jpg", 1);22 Mat mtx(img,0); // convert IplImage* -> Mat; /*不复制数据,只创建一个数据头*/

访问Mat的数据元素：

1 /*对某行进行访问*/ 2 Mat M; 3 M.row(3) = M.row(3) + M.row(5) * 3; /*第5行扩大三倍加到第3行*/ 4  5 /*对某列进行复制操作*/ 6 Mat M1 = M.col(1); 7 M.col(7).copyTo(M1); /*第7列复制给第1列*/ 8  9 /*对某个元素的访问*/10 Mat M;11 M.at
      
       (i,j); /*double*/12 M.at(uchar)(i,j);  /*CV_8UC1*/13 Vec3i bgr1 = M.at(Vec3b)(i,j) /*CV_8UC3*/14 Vec3s bgr2 = M.at(Vec3s)(i,j) /*CV_8SC3*/15 Vec3w bgr3 = M.at(Vec3w)(i,j) /*CV_16UC3*/16 17 /*遍历整个二维数组*/18 double sum = 0.0f;19 for(int row = 0; row < M.rows; row++)20 {    21     const double * Mi = M.ptr
       
        (row); 22     for (int col = 0; col < M.cols; col++)      23         sum += std::max(Mi[j], 0.);24 }25 26 /*STL iterator*/27 double sum=0;28 MatConstIterator
        
          it = M.begin
         
          (), it_end = M.end
          
           ();29 for(; it != it_end; ++it)    30 sum += std::max(*it, 0.);
          
         
        
       
      

　　Mat可进行Matlab风格的矩阵操作，如初始化的时候可以用initializers,zeros(), ones(), eye(). 除以上内容之外，Mat还有有3个重要的方法：

1 Mat mat = imread(const String* filename);           // 读取图像2 imshow(const string frameName, InputArray mat);  //    显示图像3 imwrite (const string& filename, InputArray img);    //储存图像

4. CvMat, Mat, IplImage之间的互相转换

1 IpIImage -> CvMat 2 /*cvGetMat*/ 3 CvMat matheader; 4 CvMat * mat = cvGetMat(img, &matheader); 5 /*cvConvert*/ 6 CvMat * mat = cvCreateMat(img->height, img->width, CV_64FC3); 7 cvConvert(img, mat) 8  9 10 IplImage -> Mat11 Mat::Mat(const IplImage* img, bool copyData=false);/*default copyData=false,与原来的IplImage共享数据,只是创建一个矩阵头*/12 例子：13 IplImage* iplImg = cvLoadImage("greatwave.jpg", 1);14 Mat mtx(iplImg); /* IplImage * -> Mat,共享数据; or : Mat mtx = iplImg;*/15 16  17 18 Mat -> IplImage19 Mat M20 IplImage iplimage = M; /*只创建图像头，不复制数据*/21 22 CvMat -> Mat23 Mat::Mat(const CvMat* m, bool copyData=false); /*类似IplImage -> Mat，可选择是否复制数据*/24 25 Mat -> CvMat26 例子(假设Mat类型的imgMat图像数据存在)：27 CvMat cvMat = imgMat;/*Mat -> CvMat, 类似转换到IplImage，不复制数据只创建矩阵头