《图像的识别与应用精品文稿.ppt》由会员分享，可在线阅读，更多相关《图像的识别与应用精品文稿.ppt（66页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、图像的识别与应用第1页，本讲稿共66页本课程的主要内容第2页，本讲稿共66页 第第8章章 图像的识别技术图像的识别技术第3页，本讲稿共66页 主要内容主要内容8.1 模式识别概述模式识别概述8.2 一些常用的基本概念一些常用的基本概念8.3 基于决策理论的图像识别基于决策理论的图像识别8.4 基于模板匹配的图像识别基于模板匹配的图像识别8.5基于神经网络的图像识别基于神经网络的图像识别8.6 基于支持向量机的图像识别基于支持向量机的图像识别 第4页，本讲稿共66页8.1 模式识别概述模式识别概述 模模式式识识别别(Pattern Recognition)是是指指对对表表征征事事物物或或现现象象
2、的的各各种种形形式式的的(数数值值的的、文文字字的的和和逻逻辑辑关关系系的的)信信息息进进行行处处理理和和分分析析,以以对对事事物物或或现现象象进进行行描描述述、辨辨认认、分分类类和和解解释释的的过过程程,是是信信息息科科学学和和人人工工智智能能的的重重要要组组成成部部分分。模模式式识识别别又又常常称称作作模模式式分分类类，从从处处理理问问题题的的性性质质和和解解决决问问题题的的方方法法等等角角度度，模模式式识识别别分分为为有有监监督督的的分分类类（Supervised Classification）和和 无无 监监 督督 的的 分分 类类(Unsupervised Classificatio
3、n)两两种种。二二者者的的主主要要差差别别在在于于，各各实实验验样样本本所所属属的的类类别别是是否否预预先先已已知知。一一般般说说来来，有有监监督督的的分分类类往往往往需需要要提提供供大大量量已已知知类类别别的的样样本本，无无监监督督的的分分类类就就是是根根据据样样本本特特征征（features）将将同同类类特特征征样样本归类于同一类。本归类于同一类。第5页，本讲稿共66页 一一般般狭狭义义的的模模式式识识别别所所指指的的主主要要是是对对语语音音波波形形、地地震震波波、心心电电图图、脑脑电电图图、图图片片、照照片片、文文字字、符符号号、生生物物传传感感器器等等对对象象的的具具体体模模式式进进行
4、行辨辨识和分类。识和分类。第6页，本讲稿共66页模式识别的一般过程模式识别的一般过程识别的关键是分类识别的关键是分类器的设计器的设计第7页，本讲稿共66页图像识别与模式识别的关系图像识别与模式识别的关系1、模式识别包含了、波形、语音、图形、图像等各种信息输入形式，图像识别属于模式识别的一部分；2、模式识别的许多方法如：决策理论、贝叶斯分类器、神经网络分类器、支持向量机等都可以用到图像识别中来；3、图像识别有自己独特的方法。第8页，本讲稿共66页8.2 一些常用的基本概念一些常用的基本概念1、特特征征向向量量-用于描述对象的一组特征参数，以 n1维的向量形式表示出来。如：第9页，本讲稿共66页1
5、、向量的相似性度量、向量的相似性度量-距离（1）两向量的欧式距离 设两向量则它们之间的欧式距离用下式度量第10页，本讲稿共66页(2)向量与向量族组成员的距离向量与向量族组成员的距离 设 则距离d第11页，本讲稿共66页则它们之间的欧式距离用下式度量可用下列MATLAB语句实现：第12页，本讲稿共66页(2)向量族与向量族成员的距离向量族与向量族成员的距离 设向量族 Xpn 向量族 Yqn 则向量族则向量族X的的i 行与向量族行与向量族Y的第的第 j 列间欧式距离用下矩阵表达列间欧式距离用下矩阵表达第13页，本讲稿共66页(3)Mahalanobis距离-向量与向量组均值的相似向量与向量组均值
6、的相似性度量性度量则它们之间的欧式距离用下式度量均值：协方差矩阵：第14页，本讲稿共66页8.3 基于决策理论的图像识别基于决策理论的图像识别使用基元符号使用数值向量第15页，本讲稿共66页1、基于最小距离分类器的图像识别 决策理论的基本思想：将图像进行特征提取，用提取的特征构成一个特征向量x=x1,x2,，xn，对于W个模式分类1,2,w，设计W个决策函数d1(x),d2(x),dw(x),满足下列条件：将x 归于 i 类第16页，本讲稿共66页最小距离分类器就是将每个模式分类用它的均值向量来表示，设x是待分类的模式向量，分别求模式向量到各类均值向量的距离，将x归属于距离最小的那个类别。用决
7、策函数表示：这里，mj是均值向量，它计算如下：第17页，本讲稿共66页求Dj(x)最小，等价于求 最大。因此我们可以选择决策函数第18页，本讲稿共66页对于：将其归于 i 类。不难看出，在i 和 j之间的边界为 第19页，本讲稿共66页8.4 基于模板匹配的图像识别基于模板匹配的图像识别 模板匹配（Template Matching）是图像识别方法中最具代表性的基本方法之一，它是将从待识别的图像或者图像区域S(i,j)中提取的若干特征量逐个进行比较，计算它们之间规格化的相关性系数，其中相关性系数最大的一个就表示其相似程度最高，可以将图像归与相应的类。第20页，本讲稿共66页模板匹配的基本概念：
8、模板就是一幅已知的具有标准尺寸和标准内容的图像。模板匹配就是在一幅图像中按一定算法搜寻目标，将目标的特征和已知模板比较，从而确定目标是否存在以及存在目标所在的坐标位置。以8位灰度图像(1 个像素由1 个字节描述)为例，模板T(m*n个像素)叠放在被搜索图S(M*N个像素)上平移，模板覆盖被搜索图的那块区域叫子图Sij。i，j 为子图左上角在被搜索图S上的坐标，如图所示。搜索范围是MXN。通过比较模板T和Sij的相似性，完成模板匹配过程。（1）普通模板匹配算法第21页，本讲稿共66页mnMN模板及其搜索图模板及其搜索图子图子图S ij(a)搜索图模板 T一般可以采用下面测度来衡量一般可以采用下面
9、测度来衡量T和和Sij的相似度：的相似度：第22页，本讲稿共66页展开则有右边第三项表示模板的总能量，是一个和位置（i，j）无关的常数，第一项是模板下的子图的能量，它随搜索位置的改变缓慢变化，第二项是子图像和模板的互相关，随（i，j）而变，T和Sij匹配时这一项取得最大值，因此可以采用下列归一化相关函数作为相似测度：第23页，本讲稿共66页为了减少图像强度绝对值的影响，可先分别计算T和Sij的均值Tm和Sm，然后在上式中减去均值，可得下列相关函数第24页，本讲稿共66页 按灰度匹配的计算量是很大的,一般将原始图像按比例缩小，采用相对较小的模板来进行匹配。尽管模板匹配有很多不足的地方，但目前仍然
10、是一种较为可靠的模式识别方法，在工业机器视觉中得到广泛应用.对常用焊接结构灰度图象可以通过二值化填充得到由0和1组成的黑白图象，因此进行模板匹配可以相当于比较待识别图象和模板为“1”的相同个数，比较相同可以采用“点异或”的方式进行。如果模板与待识别图象相同，则相关系数可用下式表达：第25页，本讲稿共66页（2）快速模板匹配-序贯相似性检测算法 由于普通模板计算量大，速度慢，人们提出一类叫序贯相似性检测的算法，简称SSDA。SSDA的要点如下：1)定义绝对误差值，有式中，2)取一个不变阈值；第26页，本讲稿共66页3)在子图 Sij（m，n）中随机选取像点（mk，nk），计算它同T中对应点的误差
11、值（i，j，mk，nk），然后把这个差值和其他点对的差值累加起来，当累加r次误差超过 Tk，则停止累加，并记下次数r。定义SSDA的检测曲面为I（i，j）=r4)把取值最大的I（i，j）对应的（i，j）点作为匹配点，因为这点上需要很多次累加才使总误差超过，如下图所示。图中给出了在A，B，C三参考点上得到的误差累计增长曲线。A，B反映模板T不在匹配点上，这时总误差增长很快，超出阈值，曲线C中总误差增长很慢，很可能是一匹配的候选点。第27页，本讲稿共66页I（i,j)图4-2-2 误差累计曲线第28页，本讲稿共66页3、基于频域模板匹配的图像识别在频域分析中，我们将空间域的相关运算转化为频域的的共
12、轭相乘，即：空间域上的相关频率域上的相乘 如果将f(x,y)视为待识别的图像，g(x,y)视为标准模板则就可以采用频域上的相乘，取代空间域上基于相关运算的模板匹配，可以缩短匹配计算的时间。第29页，本讲稿共66页8.5 基于神经网络的图像识别基于神经网络的图像识别W=p=输入的R维向量对应的权值行向量b是偏置 8.5.1 神经网络基础神经网络基础第30页，本讲稿共66页n是输入向量元素的加权求和是输入向量元素的加权求和,定义如下：定义如下：写成向量内积的形式：写成向量内积的形式：a 是神经元的输出，是神经元的输出，f 是神经元的传递函数是神经元的传递函数,定义如下：定义如下：第31页，本讲稿共
13、66页进行神经网络分析时，可以将上面的神经元进行神经网络分析时，可以将上面的神经元简略表达如下：简略表达如下：第32页，本讲稿共66页 包含多个神经元的一层神经元包含多个神经元的一层神经元第33页，本讲稿共66页第34页，本讲稿共66页一层具有个神经元简约表示一层具有个神经元简约表示第35页，本讲稿共66页多层神经网多层神经网第36页，本讲稿共66页多层神经网的简约表示多层神经网的简约表示第37页，本讲稿共66页用用IW表示输入的权值矩阵，表示输入的权值矩阵，LW表示层间的权表示层间的权值矩阵，而用上标表示层间的关系则有：值矩阵，而用上标表示层间的关系则有：在在MATLAB中把中把IW和和LW
14、设置成设置成Cell单元类型单元类型第38页，本讲稿共66页输入数据的结构形式第39页，本讲稿共66页同时向量的仿真同时向量的仿真所谓仿真所谓仿真SIM是指神经网络的结构参数：权值矩是指神经网络的结构参数：权值矩阵阵W、偏置、偏置b、和传递函数、和传递函数 f 确定后，在给定输入确定后，在给定输入激励下，神经网络的输出。激励下，神经网络的输出。第40页，本讲稿共66页net=newlin(1 3;1 3,1);使用下列函数建立一个线性神经网络设定网络的权值和偏置为：net.IW1,1=1 2;net.b1=0Net是一个结构，可以设定它的权值和偏置第41页，本讲稿共66页设有设有4组输入向量，
15、它们是：组输入向量，它们是：P=1 2 2 3;2 1 3 1;4组输入向量，以一个矩阵的形式产生输入组输入向量，以一个矩阵的形式产生输入第42页，本讲稿共66页A=sim(net,P)A=5 4 8 5使用产生的网络使用产生的网络net，和同时输入向量，和同时输入向量P为参数，用为参数，用sim函数进行神经网络的仿真，上例的结果为：函数进行神经网络的仿真，上例的结果为：第43页，本讲稿共66页顺序向量的仿真顺序向量的仿真所谓仿真所谓仿真SIM是指神经网络的结构参数：权值矩是指神经网络的结构参数：权值矩阵阵W、偏置、偏置b、和传递函数、和传递函数 f 确定后，在给定输入确定后，在给定输入激励下
16、，神经网络的输出。激励下，神经网络的输出。第44页，本讲稿共66页BP神经元结构和简约画法神经元结构和简约画法第45页，本讲稿共66页具有输入、隐层、输出层结构的具有输入、隐层、输出层结构的BP神经网络神经网络隐层隐层4个神经元个神经元输出层输出层3个神经元个神经元2维维输入向量输入向量第46页，本讲稿共66页常用传递函数常用传递函数 f 类型类型第47页，本讲稿共66页net=newff(-1 2;0 5,3,1,tansig,purelin,traingd);在在MATLAB7.0下使用下使用newff创建创建BP神经网。神经网。例如我们创建一个例如我们创建一个2维输入向量，具有维输入向量
17、，具有3个隐层节个隐层节点和一个输出节点的点和一个输出节点的3层结构的层结构的BP神经网络：神经网络：隐节点数输出节点数8.5.2 BP神经网络的创建、训练与仿真神经网络的创建、训练与仿真1、BP神经网络的创建隐层传递函数输出层传递函数输入分量范围训练方式第48页，本讲稿共66页2、BP神经网络的训练 当确定完神经网络的具体结构输入向量维数、隐层节点数、输出节点数，就要采用一定的训练方法对神经网络进行训练，目前应用最多的是梯度下降法。在Matlab神经网络工具箱中，设置了这一算法。并通过train()函数来实现神经网络的训练。基本语法为：Trained_net=train(net,P,T)待训
18、练的网完成的训练网输入的特征向量训练目标第49页，本讲稿共66页3、BP神经网络的仿真 仿真是对已经训练完成的BP神经网络进行应用模拟，以检查神经网络的响应性能。即当网络权值w,偏移值确定后，通过给定输入Pgiven，检查实际输出y与期望是否相符。对于仿真结果满足要求的网络就可定型。仿真采用下列函数：y=sim(trained_net,P);完成的训练网输入的特征向量网络的实际输出第50页，本讲稿共66页8.5.3 基于基于BP神经网络的图像识别实例神经网络的图像识别实例1、手写数字字符的识别、手写数字字符的识别2、人脸的识别、人脸的识别3、车型的识别、车型的识别4、车牌的识别、车牌的识别5、
19、指纹的识别、指纹的识别6、虹膜的识别、虹膜的识别6、刚体目标的识别、刚体目标的识别7、人体目标的识别、人体目标的识别第51页，本讲稿共66页 第九章第九章 计算机视觉初步计算机视觉初步1、基本概念 计算机视觉就是用各种视觉传感器代替视觉器官作为输入感应手段，由计算机来代替大脑完成所得到的图像信息的处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。目前二维机器视觉和三维立体视觉两大类。第52页，本讲稿共66页2 2、摄像机成像模型、摄像机成像模型 摄像机的景物成像应该基于物理学的透镜成像原理，由于透镜成像较为摄像机的景物成像应该基于物理学的
20、透镜成像原理，由于透镜成像较为复杂，目前基本采用针孔成像模型来近似处理。如图所示，复杂，目前基本采用针孔成像模型来近似处理。如图所示，Oc c为摄像机的光为摄像机的光轴中心点，轴中心点，为摄像机的成像平面，按针孔成像原理为摄像机的成像平面，按针孔成像原理,摄像机前的物摄像机前的物体在像平面体在像平面上的像是倒立的实像。像的尺寸和物体实际的大小成正比，上的像是倒立的实像。像的尺寸和物体实际的大小成正比，与物体到光心的距离成反比。为方便分析，将像平面与物体到光心的距离成反比。为方便分析，将像平面 沿光轴移到光心沿光轴移到光心前面的对称平面，这样物体的像就和实物方向相同，根据这样的假前面的对称平面，
21、这样物体的像就和实物方向相同，根据这样的假设，下面建立物象的透射投影关系。以摄像机的光心设，下面建立物象的透射投影关系。以摄像机的光心Oc为摄像机的坐为摄像机的坐标原点，以光轴作为摄像机的标原点，以光轴作为摄像机的Zc轴，取从摄像机到景物的方向为轴，取从摄像机到景物的方向为Zc轴正方轴正方向，向，Xc轴方向取图像坐标沿水平增加的方向。在摄像机的坐标系中，轴方向取图像坐标沿水平增加的方向。在摄像机的坐标系中，设空间点设空间点P的坐标为，的坐标为，P在像平面在像平面的像点的像点p的物理坐标为，则按小孔成像的物理坐标为，则按小孔成像的比例关系有：的比例关系有：第53页，本讲稿共66页摄像机小孔成像简
22、化模型：摄像机小孔成像简化模型：按小孔成像的比例关系有：按小孔成像的比例关系有：第54页，本讲稿共66页 应用齐次坐标的概念，将以上关系用矩阵的形式表达如下：一般摄像机是放在某个空间坐标里（一般称世界坐标），因此可用坐标变换的平移旋转关系，表达摄像机坐标（xc,yc,zc)和世界坐标（xw,yw,zw）的关系：第55页，本讲稿共66页 摄像机采集的图像以数字图像的形式存储的，一般每幅数字图像在计算机内以M行N列的图像像素坐标(Pixel)来表达的，图像坐标的原点一般设在左上角或左下角。由于(9-2)是以物理单位(如毫米)建立的透射投影关系，需要将其转化为计算机的图像坐标，设数字图像的像素坐标为
23、(u，v),光轴与数字图像平面的交点坐标为(u0,v0),如图所示。第56页，本讲稿共66页 设每一像素在图像平面x轴和y轴上的物理尺寸为dx,dy,则数字图像平面任一像素坐标与物理坐标的关系如下：利用齐次坐标与矩阵形式将(2-3)式表示为：第57页，本讲稿共66页 将上式代入小孔成像模型得到下列摄像机在像素坐标平面上的表达式：将上式代入下式-世界坐标与摄像机坐标的表达式第58页，本讲稿共66页整理以上各式，最后得到空间一点到摄像机成像平面的投影为：从以上关系可以清楚看到，由平面图像上一点坐标（u,v),两个已知量，无法最后得到空间坐标（X,Y,Z)。第59页，本讲稿共66页解决的办法：采用左
24、右两个摄像机同时摄取同一目标，获取两幅图像，这样就可以有更多的图像信息，可以解出空间坐标（X,Y,Z)。2、双目立体视觉原理、双目立体视觉原理第60页，本讲稿共66页 对于空间点（对于空间点（X，Y，Z）在左摄像机像平）在左摄像机像平面上的投影（面上的投影（ul，vl）可以表达为：）可以表达为：对于空间点（对于空间点（X，Y，Z）在右摄像机像平）在右摄像机像平面上的投影（面上的投影（ur，vr）可以表达为：）可以表达为：第61页，本讲稿共66页 展开以上两式得：第62页，本讲稿共66页 消去常数 kl,kr 得四个方程：取前三个方程解得空间点（X,Y,Z）这就是双目立体视觉所依赖的基本工作原理！这就是双目立体视觉所依赖的基本工作原理！第63页，本讲稿共66页第64页，本讲稿共66页第65页，本讲稿共66页第66页，本讲稿共66页