《第八章目标表达和描述技术精选文档.ppt》由会员分享，可在线阅读，更多相关《第八章目标表达和描述技术精选文档.ppt（79页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第八章目标表达和描述技术本讲稿第一页，共七十九页第2页第第8章章 目标表达和描述技术目标表达和描述技术本讲稿第二页，共七十九页第3页知识库知识库特征表示与描述特征表示与描述预处理预处理分割分割低级处理高级处理中级处理识别识别与与解释解释结果图像获取图像获取问题图像分析系统的构成本讲稿第三页，共七十九页第4页8.1 概述本讲稿第四页，共七十九页第5页图像表示分成边界表示（如链码、边界分段等）和区域表示（如图像表示分成边界表示（如链码、边界分段等）和区域表示（如四叉树、骨架等）两大类。四叉树、骨架等）两大类。边界表示关心的是图像中区域的形状特征边界表示关心的是图像中区域的形状特征区域表示则倾向于反
2、映区域的灰度、颜色、纹理等特征的区域表示则倾向于反映区域的灰度、颜色、纹理等特征的特点特点图像表示与描述是图像识别和理解的重要组成部分图像表示与描述是图像识别和理解的重要组成部分图像表示与描述是图像识别和理解的重要组成部分图像表示与描述是图像识别和理解的重要组成部分本讲稿第五页，共七十九页第6页n目标目标：在图像分析应用中人们感兴趣的图像中的某些区域。n表达表达：对目标的表示方法内部表达：反射性质（灰度、颜色、纹理）外部表达：形状n描述描述：抽象的表示目标用一组数量或符号(描述子)来表征图像中被描述物体的某些特征，可以是对图像中各组成部分的性质的描述，也可以是各部分彼此间的关系的描述。边界描述
3、和区域描述n关系关系表达对描述起重要作用，限定了描述的精确性表达侧重于数据结构，描述侧重于区域特征及区域间的关系本讲稿第六页，共七十九页n8.1 轮廓的链码表达轮廓的链码表达n8.2轮廓线段的近似表达轮廓线段的近似表达n8.3边界标记边界标记n8.4目标的层次表达目标的层次表达n8.5目标的骨架表达目标的骨架表达n8.6运动表达运动表达n8.7目标轮廓的傅里叶描述目标轮廓的傅里叶描述n形态学描述形态学描述第7页本讲稿第七页，共七十九页n 基于边界的表达基于边界的表达基于边界的表达基于边界的表达边界表达边界表达边界点集合边界点集合参数边界参数边界曲线逼近曲线逼近标志点标志点链码链码边界段边界段边
4、界标记边界标记多边形多边形本讲稿第八页，共七十九页基于区域的表达基于区域的表达本讲稿第九页，共七十九页第10 n8.1 轮廓的链码表达轮廓的链码表达本讲稿第十页，共七十九页第11 在分割过程中当确定了边界后，边界表达就是基于在分割过程中当确定了边界后，边界表达就是基于边界的像素点对目标的表示形式。边界的像素点对目标的表示形式。(1)(1)链码：对边界的一种重编码表示方法链码：对边界的一种重编码表示方法n链码是一种用若干条具有特定长度和方向的线段连接起来表示目标边界的链码是一种用若干条具有特定长度和方向的线段连接起来表示目标边界的方法。方法。n8.1 轮廓的链码表达轮廓的链码表达每个线段的长度固
5、定而方向数目取为有限，所以只有边界的起点需用（绝对）坐标表示，其余点都可只用接续方向来代表偏移量。本讲稿第十一页，共七十九页第12 选边界上一点选边界上一点(用坐标表示用坐标表示)作为起点，其它点用方向作为起点，其它点用方向数来表示：数来表示：AA:657071324301234567八方向本讲稿第十二页，共七十九页第13 n链码举例：链码举例：4-链码：链码：000033333322222211110011本讲稿第十三页，共七十九页第14 132201223111100 777776655555444443本讲稿第十四页，共七十九页第15 n链码链码算法：算法：给每一个线段边界一个方向编码。
6、给每一个线段边界一个方向编码。常用有常用有4-链码和链码和8-链码两种编码方法。链码两种编码方法。从从起起点点开开始始，沿沿边边界界编编码码，至至起起点点被被重重新新碰碰到到，结束一个对象的编码。结束一个对象的编码。本讲稿第十五页，共七十九页第16 n起点问题起点问题 对同一边界，如果用不同的边界点作为链码起点，得到的链码是不对同一边界，如果用不同的边界点作为链码起点，得到的链码是不同的。同的。例如：例如：以以A为起点，链码为：为起点，链码为：A:10103322以以B为起点，链码为：为起点，链码为：B:03322101ABC本讲稿第十六页，共七十九页第17 链码链码链码起点归一化链码起点归一
7、化把链码看作一个由各方向数构成的自然数。将这些方向数依一个方向循环以使它们所构成的自然数的值最小本讲稿第十七页，共七十九页第18 n链码链码问题问题2：2）由于角度的不同，造成编码的不同）由于角度的不同，造成编码的不同改进改进2：2）通过使用链码的一阶差代替码子本身的方式）通过使用链码的一阶差代替码子本身的方式本讲稿第十八页，共七十九页第19 链码链码链码旋转归一化链码旋转归一化利用链码的一阶差分来重新构造一个序列（一个表示原链码各段之间方向变化的新序列）这个差分可用相邻两个方向数相减得到 本讲稿第十九页，共七十九页第20 形状数形状数：值最小：值最小(链码链码)的差分码的差分码形状数形状数
8、0 3 0 3 3 1 3 3 0 3 0 3 3 1 3 3本讲稿第二十页，共七十九页第21 n链码链码问题问题3：1）链码相当长。）链码相当长。2）噪音会产生不必要的链码。）噪音会产生不必要的链码。改进改进1：1）加大网格空间。）加大网格空间。2）依据原始边界与结果的接近程度，来确定新）依据原始边界与结果的接近程度，来确定新点的位置。点的位置。本讲稿第二十一页，共七十九页第22 n链码举例：链码举例：4-链码：链码：0033322211014-链码：链码：000033333322222211110011本讲稿第二十二页，共七十九页第23 n链码具有平移不变性，即当边界平移时，其链码不发生改
9、变。链码具有平移不变性，即当边界平移时，其链码不发生改变。n如果边界的本身对于旋转和比例修改来说是无变化的，使用链码才是如果边界的本身对于旋转和比例修改来说是无变化的，使用链码才是正确的。一般来说这是不可能的，实际应用时还需要改进正确的。一般来说这是不可能的，实际应用时还需要改进n如果用链码后，对象只要用如果用链码后，对象只要用1)1)起点坐标，起点坐标，2)2)周长（边界点数）周长（边界点数）3)3)链码，链码，4)4)对象编号，就可以对象编号，就可以描述描述。n链码一般用于一幅图像中有多个对象的情况，对单个对象不适用。链码一般用于一幅图像中有多个对象的情况，对单个对象不适用。链码-应用背景
10、：本讲稿第二十三页，共七十九页第24 n8.2 轮廓线段的近似表达轮廓线段的近似表达本讲稿第二十四页，共七十九页第25 n实际中的数字轮廓常由于噪声、采样等的影响而有实际中的数字轮廓常由于噪声、采样等的影响而有许多较小的不规则处。这些不规则处常对用链妈进许多较小的不规则处。这些不规则处常对用链妈进行的轮廓表达产生较明显的干扰影响。行的轮廓表达产生较明显的干扰影响。n一种抗干扰性能更好，且更节省表达所需数据量的一种抗干扰性能更好，且更节省表达所需数据量的方法是用多边形近似逼近轮廓。方法是用多边形近似逼近轮廓。n实际中多边形表达的目的常是要用尽可能少的线段实际中多边形表达的目的常是要用尽可能少的线
11、段来代表轮廓并保持轮廓的基本形状。来代表轮廓并保持轮廓的基本形状。n常用的多边形表达方法有常用的多边形表达方法有3种：种：n（1）基于收缩的最小周长多边形法）基于收缩的最小周长多边形法n（2）基于聚合的最小均方误差线段逼近法）基于聚合的最小均方误差线段逼近法n（3）基于分裂的最小均方误差线段逼近法）基于分裂的最小均方误差线段逼近法本讲稿第二十五页，共七十九页第26 n n1、最小周长多边形、最小周长多边形本讲稿第二十六页，共七十九页第27 nP225 例例8.2.1 基于收缩的最小周长多边形基于收缩的最小周长多边形本讲稿第二十七页，共七十九页第28 2、聚合逼近多边形、聚合逼近多边形沿轮廓依次
12、连接像素。先选1个轮廓点为起点，用直线依次连接该点与相邻的轮廓点。分别计算各直线与轮廓的（逼近）拟合误差，把误差超过某个限度前的线段确定为多边形的1条边并将误差置零。然后以线段另一端点为起点继续连接轮廓点，直至绕轮廓1周。这样就得到1个轮廓的近似多边形。先从点a出发，依次做直线ab，ac，ad，ae等。对从ac开始的每条线段计算前一边界点与线段的距离作为拟合误差 本讲稿第二十八页，共七十九页第29 P225 例8.2.2 先从点a出发，依次做直线ab，ac，ad，ae等。对从ac开始的每条线段计算前一边界点与线段的距离作为拟合误差 本讲稿第二十九页，共七十九页第30 n3、分裂逼近多边形、分裂
13、逼近多边形n先连接轮廓上相距最远的先连接轮廓上相距最远的2个像素（把轮廓分成两部分），然后个像素（把轮廓分成两部分），然后根据一定准则进一步分解轮廓，构成多边形逼近轮廓，直到拟根据一定准则进一步分解轮廓，构成多边形逼近轮廓，直到拟合误差满足一定限度。合误差满足一定限度。nP225 例例8.2.3n nP226 例例8.2.4本讲稿第三十页，共七十九页n8.3 边界标记边界标记第31 本讲稿第三十一页，共七十九页第13章边界标记边界标记产生边边界界标标记记的方法很多，基本思想都是借助不同的投影技术把2-D的边界用1-D的较易描述的函数形式来表达可把2-D形状描述的问题转化为对1-D波形进行分析的
14、问题投影并不是一种能保持信息的变换，将2-D平面上的区域边界变换为1-D的曲线是有可能丢失信息的 本讲稿第三十二页，共七十九页第13章边界标记边界标记1、距离为角度的函数距离为角度的函数先对给定的目标求出重心，然后做出边界点与重心的距离为角度的函数这种标记不受目标平移影响，但会随目标旋转或放缩而变化 本讲稿第三十三页，共七十九页第34 A r r()2 A本讲稿第三十四页，共七十九页第13章边界标记边界标记2、-s曲线曲线沿边界围绕目标一周，在每个位置作出该点切线，该切线与一个参考方向（如横轴）之间的角度值就给出一种标记本讲稿第三十五页，共七十九页n3、斜率密度函数、斜率密度函数n斜率密度函数
15、可看做将斜率密度函数可看做将-s曲线沿曲线沿轴投影的结果。轴投影的结果。nP228 图图8.3.3第36 本讲稿第三十六页，共七十九页n4、距离为弧长的函数、距离为弧长的函数n基于边界的标记可通过从一个点开始沿边界围绕目标逐渐基于边界的标记可通过从一个点开始沿边界围绕目标逐渐做出来。如果将各个边界点与目标重心的距离作为边界点做出来。如果将各个边界点与目标重心的距离作为边界点序列的函数就得到一种标记。序列的函数就得到一种标记。nP228 图图8.3.4第37 本讲稿第三十七页，共七十九页n8.4 目标的层次表达目标的层次表达第38 本讲稿第三十八页，共七十九页n目标可以看做是所有组成目标区域像素
16、的集合，从集合的目标可以看做是所有组成目标区域像素的集合，从集合的观点来看，集合可分解为子集合，每个子集合又可继续分观点来看，集合可分解为子集合，每个子集合又可继续分解，直至每个元素。解，直至每个元素。n目标的层次表达就是根据这种思路，利用金字塔式的目标的层次表达就是根据这种思路，利用金字塔式的数据结构来表达目标的方法。数据结构来表达目标的方法。n四叉树四叉树n二叉树二叉树第39 本讲稿第三十九页，共七十九页n四叉树表达法在分解时每次将图像一分为四。当图像是方四叉树表达法在分解时每次将图像一分为四。当图像是方形的，且像素个数是形的，且像素个数是2的整数次幂时四叉树法最适用。的整数次幂时四叉树法
17、最适用。第40 本讲稿第四十页，共七十九页第13章1、四叉树、四叉树所有的结点可分成3类：目标结点（用白色表示）；背景结点（用深色表示）；混合结点（用浅色表示）树根对应整幅图，而树叶对应各单个像素或具有相同特性的像素组成的方阵 本讲稿第四十一页，共七十九页第42 第12章 目标表达与描述(2)四叉树：四叉树：适用于对方形图像采用分裂与合并方法进行分割的适用于对方形图像采用分裂与合并方法进行分割的情况情况E原始图像原始图像A BC一次分裂一次分裂E白色表示目标黑色表示背景蓝色表示背景混合AC二次分裂二次分裂B1B2B3B4D1D2D3D4B1B2B3B4D1D2D3D4D DABCD本讲稿第四十
18、二页，共七十九页n2、二叉树、二叉树n二叉树表达法在分解时每次将图像一分为二。二叉树可以二叉树表达法在分解时每次将图像一分为二。二叉树可以看做是四叉树的一种变形。看做是四叉树的一种变形。nP231 图图8.4.2第43 本讲稿第四十三页，共七十九页本讲稿第四十四页，共七十九页n8.1 轮廓的链码表达轮廓的链码表达n8.2轮廓线段的近似表达轮廓线段的近似表达n8.3边界标记边界标记n8.4目标的层次表达目标的层次表达n8.5目标的骨架表达目标的骨架表达n形态学描述形态学描述n8.6运动表达运动表达n8.7目标轮廓的傅里叶描述目标轮廓的傅里叶描述第45 理解理解本讲稿第四十五页，共七十九页n8.5
19、 目标的骨架表达目标的骨架表达第46 本讲稿第四十六页，共七十九页8.5目标的骨架表达目标的骨架表达n 1 1、骨架和骨架点、骨架和骨架点一种简化的目标区域表达方法 本讲稿第四十七页，共七十九页第48 中轴变换是一种用来确定物体骨架的细化技术。（草场火技术）中轴变换方法（MAT）具有轮廓B的区域R的MAT是如下确定的。对每个R中的点P，在B中搜寻与它最近的点。如果对P能找到多于1个这样的点（即有2个或以上的B中的点与P同时最近），就可以认为P属于R的中线或骨架，或者说P是1个骨架点。本讲稿第四十八页，共七十九页第13章骨架骨架骨架可用一个区域点与一个点集的最小距离来定义 每个骨架点都保持了其与
20、边界点距离最小的性质，所以如果用以每个骨架点为中心的圆的集合，就可恢复出原始的区域来 本讲稿第四十九页，共七十九页第13章2 2、二二二二值值值值目目目目标标标标区区区区域域域域骨骨骨骨架架架架算算算算法法法法（目标标为1，背景标为0）考考虑虑以以轮轮廓廓点点为为中中心的心的8-邻域，记中心点为邻域，记中心点为p1n n(1.1)2 N(p1)6n n(1.2)S(p1)=1n n(1.3)p2.p4.p6=0 (2.3)p2.p4.p8=0n n(1.4)p4.p6.p8=0 (2.4)p2.p6.p8=0对所有轮廓点都检查完毕后，将所有标记了的点都除去。对所有轮廓点都检查完毕后，将所有标记
21、了的点都除去。本讲稿第五十页，共七十九页第51 第12章 目标表达与描述例子例子：00000000011111100111111001111110000011100000111000001110000000000000000001111001111100110000011000001100000000000000步骤步骤(1)(1)作标记作标记本讲稿第五十一页，共七十九页第52 第12章 目标表达与描述0000000000111100011111000000110000001100000011000000000000000000删除步骤删除步骤(1)(1)作标记的点作标记的点000000000
22、0000111100000010000001000000000000000000000000步骤步骤(2)(2)作标记作标记本讲稿第五十二页，共七十九页第53 第12章 目标表达与描述0000000000000000001111000000010000000100000000000000000000000000删除步骤删除步骤(2)(2)作标记的点作标记的点本讲稿第五十三页，共七十九页本讲稿第五十四页，共七十九页第55 n nP233 例例8.5.2本讲稿第五十五页，共七十九页第56 形态学描述形态学描述 本讲稿第五十六页，共七十九页第57 基本思想基本思想基本思想基本思想是用一个结构元素（是
23、用一个结构元素（Structure elementStructure element）作为基本工具作为基本工具去探测和提取图像特征，看这个结构元素是否能够适当有效的放去探测和提取图像特征，看这个结构元素是否能够适当有效的放入图像内部。入图像内部。数学形态学以几何学为基础对图像进行分析数学形态学以几何学为基础对图像进行分析数学形态学以几何学为基础对图像进行分析数学形态学以几何学为基础对图像进行分析本讲稿第五十七页，共七十九页第58 数学形态学的基本运算数学形态学的基本运算数学形态学的基本运算数学形态学的基本运算膨胀（膨胀（dilationdilation）腐蚀（腐蚀（erosionerosion
24、）开启（开启（openingopening）闭合（闭合（closingclosing）本讲稿第五十八页，共七十九页第59 图图图图10.21 10.21 B B对对对对A A的膨胀运算过程的膨胀运算过程的膨胀运算过程的膨胀运算过程 膨胀膨胀膨胀膨胀本讲稿第五十九页，共七十九页第60 本讲稿第六十页，共七十九页第61 腐蚀腐蚀腐蚀腐蚀图图图图7.23 7.23 集合对集合的腐蚀运算过程集合对集合的腐蚀运算过程集合对集合的腐蚀运算过程集合对集合的腐蚀运算过程 本讲稿第六十一页，共七十九页第62 本讲稿第六十二页，共七十九页第63 本讲稿第六十三页，共七十九页00111110111110011111
25、01111100001010100（a）（b）图图b为结构元素，对目标进行膨胀和腐蚀（为结构元素，对目标进行膨胀和腐蚀（0为背景）为背景）本讲稿第六十四页，共七十九页第65 本讲稿第六十五页，共七十九页第66 本讲稿第六十六页，共七十九页第67 n n8.6 运动表达运动表达本讲稿第六十七页，共七十九页第68 n n1、运动分类、运动分类n n局部运动（前景运动）：指目标在场景中的自身运动局部运动（前景运动）：指目标在场景中的自身运动n n全局运动（背景运动、摄像机运动）：由进行拍摄的全局运动（背景运动、摄像机运动）：由进行拍摄的全局运动（背景运动、摄像机运动）：由进行拍摄的全局运动（背景运动
26、、摄像机运动）：由进行拍摄的n n摄像机的运动所造成的帧图像内所有点的整体移动摄像机的运动所造成的帧图像内所有点的整体移动摄像机的运动所造成的帧图像内所有点的整体移动摄像机的运动所造成的帧图像内所有点的整体移动本讲稿第六十八页，共七十九页n 全局运动全局运动由摄像机的运动而产生8.6运动表达运动表达本讲稿第六十九页，共七十九页n 全局运动全局运动常采用参数模型的方法来描述6参数仿射模型运动矢量场表示8.6运动表达运动表达本讲稿第七十页，共七十九页n 局部运动局部运动常对应场景中目标的运动比较复杂多样，可采用紧凑表达方式8.6运动表达运动表达本讲稿第七十一页，共七十九页第72 n n8.7 目标
27、轮廓的傅里叶描述目标轮廓的傅里叶描述本讲稿第七十二页，共七十九页第73 第12章 目标表达与描述傅立叶形状描述子傅立叶形状描述子:描述描述闭合边界闭合边界的一种方法，且仅适用于单闭合曲线的一种方法，且仅适用于单闭合曲线 具体的做法：具体的做法：假定某目标物的区域边界由假定某目标物的区域边界由Q个像素组成，把这个区域看个像素组成，把这个区域看成是在复平面内，每个点可定义一个复数。从边界上任一点开始，按逆时针成是在复平面内，每个点可定义一个复数。从边界上任一点开始，按逆时针方向沿线逐点写出一个复数序列方向沿线逐点写出一个复数序列f(i)，对此序列进行离散傅立叶变换，可对此序列进行离散傅立叶变换，可
28、得该边界在频域的表示得该边界在频域的表示F(w)。这些傅立叶系数称为这些傅立叶系数称为边界的傅立叶描述边界的傅立叶描述子子。从这些傅立叶系数中可知边界变化的剧烈程度。在目标描述和识别中通。从这些傅立叶系数中可知边界变化的剧烈程度。在目标描述和识别中通常只使用常只使用F(w)的幅值。的幅值。本讲稿第七十三页，共七十九页8.7目标轮廓的傅里叶描述n 轮廓的傅里叶描述轮廓的傅里叶描述 将2-D的问题简化为1-D的问题 两种表示：在空间平面XY上在复平面UV上本讲稿第七十四页，共七十九页8.7目标轮廓的傅里叶描述n 轮廓的傅里叶描述轮廓的傅里叶描述 轮廓傅里叶描述的傅里叶反变换 只利用S(w)的前M个
29、系数 为重建轮廓点所用的频率项少了本讲稿第七十五页，共七十九页第76（a）字母H （b）边界图 （c）全部傅立叶 （d）采用225项本讲稿第七十六页，共七十九页第77 （e）采用45项 （f）采用27项 （g）采用18项 （h）采用9项本讲稿第七十七页，共七十九页n已知用复数已知用复数u+jv的形式表示一个图形边界上的各个点的形式表示一个图形边界上的各个点（x,y）所得到的复数序列为：）所得到的复数序列为：s(0)=0,s(1)=1,s(2)=2,s(3)=2+j,s(4)=2+2j,s(5)=1+2j,s(6)=2j,s(7)=j,则该复数序列表示的图形是什么形状？则该复数序列表示的图形是什么形状？本讲稿第七十八页，共七十九页小小 结结n目标表达和描述的区别和联系目标表达和描述的区别和联系n边界的表达方法边界的表达方法链码；多边形逼近链码；多边形逼近n区域的表达方法区域的表达方法空间占用数组；四叉树和骨架等空间占用数组；四叉树和骨架等n边界的描述方法边界的描述方法简单边界描述符；矩和傅立叶形状描述子等简单边界描述符；矩和傅立叶形状描述子等n区域的描述方法区域的描述方法简单、形状、拓扑区域描述符；矩；纹理描述符简单、形状、拓扑区域描述符；矩；纹理描述符本讲稿第七十九页，共七十九页