《监督分类的基本原理及算法ppt课件.ppt》由会员分享，可在线阅读，更多相关《监督分类的基本原理及算法ppt课件.ppt（41页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、EMC在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么监督分类的基本原理及算法监督分类的基本原理及算法讲解者：彭彬在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么统计模式识别统计模式识别是研究每一个模式的各种测量数据的统计特统计模式识别是研究每一个模式的各种测量数据的统计特性，按照统计决策理论来进行分类。性，按照统计决策理论来进行分类。图像图像输入输入训练训练样本样本输入输入改进规则改进规则预处理预处理特征处理特征处理特征处理特征处理分类分类学习规则学习规则误差误差检验检验预处理预处
2、理识别识别分析分析模式识别的大致过程模式识别的大致过程在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么图中的上半部分是图中的上半部分是识别部分识别部分，即对未知图像进行分类；下，即对未知图像进行分类；下半部分是半部分是分析部分分析部分，即由已知判别的训练样本求出判别函，即由已知判别的训练样本求出判别函数及判别规则，进而用来对未知类别的图像进行分类。右数及判别规则，进而用来对未知类别的图像进行分类。右下脚部分是下脚部分是自适应处理自适应处理（学习部分），当训练样本根据某（学习部分），当训练样本根据某些规则求出一些判别规则后，再对这些顺利样本
3、逐个进行些规则求出一些判别规则后，再对这些顺利样本逐个进行检验，观察是否有误差。这样不断的改进，直到满足要求检验，观察是否有误差。这样不断的改进，直到满足要求为止。为止。从图中可以看出统计模式识别部分主要是从图中可以看出统计模式识别部分主要是特征处理特征处理和和分类分类俩部分。俩部分。统计模式识别在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么特征处理：包括特征处理：包括特征选择特征选择和和特征变换特征变换特征选择：指从原来的特征选择：指从原来的M个测量值集合中，按某一准则选择个测量值集合中，按某一准则选择出一个出一个N维（维（NM）的子
4、集作为分类特征。要选取具有区分）的子集作为分类特征。要选取具有区分性，可靠性，独立性好的少量特征。（下面介绍俩种方法）性，可靠性，独立性好的少量特征。（下面介绍俩种方法）穷取法穷取法：从：从M个原始的测量值中选出个原始的测量值中选出N个特征，一共有个特征，一共有C 种种可能。对每一种选法用已知类别属性的样本进行试分类，测可能。对每一种选法用已知类别属性的样本进行试分类，测出其正确分类率，分类误差最小的一组特征是最好的选择。出其正确分类率，分类误差最小的一组特征是最好的选择。最大最小类对距离法最大最小类对距离法：首先在：首先在K个类别中选出最难分离的一个类别中选出最难分离的一对类别，然后选择不同
5、的特征子集，计算这一对类别的可分对类别，然后选择不同的特征子集，计算这一对类别的可分性，具有最大可分性的特征子集就是该方法选择的最佳特征性，具有最大可分性的特征子集就是该方法选择的最佳特征子集。子集。mn特征处理在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么特征变换特征变换：是将原有的：是将原有的M个测量值集合通过某种变换，然后个测量值集合通过某种变换，然后产生产生N（NM）个特征用于分类。）个特征用于分类。第一种情况：从减少特征之间的相关性和浓缩信息量的角度第一种情况：从减少特征之间的相关性和浓缩信息量的角度出发，根据原始数据的统计特
6、性，用数学的处理方法使用尽出发，根据原始数据的统计特性，用数学的处理方法使用尽量少的特征最大限度的包含所有原始数据的信息。量少的特征最大限度的包含所有原始数据的信息。主成分主成分常常用于这种。用于这种。第二种：根据对测量值所反映的物理现象和待分类类别之间第二种：根据对测量值所反映的物理现象和待分类类别之间关系的认识，通过数学运算产生一组新的特征，使得待分类关系的认识，通过数学运算产生一组新的特征，使得待分类别之间的差异在这组特征中更明显，有利于分类的结果。别之间的差异在这组特征中更明显，有利于分类的结果。监督分类监督分类：是根据预先已知类别名的样本，求出各类在特征空：是根据预先已知类别名的样本
7、，求出各类在特征空间的分布，然后利用它对未知函数进行分类的方法。间的分布，然后利用它对未知函数进行分类的方法。特征处理在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么常常用用的的判判别别涵涵数数线性线性判别判别函数函数距离距离判别判别函数函数统计统计判别判别函数函数绝对距离绝对距离费歇判别法费歇判别法贝叶斯判别法贝叶斯判别法马氏距离马氏距离欧几里得欧几里得距离距离最大似然法最大似然法原理原理统计分类法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食
8、的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么距离函数在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么距离函数在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么距离函数在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点
9、点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么费歇尔判别法费歇尔费歇尔(Fisher)准则：准则：要使判别函数值能充分地区分开地理类型，就需要使判别函数值能充分地区分开地理类型，就需要使各类均值之间的差别最大要使各类均值之间的差别最大 （即使不同类之间（即使不同类之间的差别最大），而使各类内部的离差平方和为最的差别最大），而使各类内部的离差平方和为最小小 （即使同类间的差别最小）。（即使同类间的差别最小）。换句话说，即要求类间（或组间）均值差与类内换句话说，即要求类间（或组间）均值差与类内（或组内）方差之比最大（或组内）方差
10、之比最大 ，这样就能把地理类型，这样就能把地理类型区分得最清楚，这就是费歇尔准则的基本要点区分得最清楚，这就是费歇尔准则的基本要点 。在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么图中：横坐标图中：横坐标X1代表代表变量变量x1,纵坐标代表变纵坐标代表变量量x2，其中俩个，其中俩个区域分别表示区域分别表示A类类和和B类总体的等概率类总体的等概率点的轨迹。如果只用点的轨迹。如果只用X1和和X2来表示来表示A和和B类的类的的分布概率和密度，的分布概率和密度，则很难将俩个数据分则很难将俩个数据分清楚，因为清楚，因为A和和B类的类的数据在俩个坐
11、标轴上数据在俩个坐标轴上都有较大的都有较大的部分重叠部分重叠。ABABX1X2 ABABY2Y1C费歇尔判别法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么只有将俩类的数据投影到只有将俩类的数据投影到直线直线Y1上，俩类重叠部分上，俩类重叠部分显著减少，直线显著减少，直线Y上所代上所代表的俩个变量的现象组合表的俩个变量的现象组合，即可看做是线性判别函，即可看做是线性判别函数。数。C点可以看做是俩个点可以看做是俩个样本的判临界值，将一维样本的判临界值，将一维空间划分成俩个空间空间划分成俩个空间C可可以看做是以看做是A类和类和B类的判类的判
12、别指标。别指标。ABABX1X2 ABABY2Y1C费歇尔判别法只有将俩类的数据投影到只有将俩类的数据投影到直线直线Y1上，俩类重叠部分上，俩类重叠部分显著减少，直线显著减少，直线Y上所代上所代表的俩个变量的现象组合表的俩个变量的现象组合，即可看做是线性判别函，即可看做是线性判别函数。数。C点可以看做是俩个点可以看做是俩个样本的判临界值，将一维样本的判临界值，将一维空间划分成俩个空间空间划分成俩个空间C可可以看做是以看做是A类和类和B类的判类的判别指标。别指标。在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么依费歇准则的要求，就要根据已知
13、的地理特征值依费歇准则的要求，就要根据已知的地理特征值进行线性组合，构成一个线性判断函数进行线性组合，构成一个线性判断函数y即：即：y=c1*x1+c2*x2+cm*xm其中其中,c1,c2,cm 为待求的判别函数系数，它可为待求的判别函数系数，它可反映各要素或特征值的作用方向、分辨能力和贡反映各要素或特征值的作用方向、分辨能力和贡献率的大小。献率的大小。只要确定了只要确定了ck(k=1,2,3)，判别函，判别函数数y也就确定了。也就确定了。Xk为已知各要素（变量）的特为已知各要素（变量）的特征值。征值。为了使判别函数为了使判别函数(y)能充分反映出能充分反映出A、B两种地理类两种地理类型的差
14、别，就要使两类之间均值差型的差别，就要使两类之间均值差费歇尔判别法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么尽可能大，而内部的离差平方和尽可能大，而内部的离差平方和 尽可能的尽可能的少。少。从而要使从而要使I尽可能的大。尽可能的大。费歇尔判别法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么可以一求极值的原理使可以一求极值的原理使I 取最大值，从而求出取最大值，从而求出Ck,进而算出：进而算出：当判别函数求出后，为判定某一地点的地理归属当判别函数求出后，为判定某一地点的地理归属
15、问题，还需计算出判别指标值问题，还需计算出判别指标值Yc.判别临界值可用判别临界值可用加权法求：加权法求：费歇尔判别法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么式中，Na为资料A类的组数，Nb为资料B的组数。费歇尔判别法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么最大似然法(贝叶斯)在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么最大似然法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认
16、为浪费这一点点算不了什么最大似然法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么最大似然法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么最大似然分类最大似然法在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么神经网络识别在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么神经网络识别在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点
17、算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么精度评价精度评价精度评价是对俩副图像进行比较，其中一精度评价是对俩副图像进行比较，其中一幅是要进行评价的幅是要进行评价的遥感分类图像遥感分类图像，另一幅，另一幅是假设是假设精确的参考图精确的参考图。误差矩阵与精度指标：误差矩阵与精度指标：误差矩阵误差矩阵（也称混淆矩阵）用来表示精度（也称混淆矩阵）用来表示精度评价的一种标准格式。误差矩阵是评价的一种标准格式。误差矩阵是N行行N列列的矩阵，其中的矩阵，其中N代表列别的数量。代表列别的数量。在日常生活中，随处都可以看到浪费粮食的现象。也
18、许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么精度评价在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么精度评价（4）漏分误差（）漏分误差（ommission）：指对于地）：指对于地面观测的某种类型，在分类图上任取一样面观测的某种类型，在分类图上任取一样本，其被错划分为其他不同类型的概率，本，其被错划分为其他不同类型的概率，也就是实际的某一类地物实际上有多少被也就是实际的某一类地物实际上有多少被错误地分类到其他类别。错误地分类
19、到其他类别。（5）错分误差（）错分误差（commission）：指对于）：指对于所分出的某一类型，任取一个样本，它与所分出的某一类型，任取一个样本，它与实际地面观测类型不同的概率，也就是图实际地面观测类型不同的概率，也就是图像中被划分某一类地物实际上有多少应该像中被划分某一类地物实际上有多少应该是别的类别。是别的类别。漏分误差和制图精度互补，而错分误差与漏分误差和制图精度互补，而错分误差与用户精度互补。用户精度互补。在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么 当检查误差矩阵中各种数据时，其地图用当检查误差矩阵中各种数据时，其地图用户
20、看到的是分类图中各个类别的可信度，而户看到的是分类图中各个类别的可信度，而制图分析者关心的是用于产生这张分类图的制图分析者关心的是用于产生这张分类图的方法的好坏。从用户角度，误差矩阵显示的方法的好坏。从用户角度，误差矩阵显示的是用户精度，从制图者角度，其显示的制图是用户精度，从制图者角度，其显示的制图精度。计算俩者时，其主要的区别是精度计精度。计算俩者时，其主要的区别是精度计算时的基数。对制图精度，基数是参照图上算时的基数。对制图精度，基数是参照图上各类别的总量；而对用户精度，基数是被评各类别的总量；而对用户精度，基数是被评价图像上的各类别的总数量。价图像上的各类别的总数量。精度评价在日常生活
21、中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么如下表：对居民区，其制图精度为如下表：对居民区，其制图精度为181/262，即即69.08%；而用户精度为；而用户精度为181/244.即即74.18%。用户精度指示的是这幅地图的可靠性。表。用户精度指示的是这幅地图的可靠性。表中表示被评价图像中表明为居民区的像元中，中表示被评价图像中表明为居民区的像元中，有有74.18%对于于实际的居民区；而制图精度对于于实际的居民区；而制图精度则告诉制图者在实际为居民区的地表，有则告诉制图者在实际为居民区的地表，有69.08%被正确地分类到居民区这一类中。被正确地
22、分类到居民区这一类中。精度评价在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么 参参 考考 图图 像像 被评价的图像被评价的图像居民区居民区空地空地植被植被道路道路总和总和居民区居民区18111655262空地空地1013014植被植被483961148道路道路5186276总和总和2441617268500制图精度制图精度漏风误差漏风误差用户精度用户精度错分精度错分精度居民居民区区181/262=69.08%30.92%181/244=74.18%25.82%空地空地1/14=7.14%92.86%1/16=6.25%93.75%植被植
23、被96/148=64.96%35.14%96/172=55.81%44.19%道路道路62/76=81.58%18.54%62/68=91.18%8.82%在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Kappa分析：分析：在对误差矩阵进行分析得出其总体精度，在对误差矩阵进行分析得出其总体精度，用户和制图精度后，我们往往仍需要一个用户和制图精度后，我们往往仍需要一个更客观的指标来评价分类质量，比如俩副更客观的指标来评价分类质量，比如俩副图像之间的吻合度。利用总体精度，用户图像之间的吻合度。利用总体精度，用户精度或制图精度的一个缺点是像元
24、类别的精度或制图精度的一个缺点是像元类别的小变动可能会导致其百分比变化。运用这小变动可能会导致其百分比变化。运用这些指标的客观性依赖于采样样本以及方法。些指标的客观性依赖于采样样本以及方法。Kappa分析分析 采用另一种离散的多元技术，采用另一种离散的多元技术，考虑矩阵的所有因素，用以克服上面的缺考虑矩阵的所有因素，用以克服上面的缺点。它是一种测定俩副图像之间的吻合度点。它是一种测定俩副图像之间的吻合度和精度的指标，其公式为和精度的指标，其公式为:精度评价在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么精度评价之KAPPA分析在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么ABABX1X2 ABABY2Y1在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么