《仿生模式识别的算法实现与应用.pdf》由会员分享，可在线阅读，更多相关《仿生模式识别的算法实现与应用.pdf（4页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第 3 9卷 第 1期 2 O 1 1年 2月 浙 江 工 业 大 学 学 报 J OURNAL OF Z HEJ I ANG UNI VERSI TY OF TECHNOL OGY Vo l _ 3 9 No 1 Fe b2OI 1 仿 生模 式识 别 的算法 实现与应用 王宪保，陆(1 浙 江工业 大学 智能信息系统研究所，浙江 飞，陈 勇，方 路 平，王守 觉 2 杭州 3 1 0 0 3 2；2 中国科学 院 半导体研究所神经 网络实验室，北京 1 0 0 0 8 3)摘 要：运 用 高 维空 间几何 学和流 形 学 习理论，讨论 了仿 生模 式 识 别 的 原理，给 出 了具 体 算
2、 法妻 乏 计 和 基 于 高维 空 间几何 的 实现 方 法 在 不 限 定流 形 维数 的情 况下，对 学 习样 本覆 盖 方 法和测 试样 本识 别 方 法进行 了具体 实现，为仿 生模 式识 别 的应 用和 推 广奠 定 了基础 通 过设 计 的说话 人无 关语 音识 别 的试 验，验证 了方 法的 可行性，并取得 了 比传 统识 别 方 法更 高的识 别 效果 关键 词：仿 生模 式识 别；几何 体覆 盖；高维 空间几 何 学；流形 学 习 中图分 类号：T P 1 8 文献 标识 码：A 文章 编号：1 0 0 6 4 3 0 3(2 0 1 1)0 1 0 0 7 1 0 4 A
3、l g o r i t hm a nd a ppl i c a t i o n o f bi o m i m e t i c pa t t e r n r e c o g ni t i o n W ANG Xi a n b a o ，LU Fe i ，CHEN Yo n g ，FANG Lu p i n g ，WANG S h o u j u e (1 I n s t i t u t e o f I n t e l l i g e n t I n f o r ma t i o n S y s t e m，Z h e j i a n g Un i v e r s i t y o f Te c h
4、 n o l o g y，Ha n g z h o u 3 1 0 0 3 2，C h i n a；2 La b o f Ar t i f i c i a l Ne u r a l Ne t wo r k s，I n s t i t u t e of S e mi c o n du c t o r s，CAS，Be i j i n g 1 0 0 0 8 3，Ch i n a)Ab s t r a c t：By me a n s o f t he hi g h di me ns i o na l s p a c e ge o me t r y a n d ma ni f o l d s l e
5、 a r n i ng t he o r y，t he p r i n c i pl e s o f Bi omi m e t i c pa t t e r n r e c og ni t i on a r e di s c u s s e d The d e s i g n m e t ho d a nd pr o c e s s i ng r e a l i z a t i o n ha v e be e n f u r t he r pr e s e nt e d o n t he b as i s of t h e hi g h di me ns i o na l s p a c e
6、ge o m e t r y Und e r t he c o nd i t i on of unl i mi t e d ma ni f o l d s d i me ns i o n，t he d i s t r i bu t i ng m e t ho d of 1 e a r ne d s a mpl e s a n d t h e r e c o g n i t i o n me t h o d o f r e c o g n i t i o n s a mp l e s a r e p r a c t i c a l l y r e a l i z e d Th e wo r k
7、ma k e s a c o nt r i bu t i o n t o t he pr a c t i c a l a pp l i c a t i o n a nd i m p l e me nt a t i o n of Bi omi me t i c p a t t e r n r e c o gn i t i o n The s p e e c h r e c o gni t i on e x pe r i me nt ha s pr o v e d t he va l i d i t y o f t he a l go r i t h m a nd t he c o r r e c
8、 t r e c o gni t i o n r a t e i s h i gh e r t h a n t r a di t i on a l r e c og ni t i o n me t h od Ke y wo r d s：bi o mi m e t i c pa t t e r n r e c o gni t i on；ge ome t r i c a l di s t r i bu t i o n；hi gh di me n s i o n a l s p a c e ge ome t r y；ma ni f ol ds l e a r ni n g 仿生 模式 识别 理论 自
9、从 2 0 0 2年被 提 出 以来 口 ，已在 众多 领域 得 到 了广 泛 应 用 覃 鸿、徐 春燕、潘 晓 霞等 ，把 仿 生 模 式 识 别 理 论 应 用 到 语 音 识 别 领 域，通 过对 高 维空 间 同类语 音 样本 的覆 盖，达 到识别 的 目的 徐建、曲延 锋、王 志 海 等L 5。，在 人 脸 识 别 和 人脸 确认 过程 中，运 用 多 权 值 神 经 元 构 造 了 同类 样 本 的高维 复 杂几 何 体，取 得 了 比传 统 模 式 识 别 更 高 的识 别 效 果 安 东 则 把 仿 生 模 式 识 别 理 论 应 用 到 DoA估 计方 法 当 中 8 剐，通
10、 过 对 天 线 阵 列 输 出 信 号 特征 矢量 的高维 空 间几 何 分 析 与 处 理，实 现 了对 空 间角度 的识别 可 以看出，上述实验都是运用仿生模 式 识别 理 论对 样本 空 间或处 理方 法 在高 维空 间进行 覆 盖 或模 拟，但 都 没有 给 出具体 的实 现方 法 针对 不 同的识别 对 象在 高 维 空 间 中怎 样 进 行 合 适 的 处 理，不 同的处 理方 法 又有什 么 样 的区别 是需 要深 入研 究 的课题 收 稿 日期：2 0 0 9 0 9 0 7 基金项 目：国家 自然科学基金资助项 目(6 0 8 7 1 0 9 3)；浙 江省 教育厅 科研资
11、助项 目(Y2 0 0 9 0 7 8 0 1)作者简介：王宪保(1 9 7 7-)，男，山东菏泽人，讲师，博士，主要从事仿生模式识别和神经网络方面的研究，E-ma il：wx b z j u t e d u c n 7 2 浙江工业大学学报 第 3 9卷 1 仿生模式识别 仿生 模 式识 别 也称 为 拓扑 模 式识 别，是 一种 全 新 模式识别 理论 体 系 它从 人 类认 识 事 物 的 角度 出 发，依据特 征空 间 中同类 样 本 点 分布 连 续 的一 般 性 规 律，提 出了“认识”而非“划分”的识 别概念，为模式 识别 的发展 提供 了一个全 新 的发展方 向 仿生模式识别认
12、为，自然界任何欲被认识的两个“同源”同类 而不完全 相等 的事物，而这 两个 事物 的差 别是可 以渐变的或非量子 化的，则 这两个 同类 事物之 间必至少存 在一个渐变过 程，在这个 渐变过程 中间的 各事物都是属于同一类的 以数学 公式描述为：设 特征 空间 R 中所有属于 A类事物 的全体所做成 的点集 为 A，若集合 A 中存 在任意两个 元素 与，则对 e为任 意大于零的值时，必定存在集合 B，使得 B 一(X1，X2，X f X1：X，X 一 Y，N，p(X，Xm 十 1)，1 m l l ，B A 在特征 空 间 R 中同类 样 本点 之 间所 存 在 的这 个连续性规律是超出了
13、传统模式识别与学习理论的 基本 假定 的，该假 定认为“可用 的信 息都包含 在训 练 集 中”但这个 连续 性规律 却是 客观世 界 中人 类直观 认识 范围 的客观存 在 的规 律；因而 也 是仿 生 模式 识 别 中用来 作 为样本 点分 布 的“先 验 知识”，从 而来 提 高对事物 的认识 能力 在仿生模式识别中引入 了特征空间中同类 样本 的 连续性规律后，对一类事物的“认识”，实 质上就是对这 类事物的全体 在特征空 间 中形成 的无穷点集 合 的“形 状”的分析 和“认识”因而，与传统 模式识 别 中把不 同 类样本 在特征空 间中的最佳划分作 为 目标不 同，仿生 模式识 别
14、是以高维空 间几何学 和点集 拓扑学为基础，把一类样本 在特征空 间的分布 的最佳 覆盖作为 目标 仿生模式识别在二维空间的一个示意图见图 1 图 1仿 生模 式 识 别 示 意 图 Fi g 1 Bi o mi me t i c pa t t e r n r e c o gn i t i o n t h e or y 图中，三角形为要识别的样本，圆圈和十字是其 他两类样本 折线为传统线性划分的模式识别方式，大 圆为 R B F神 经 网络 的划分方 式，细 长椭 圆构成 的 折线 代表仿 生模 式识别 的“认 识”方式 可以看 出，仿 生模 式识别 对数 据 集分 布 的 认识 最 精 确，
15、采用 的方 式最合 理 2高维 空间的基本理论 仿生模式识别是在高维空间中对数据进行分析 与处理 的 高维 空 间叉称 为多维 空 间，是 一个 抽象 的 概 念口 ”，是 随着 人们 对 多 维数 字 信 号处 理 的 发展 而发展起来的一门理论 由于在数字信息处理中，所 有信 息都 是 由离散 的信号 即空 间 的点 来 表示 的，所 以近年来 得到 了很大 的发展 需要 说 明的是：笔 者 只 是试 图在应 用领 域 做一 些 初 步 的 阐述 与补 充，并 不 是数 学严格 意 义上 的定 义或 定理 点：用 A，B，c，P等表示 直线：用 以 表 示 A 丽 表示 经 过 点 A，点
16、 B 的直 线；A 仙)表 示经 过 点 A，点 B 的直 线 段；A A ，面表 示 经过 点 A 且 平 行 于 以 的直 线；A A J 面表 示 经 过 点 A 且垂 直于 以 的直线 空 间：用 0 表示 O A B C D 表示 由点 A，B，C，D 决定 的无 限空 间；A B c。表示 由点 A，B，C，D 为顶点 所决 定 的单形，是 一个有 限空 间 一以 蕊 距离：用 p表示 表 示 点 A 至 点 B 的距 离；J0 A 表 示点 A 至 以 丽 的距离；()表示 点 A 至 A(A B)的距 离；p A B 表 示点 A 至 而 的距离 垂足：用 表 示 盯 A 而
17、表 示 点 A 至 平 面BC D 的垂 足；肿 表示 点 A 至 空问 0 的垂 足 超 球体：用 S表示 S 表示 以点 A 为 圆心 d作 半 径 的 7 1 维 超球体 单 形：k维单 形是 由 维 空 间 中 k+1(是 3)个 不 在 同一个 k 一1 维 空 间内的点 A。，A ，A 惟 一 确 定 的，以这 k+1个 点 为顶 点 的 有 限子 空 间 单形 与 超球是 最简 单 的有 限低 维子 空间 多个 有 限低维子 空 间的并可 形成新 的有 限低维 子 空间 占空维 数：包 含该 有 限低 维子 空间所 有各 点的，维数 最 低 的 无 限 低 维 子 空 间 的 维
18、 数 定 义 为 占空 维数 流形：高 维 空 间 中 所 有 连 通 的 有 限 子 空 间 的 统称 第 1期 王 宪保，等：仿 生 模 式 识 别 的算 法 实 现 与 应 用 低 维流 形：高维 空 间 中 全 部元 素(点)连 通 的 有 限低 维 子空 间称 为低 维流 形 公理：在 n维 空 间 中任 一 低 维 流 形 与 n维超 球 的拓 扑乘 积 为一 n维 流形，相 当 于 以低 维 流形 中 每 个 点为球 心所 构 成 的全 部 维超球 的并 3 算法设计 仿生 模式 识别 是通 过 构造 待识 别样 本集 的覆盖 区域来 实 现“认 识”的，而 覆盖 区 域 的 流
19、形 是 由样 本 具体 的空 间分 布决 定 的，流形 学 习 的理 论 与 方 法 近 来 也得 到 许多 学 者 研 究 与 重 视口。笔 者 从 模 式 识 别 的角度 出发，给 出 了一种 新 的样本 覆 盖构造 算 法 为 了具 有 通用性，算 法不 对 维数 进行 限制 (1)设在 一 类 样 本 中有 n个 样 本 点 P一 P ，P。，P )，求距 离 最近 的 两个 点和，即使 得 p (1)其 中：P 和 P 为 P 巾的任 意两 点 (2)在 P 和 P，二点外，求 离 P 和 P 决 定 的直 线段 距 离最 小 的点 P ，即使 得 )(2)其 中：P 为 任意 点
20、(3)依 2所述，寻 找第 d+1 与 前面 d个 点构 成 的 一1维 单 形 距 离 最 近 的点，直 到 单 形 的维 数 为 样本 在 高维 空 间 中的流形 维 数，构 成 d维 单形 0 (4)在 1 之外 找 一 点 p ，使 得 p f 距 1中某 一 一1维单 形距 离最 小，并构 成新 单形，记 为 0 (5)采 用步 骤 4的 方 法，在 未 学 习集 合 中依 次 寻找 样本 点，使 这 点 到 已有 单 形 中 任 意 d 1维 单 形最 近，构成 新单 形，直 至所 有 样 本 学 习完 毕，共 得 到 n d个单 形 4 算法 实现 仿生 模式 识别 的实现 过程
21、 就是 计算 待识 另 0 样本 点到 学 习样本 所 组 成 的覆 盖 流 形 距 离 的过 程 考虑 到覆 盖 流形 的复 杂 性，具 体 是 通 过 首先 计 算 到各 个 单形 的距 离来 实 现 的，点到覆 盖 流 形 的距 离 就 是 到 所有 单形 的最 近距 离 点 到 单 形 距 离 的求 取过 程 可 分为 三 步来实 现：点到 单形 所 在超 平 面垂足 的求 取、判断 垂 足是否 在 单形 内及 距 离 的计 算 具 体 实 现 方 法有 3种 4 1点到 超 平面垂 足 的求 取(1)对单 形 的 d个 点(也可 看作 d个 矢量)正 化，得 到 d 1 个 正交 轴
22、 (2)用待识 别 样本 z依 次 向这 d一 1 个 正 交 轴 作 投影，减 去各 投影 量 后 的值 即 为 z到单 形 所 在 超 平 面 的垂 足 4 2判断 垂足 是否 在 单形 内 由于单 形都 是 凸 的，若能 判 断垂足 与单 形 的 所 有顶 点 P 同在 除 点 P 之 外 所 有 点 组 成 的 d一 1 维 超平 面 的 同一 侧，则该 垂足 必在 单形 内 (1)分 别求 出点-z和点 P 在 超平 面 了 上 的垂 足 和 圳 (2)求 矢 量 与 矢 量 的 点 积，若 为 正，则在 同一 侧；若为 负，则在 超平 面 的两侧 4 3距 离计 算(1)若 垂足
23、在 单 形 的 内 部，则 点 到 d维 单 形 的 距离 就是 点 到该 单 形 中最 近 d一 1维 单 形 的距 离，即 一 rai nlD 瑚 0 i d+1 (3)(2)若 垂足 在 单 形 的外 部，则 点 到 d维 单 形 距 离 的平方 就是 点 到垂 足距离 与 垂足 到该 单形 中最 近 d一1 维单 形 的距离 的平 方 和，即 p 一、珀 d+m i n 一 、0 i d+1 (4)需 要 说 明的是，点 到单 形 的距 离求 取 过 程 是个 递 归过 程，它每 次 都 是把 计 算 降 到 低 一 维 单 形来 求 取，直 到单 形变 为一 个点(零 维单 形)5
24、应 用 实例 为 了验 证算 法 的有效 性，进行 如下 试验 录 取略 带 东北 或 江浙 一 带 口音 的普 通 话，共 2 O类 语 音 词 汇 录音 特性 见表 1 表 1录 音 特 性 表 Ta bl e 1 Re c o r d i n g c ha r a c t e r i s t i c 录 音 环 境 一 般 实 验 室 环 境 录 音 设 备 话 筒 发音人嘴唇到话筒距离 录 音 采 样 频 率 声 音 文 件 格 式 三 星 数 码 录音 笔 VY_ H3 5 0 简 易话 筒 小 于 5 c m 8 kH z 1 6 位数据，单声道，wAV格式 语 音数 据 由 2
25、4男 2 2女共 4 6 人 录制，年 龄遍 布 浙江工业大 学学报 第 3 9卷 于 1 O 6 O岁 之 间，每人 录 取 5遍，共 4 6 0 0个 样本 组成 把 实验样 本分 为三组，其 中男 1 9人，女 1 8人，共 3 7人中的 3 遍，共 2 2 2 0个 样本作 为训 练集 另 外 2 遍，共 1 4 8 0个 样本 作为第 一 一 测 试集 另 外 9人，共 9 0 0 个 作为第二测试集 语音特征选 用 MF C C 考 虑到语 音数据 集复杂 性，试 验选 用零维(可看 作 最近邻 法)、一维、二 维 和三 维 单形 分 别 做覆 盖 识 别 另外，还用传 统 HMM
26、 方法 进 行 了识 别试 验，采 用 无跳转从 左 到右 HMM 模 型，并 选 取最 佳 状态 数 和 高斯概率 密度 函数混 合数使 测试集 达 到尽 量 高的 识别 率 结 果见表 2 表 2 仿 生模 式 识 别 结 果 Ta bl e 2 The r e s u l t of b i omi me t i c pa t t e r n r e c o g ni t i on 从试 验结果 可 看 出，采 用 仿 生模 式 识 别覆 盖 的 识 别方法，能取得 较好 的识 别效果，比传 统 的 HMM 法 和最近邻 法(零 维 覆 盖)都要 高 而 且 随 着覆 盖 维 数的增加，样
27、本的识别率也逐渐提高，但提高幅度逐 渐 变小 由于考虑 了样本 问 的连续性 规律，对来学 人样 本 的正 确识别 率 得 到 了 显著 提 高，这 也体 现 了 仿生模 式识别 的优 越 性 由于 点 到覆 盖体 距 离 的计 算是个 递归 的过程，随着 维数 的增加，计算餐 呈级数 的增 长 所 以必须综 合考虑 识别 率和识 别时 白 J，从试 验来看，选择二 维覆 盖是合 适 的 6 结 论 运用 高 维 空 间几 何学 和流 形 学 习理 论，讨论 了 仿 生模式 识别 的实现方 法 给出 了在 不 限定 流形 维 数 的情 况下，学 习样 本 的覆 盖方 法 和样 本 识 别 的具
28、 体实现 通过语音识别 的试 验，验证 了方法 的可行 性，并取得了比传统识别方法更高的识别率 但此方 法 在覆 盖单形 维数 增 加 的情 况 下，计 算 量 会 大大 增 加，影响 了实际应用，这将是 以后研究的重点 参 考文献：1 王守觉 仿生模式识别(拓扑模式识别)一种模式识别新模 型的理论与应用 J 电子学报，2 0 0 2，3 0(1 O)：1 4 1 7-1 4 2 0 2 覃鸿，王守觉 多权值 神经元 网络仿 生模 式识别方 法在 低训练 样本数量非特 定人语音识别中与 HMM 及 DT W 的 比较研究 E J 电子学报，2 0 0 5，3 3(5)：9 5 7-9 6 0
29、3 王守觉，徐春燕，潘 晓霞，等 为连续语 音识别用 的单词 音节神 经网络建模 的研究 J 电子学报，2 0 0 5，3 3(1 0)：1 8 8 3 1 8 8 5 4 王守觉，潘晓霞，徐春燕，等 一种基 于高维空间覆盖动 态搜索 方法的非 特定 人 连续 数 字语 音 识别 的 研究 J 电 子学 报，2 0 0 5，33(1 0)：1 7 9 0】7 9 3 E s 王守觉，徐健，王宪保，等 基于仿生模式识 别的多镜头人 脸身 份确认 系统研究_ J 电子学报，Z O O 3，3 1(1)：I 一 3 6 乇守觉，曲延锋，李卫军，等 基于仿生模式识 别与传统模式识 别 的人 脸 识 别
30、 效 果 比 较 研 究 J 电 子 学 报，2 0 0 4，3 2(7)：1 0 5 7 1 0 6 1 E 7 乇志海，赵 占强，王守觉 仿生模式识别在单镜头人脸识别中的 应用E J 模式识别与人工智能，1 7(1)：9 8 一 l O 3 8 安东，王守觉 基于仿 生模式 识别 的 DO A 估计方 法 J 电子 与信 息 学 报，2 0 04，26(9)：l 4 6 8 1 47 3 9 安 冬，t守 觉 基 于仿 生 模 式 识 别 和 P C A I C A 的 D OA 估 计 方 法f J 电子学报，g O 0 4，3 2(9)：i 4 4 8 1 4 5 1 1 o l 手守觉，千柏南 人1 神经 网络的多维空 间几何分析及其理论 J 电子 学 报，2 0 0 2，3 0(1)：1 4 1 AD亚历I U 大洛 夫 数学 它的 内容、方法 和意义 M 王 元，译 北京：科学 出版社，2 0 0 1 1 2：王 靖 流形 学 习 的理 沦 与方 法研 究 D 浙 江：浙 江 大 学，2 0 0 3 r l 3 罗四维，赵连伟 基于潜图理论的流形学习l J 计算机研究与 进 展，2 0 0 6，4 3(7)：l 1 7 3 1 1 7 9 】d 张军平 流形学习 与应用F D 北京：中国科学院，2 0 0 3 (责任编 辑：刘 岩)