《基于kinect的典型零部件识别与定位-张志佳.pdf》由会员分享，可在线阅读，更多相关《基于kinect的典型零部件识别与定位-张志佳.pdf（5页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第 卷 第 期 年 月沈 阳 工 业 大 学 学 报 收 稿 日 期 ： 基 金 项 目 ： 国 家 自 然 科 学 基 金 资 助 项 目 （ ） ； 江 苏 省 机 电 产 品 循 环 利 用 技 术 重 点 建 设 实 验 室 基 金 资 助 项 目 （ ） 作 者 简 介 ： 张 志 佳 （ ） ， 男 ， 河 北 晋 州 人 ， 副 教 授 ， 博 士 ， 主 要 从 事 机 器 视 觉 检 测 技 术 、 图 像 处 理 与 模 式 识 别 等 方 面 的 研 究 本 文 已 于 在 中 国 知 网 优 先 数 字 出 版 网 络 出 版 地 址 ： ： ： 基 于 的 典 型 零
2、 部 件 识 别 与 定 位张 志 佳， 魏 信 ， ， 周 自 强， 钟 玲， 何 欣（ 沈 阳 工 业 大 学 视 觉 检 测 技 术 研 究 所 ， 沈 阳 ； 常 熟 理 工 学 院 江 苏 省 机 电 产 品 循 环 利 用 技 术 重 点 建 设 实 验 室 ， 江 苏 常 熟 ）摘 要 ： 针 对 自 动 化 拆 卸 的 零 部 件 识 别 与 定 位 问 题 ， 提 出 了 一 种 结 合 深 度 信 息 的 典 型 零 部 件 图 像识 别 与 定 位 方 法 利 用 传 感 器 获 取 彩 色 图 像 与 深 度 图 像 ， 提 取 出 两 者 之 间 的 仿 射 变 换
3、矩 阵 ，实 现 彩 色 图 像 的 矫 正 ； 根 据 相 关 系 数 匹 配 法 实 现 矫 正 后 的 彩 色 图 像 零 部 件 识 别 ； 利 用 彩 色 图 像 与深 度 图 像 的 对 应 关 系 对 零 部 件 进 行 定 位 针 对 典 型 零 部 件 ， 对 传 感 器 获 取 的 图 像 进 行 仿 真实 验 与 处 理 ， 结 果 表 明 ， 该 方 法 能 对 目 标 进 行 识 别 与 定 位 ， 验 证 了 方 法 的 有 效 性 关 键 词 ： 传 感 器 ； 彩 色 图 像 ； 深 度 图 像 ； 仿 射 变 换 ； 图 像 矫 正 ； 相 关 系 数 法 ；
4、 图 像 匹 配 ；典 型 零 部 件中 图 分 类 号 ： 文 献 标 志 码 ： 文 章 编 号 ： （ ） ， ， ， ， ， （ ， ， ， ； ， ， ， ） ： ， ， ， ， ， ： ； ； ； ； ； ； ； 近 年 来 ， 机 器 视 觉 以 其 非 接 触 式 、 较 宽 的 光 谱响 应 范 围 、 定 位 、 测 量 和 缺 陷 检 测 的 优 势 ， 在 军 事目 标 识 别 、 人 脸 识 别 、 指 纹 识 别 、 发 票 号 码识 别 、 农 作 物 质 量 检 测 和 医 学 图 像 检 测 等领 域 得 到 了 广 泛 的 应 用 在 自 动 化 拆 卸 中
5、 ， 机 器 视 觉 是 自 动 获 取 零 部件 特 征 信 息 和 特 征 参 数 的 一 种 较 为 可 行 的 技 术 方法 对 于 一 些 高 要 求 、 高 负 荷 的 重 复 性 和 智 能 性 的工 作 ， 比 如 细 微 缺 陷 检 测 和 零 部 件 测 量 ， 人 眼 很 难持 续 、 稳 定 地 完 成 ， 机 器 视 觉 可 以 高 效 、 高 质 量 地第 期 魏 晓 慧 ， 等 ： 基 于 蜂 群 单 阈 值 分 割 的 板 材 缺 陷 分 类 方 法万方数据完 成 检 测 任 务 在 机 器 视 觉 中 ， 图 像 采 集 设 备 大 多 制 造 工 艺 复杂
6、， 精 确 度 高 ， 价 格 昂 贵 以 为 例 ， 该相 机 价 格 昂 贵 ， 体 积 大 但 是 ， 微 软 相 机 的 出现 ， 因 其 简 单 、 价 廉 、 方 便 ， 在 三 维 重 构 、 物 体 跟踪 和 姿 态 识 别 等 领 域 被 广 泛 应 用 目 前 ， 在 零 部 件 识 别 方 面 尚 未 有 公 开发 表 的 文 献 基 于 以 上 背 景 ， 本 文 深 入 研 究 了 基 于 的 零 部 件 识 别 与 定 位 方 法 ， 拓 宽 了 的 应 用 领 域 传 感 器 是 微 软 在 年 正 式 推 出 的 体 感 周 边 外 设 共 有 三 个 摄 像
7、头 ， 其 实 物 图如 图 所 示 ， 中 间 的 镜 头 是 彩 色 摄 像 头 ， 左右 两 边 的 镜 头 分 别 是 红 外 线 发 射 器 和 红 外 线 摄 像 机 在 底 部 还 配 备 了 传 动 马 达 ，在 两 侧 内 置 了 阵 列 麦 克 风 系 统 ， 用 于 语 音 识 别 系 统 关 于 彩 色 摄 像 头 和 深 度 传 感 器输 出 的 是 的 彩 色 图 像 和 深 度 图 像 设 备 能 获 取 其 视 野 范 围 内 目 标 的 彩 色 图 像和 深 度 图 像 ， 如 图 所 示 图 传 感 器 图 图 像 零 部 件 识 别 与 定 位图 中 ，
8、彩 色 图 像 比 深 度 图 像 包 含 更 多 的 图像 细 节 ， 能 满 足 识 别 一 些 结 构 复 杂 的 零 部 件 需 求 但 是 彩 色 图 像 提 取 的 只 是 图 像 中 的 坐 标 信 息 ， 而利 用 深 度 图 像 能 提 取 零 部 件 的 三 维 空 间 信 息 ， 达到 对 零 部 件 的 识 别 与 定 位 要 求 基 于 以 上 特 性 ， 可以 同 时 利 用 深 度 图 像 与 彩 色 图 像 对 零 部 件 进 行 识别 ， 并 确 定 零 部 件 所 在 的 三 维 空 间 位 置 图像校正 设 备 所 获 取 的 深 度 图 像 与 彩 色
9、图 像 里物 体 的 大 小 不 一 致 ， 深 度 图 像 里 的 人 物 偏 大 ， 如图 所 示 本 文 提 出 了 基 于 仿 射 变 换 的 图 像 校 正 方法 ， 通 过 图 像 校 正 ， 彩 色 图 像 与 深 度 图 像 重 合 ， 对 重合 后 的 彩 色 图 像 进 行 识 别 ， 并 实 现 对 零 部 件 的 定 位 以 一 块 规 则 的 正 方 形 黑 色 木 板 平 面 作 为 目标 ， 利 用 对 其 进 行 扫 描 ， 获 取 深 度 图 像 与彩 色 图 像 ， 图 给 出 了 扫 描 黑 色 木 板 示 意图 ， 图 给 出 了 获 取 的 深 度 图
10、 像 与 彩 色 图 像 图 黑 色 木 板 扫 描 示 意 图 图 图 像 示 意 图 如 图 所 示 ， 提 取 深 度 图 像 内 黑 色 部 分 、 、 三 个 角 的 二 维 坐 标 （ ， ） 、 （ ， ） 、 （ ， ） 提 取 彩 色 图 像 内 黑 色 部 分 、 、 三 个 角 的 坐 标（ ， ） 、 （ ， ） 、 （ ， ） ， 将 三 对 点 的 坐 标 代 入矩 阵 （ ） 中 ， 即 （ ）联 立 六 个 方 程 解 六 个 未 知 数 ， 得 到 一 个 的 仿 射 变 换 矩 阵 ， 其 表 达 式 为 （ ） 沈 阳 工 业 大 学 学 报 第 卷万方数
11、据 利 用 仿 射 变 换 矩 阵 对 彩 色 图 像 进 行 仿 射变 换 ， 图 给 出 了 变 换 后 对 比 示 意 图 图 仿 射 变 换 后 对 比 示 意 图 校 正 后 彩 色 图 像 中 、 、 与 深 度 图 像 中 、 、 位 置 重 合 零部件的图像识别图 像 矫 正 后 ， 彩 色 图 像 与 深 度 图 像 重 合 ， 对 重合 后 的 彩 色 图 像 进 行 识 别 ， 方 便 了 后 续 处 理 中 零 部件 的 定 位 以 六 角 螺 母 为 例 ， 利 用 提 取 零 部 件的 彩 色 图 像 ， 根 据 仿 射 变 换 矩 阵 对彩 色 图 像 进 行 仿
12、 射 变 换 ， 图 给 出 了 仿 射 变 换 前 后对 比 图 由 图 可 知 ， 仿 射 变 换 后 ， 彩 色 图 像 中 的 六 角螺 母 图 与 深 度 图 像 一 致 图 像 完 成 仿 射 变 换 后 ， 将彩 色 图 像 转 换 为 灰 度 图 像 ， 如 图 所 示 图 仿 射 变 换 图 灰 度 图 像 在 灰 度 图 像 中 计 算 搜 索 子 图 像 与 模 板 图 像 的匹 配 程 度 可 以 利 用 互 相 关 系 数 （ ， ） 或 者 归 一化 互 相 关 系 数 （ ， ） ， （ ， ） 的 取 值 范 围是 ， 其 表 达 式 分 别 为 （ ， ） （
13、 ， （ ， ） 珔 ， ） （ （ ， ） 珔 ）（ ） （ ， ） （ ， （ ， ） 珔 ， ） （ （ ， ） 珔 ） （ ， （ ， ） 珔 ， ）槡 （ （ ， ） 珔 ）槡（ ）式 中 ： ， 为 以 （ ， ） 作 为 左 上 角 进 行 匹 配 的 首点 ； 为 子 块 的 大 小 ；珔 ， 为 子 块 图 像 ， 的 灰度 均 值 ；珔 为 模 板 图 像 的 灰 度 均 值 图 为 图 像 匹 配 示 意 图 搜 索 图 是 的 图 像 ， 用 的 模 板 图 像 在 搜 索 图 匹配 最 佳 目 标 ， 可 以 利 用 相 关 系 数 法 作 为 匹 配 测 度 ， 根
14、据 匹 配 相 似 度 的 大 小 来 识 别 目 标 图 像 里 的 零 部 件 图 图 像 匹 配 示 意 图 零部件位姿计算典 型 零 部 件 的 位 姿 是 在 空 间 坐 标 系 下 的 坐标 ， 即 世 界 坐 标 ， 而 由 匹 配 算 法 得 到 的 只 是 在 图 像中 的 坐 标 ， 难 以 定 位 若 想 得 到 典 型 零 部 件 的 空 间位 姿 ， 可 以 利 用 彩 色 图 像 与 深 度 图 像 的 对 应 关 系求 取 ， 图 给 出 了 零 部 件 定 位 示 意 图 图 定 位 示 意 图 通 过 彩 色 图 像 提 取 出 典 型 零 部 件 中 心 点
15、 坐 标 （ ， ） ， 图 像 经 过 变 换 ， 彩 色 图 像 与 深 度 图像 重 合 ， 从 深 度 图 像 里 提 取 点 的 深 度 值 ， 然 后利 用 工 具 包 将 零 部 件 中 心 点 的 二第 期 张 志 佳 ， 等 ： 基 于 的 典 型 零 部 件 识 别 与 定 位万方数据维 图 像 坐 标 转 换 为 相 对 于 的 三 维 坐 标（ ， ， ） ， 从 而 对 零 部 件 起 到 定 位 的 作 用 实 验 概 况为 了 验 证 本 文 方 法 的 有 效 性 ， 针 对 典 型 零 部件 的 识 别 与 定 位 ， 实 验 分 别 对 标 准 中 的 、
16、、 、 四 种 型 号 六 角 螺 母 和 、 、 、 四 种 型 号 方 形 螺 母 进 行 了 实 验 ， 结果 表 明 ， 本 文 方 法 均 能 准 确 识 别 并 确 定 螺 母 所 在的 空 间 位 置 图像变换为 了 计 算 提 取 的 彩 色 图 像 与 深 度 图 像之 间 的 变 换 矩 阵 ， 设 计 了 一 个 实 验 板 进 行 实 验 ， 如图 所 示 获 取 的 深 度 图 和 彩 色 图 如 图 所 示 图 实 验 板 图 深 度 图 和 彩 色 图 用 深 度 摄 像 机 和 彩 色 摄 像 机 分别 对 图 所 示 的 实 验 板 进 行 拍 摄 ， 获 取
17、 出 对 应 图像 里 黑 色 正 方 形 木 板 左 上 角 ， 右 上 角 和 左 下 角 三个 点 的 坐 标 ， 如 表 所 示 表 典 型 零 部 件 模 型 三 个 参 数 图 像 左 上 角 右 上 角 左 下 角深 度 图 （ ， ） （ ， ） （ ， ）彩 色 图 （ ， ） （ ， ） （ ， ）对 于 表 的 两 组 点 ， 利 用 仿 射 变 换 求 出 仿 射 变 换 矩 阵 ， 即 利 用 求 出 的 仿 射 变 换 矩 阵 对 彩 色 图 像进 行 仿 射 变 换 ， 使 校 正 后 的 彩 色 图 与 深 度 图重 合 ， 彩 色 图 校 正 前 后 对 比
18、如 图 所 示 图 彩 色 图 像 校 正 零部件识别对 提 取 的 彩 色 图 像 进 行 仿 射 变 换 ， 然后 将 彩 色 图 像 转 化 为 灰 度 图 像 ， 如 图 所 示 ， 用图 所 示 的 模 板 对 其 进 行 相 关 系 数 匹 配 来 识 别零 部 件 图 图 像 匹 配 在 相 关 系 数 匹 配 法 识 别 中 ， 首 先 当 （ ， ）最 大 时 ， 图 像 上 （ ， ） 的 灰 度 值 最 大 ， 如 图 所示 ； 然 后 对 灰 度 值 最 大 的 点 提 取 其 轮 廓 ， 如 图 所 示 ； 最 后 确 定 方 形 螺 母 在 图 像 坐 标 里 的
19、位 置 ， 方形 螺 母 中 心 所 在 的 图 像 坐 标 为 （ ， ） ， 如 图 所 示 沈 阳 工 业 大 学 学 报 第 卷万方数据图 相 关 系 数 匹 配 法 图 轮 廓 图 方 形 螺 母 识 别 识 别 出 的 方 形 螺 母 中 心 所 在 的 图 像 像素 坐 标 为 （ ， ） ， 单 位 为 像 素 ， 相 应 的 深 度 值为 ， 可 以 用 开 发 工 具 包 将 图像 像 素 坐 标 转 化 为 三 维 坐 标 ， 提 取 出 相 对 于 中 心 所 在 的 空 间 位 置 坐 标 为 （ ， ， ） ， 单 位 为 结 论本 文 提 出 了 一 种 基 于
20、提 取 的 深 度 图像 和 彩 色 图 像 进 行 目 标 识 别 及 定 位 的 方 法 利 用仿 射 变 换 实 现 了 彩 色 图 像 与 深 度 图 像 之 间 的 几 何矫 正 ， 结 合 彩 色 图 像 中 目 标 的 细 节 信 息 和 深 度 图像 中 目 标 的 深 度 信 息 对 物 体 进 行 识 别 与 定 位 实验 结 果 表 明 ， 本 文 提 出 的 方 法 能 够 实 现 典 型 零 部件 的 识 别 与 定 位 参 考 文 献 （ ） ： 李 开 明 ， 张 群 ， 罗 迎 ， 等 地 面 车 辆 目 标 识 别 研 究 综述 电 子 学 报 ， ， （ ）
21、 ： （ ， ， ， ， ， （ ） ： ） 徐 维 清 ， 严 利 民 基 于 视 频 的 人 脸 识 别 系 统 研 究 工 业 控 制 计 算 机 ， ， （ ） ： （ ， ， ， （ ） ： ） 杨 霞 ， 刘 志 伟 ， 雷 航 基 于 的 指 纹 识 别 安全 技 术 研 究 与 实 现 计 算 机 科 学 ， ， （ ） ： （ ， ， ， ， （ ） ： ） 宫 义 山 ， 王 鹏 基 于 模 板 匹 配 的 发 票 号 码 识 别 算 法 沈 阳 工 业 大 学 学 报 ， ， （ ） ： （ ， ， ， （ ） ： ） 张 亚 静 ， ， 李 民 赞 基 于 机 器 视 觉 的番 茄 内 部 品 质 预 测 农 业 工 程 学 报 ， ， （ ） ： （ ， ， ， ， （ ） ： ） 张 辉 ， 王 耀 南 ， 吴 成 中 ， 等 高 速 医 药 自 动 化 生 产 线大 输 液 视 觉 检 测 与 识 别 技 术 控 制 理 论 与 应 用 ， ， （ ） ： （ ， ， ， ， ， （ ） ： ） ， ： ， ， ： ， ， ， ， ， （ ） ： ， ， ， ， ， （ ） ： ， ， ，