《基于SSVEP与运动想象的实时脑控阿凡达系统.doc》由会员分享，可在线阅读，更多相关《基于SSVEP与运动想象的实时脑控阿凡达系统.doc（5页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、计 算 机 与 现 代 化 2018 年第 1 期 文章编号： 1006-2475（ 2018） 01-0036-04 SSVEP JISUANJI YU XIANDAIHUA 总第 269 期 基 于 与 运 动 想象 的 实 时 脑 控 阿 凡 达 系 统 林铭铎，欧祖宏 （ 广东工业大学自动化学院 广东， 广州 510006） 摘要： 针对当前在线脑机接口交互系统识别正确率比较低 、 模式单一 、 算法复杂度高等问题，设计基于 SSVEP 和运动想象 的实时脑控实时算法并应用于脑控阿凡达系统 。 通过 对 6 名 受试者进 行离线 训练和在 线测试 ，实 验结果 表明该系 统较 好地反映
2、受试者的控制意图，所有受试者均可以基本准确地控制机器人，可 实现多指令的控制，识别准确 率高 可 进一步， 推动脑机接口在实际领域的应用和发展 。 关键词： 稳态视觉诱发； 运动想象； 脑机接口； 脑控阿凡达 中图分类号： 文献标识码： A doi： 10 3969/ j issn 1006-2475 2018 01 008 eal-time Brain-controlled Avatar System Based on SSVEP and Motor Imagery LIN Ming-duo， OU Zu-hong （ School of Automation， Guangdong Univ
3、ersity of Technology， Guangzhou 510006， China） Abstract： Aiming at solving the problem that the accuracy rate of recognition system is relatively low， the model is simple and the complexity of the algorithm is high， the real-time brain control real-time algorithm based on SSVEP and motion imaginatio
4、n is de- signed and applied to the brain-controlled Avatar system By conducting off-line training and online testing of six subjects， the ex- perimental results show that the system better reflects the control intention of the subject All subjects can basically control the ro- bot and achieve multi-
5、instruction control with high recognition accuracy The system steps to promote the brain-computer interface in the practical application and development Key words： SSVEP； motor imagery； brain-computer interface； brain-controlled Avatar 0 引 言 电位 （ Event elated Potentials， E P） 5-6 ，因在事件发 7 生 300 ms 后
6、产生对 应的电位 信号而得 名 。 P300 脑控 “阿凡达 ”系统能够利用脑电波远程控制机 器人，从而实现人的意识与被控制体融合并能控制其 运动和通过其感官感知环境实况的效果。脑机接口 （ Brain Computer Interface， BCI） 作为一类直接桥接大 脑和外部世界的新兴技术 ，将是实现脑 控阿凡达 的关键技术。 BCI 基于脑活动模式分为以下 4 种不同类型： 1） 事件相关去同步 / 同步（ E D / E S） 。明尼 苏达大学的贺斌教授及其团队成功利用运动想象产 生的 E D / E S 现象控制一架四旋翼无人 机在三维 空间里移动 和凭借意念在复杂的三维空间控制物
7、 体，包括控制机械 臂完成捉握、放置物体的 任务 。 E D / E S 属于内源性的，受试者无需训练或者少量 训练便可产生，因此是 BCI 领域中的一个研究热点。 2） P300 事件相 关电位。 P300 是一种 事件关联 收稿日期： 2017-05-03 ： （ 1995-） ， ， ， 检验准确率高，训练时间短，但是信息传输率不高。 3） 视 觉 诱 发 电 位 （ Visual Evoked Potentials， VEP） 。即受试者受到视觉刺激后，在其枕叶上 采集到的脑电信号可以观 察到诱发电位。新加坡的 Paniker 将 P300 和 SSVEP 结 合 起 来 设 计 了
8、异 步 BCI 。清华大学的程明、高上凯、王毅军等人对基 于 SSVEP 的脑机接口进行了长期深入的研究 。 受试者在长时间使用后会感到很疲惫 同时会导致视， 力与注意力的下降。 4） 慢皮层电位（ Slow Cortical Potential， SCP） 。 德国 Birbaumer 等人对基于 SCP 的 BCI 作了深入研 究 ，利用头皮电极记录的 SCP 为 ALS 瘫痪病 人 设计了名为 Thought Translation Device（ TTD） 的 BCI 设 备。但 SCP 的训练时间较长 通信速率相对较慢， 。 综上所述，由于基于 SSVEP 的 BCI 系统要求受 ，
9、 ： ， ； 作者简介林铭铎 （ 1996-） ， ， ， 男 广东揭阳人 ， 广东工业大学 自动化 学院本 科生 ： 。 研究 方向 脑电信 号处理 机器 学习 欧祖 宏 男 广东广宁人 本科生 研究方向 脑机接口 1 2 3 4 8 -10 2018 年第 1 期 林铭铎等 ： 基于 SSVEP 与运动想象 的实时脑控阿凡达系统 37 试者长期注视刺激界面，容易造成视觉疲劳但识别准 确率高，基于运动想象的 BCI 系统识别率较低但其发 展前景更大。基于上述其他研究存在的问题，设计了 基于 SSVEP 和运动想象的实时脑控阿凡达系统。 1 系统的组成及设计 1 1 系统组成 系统由 2 个子
10、系统组成： BCI 子系统和机器人控 制子系统，如图 1 所示。其中，在机器人控制子系统 中，采用优必选 Alpha 机器人实现 6 个动作。 SSVEP 的 8 Hz， 12 Hz ， 15 Hz， 18 Hz 分别对应机器人的复位 、 前进、左转、右转； 运动想象的左手和右手分别对应机 器人的跳舞、武术。在 BCI 子系统中，包括脑电信号 的获取和脑电信号的识别和 发送机器人控制 信号。 对脑电信号的识别分为 3 个步骤 ： 信号预处理、特 征提取和分类。 出现 SSVEP。当受试者注意某个以一定频率闪烁的 目标时 在该频率及其， 2 次和 3 次谐波频率的 SSVEP 响应会增强。因此
11、本文采用， 8 Hz， 12 Hz， 15 Hz，18 Hz 的诱发脑电信号作为脑机接口控制系统的输入信号。 进行运动想象时大脑的运动中枢区域会有事件 相关去同步（ E D ） 与同 步（ E S） 现象，是区分不同 运动想象脑电信号的根据。左右手运动想象产生的 3 4 起该区域信号的 节律和 节律的幅值发生特定变 化，如图 3 所示。当受试者进行左手的运动想象时， C3 通道的脑电数据在 8 12 Hz 频段的幅值出现升 高，即发生在 E S 现象，而 C4 通道的脑电数据在 8 12 Hz 频段的幅 值出现降低，即发生 E D 现象； 相反， 当受试者进行右手 的运动想象时， C3 通道出
12、现 E D 想象， C4 通道则出现 E S 现象。 图 3 脑电信号的 E D / E S 图 1 脑控阿凡达系统 1 3 基于 SSVEP 与运动想象的脑控实时算法设计 采用广州美伦安迪电子科技有限公司生产的脑 电采集仪 A1-2010 进行脑电采集，按照国际 10-20 系 统标准放置电极，受试者通过注视在 LCD 液晶显示 屏四周的 LED 闪光灯进行 SSVEP 的诱发， LCD 用于 显示运动想象的方向，受试者根据上述方向进行相应 的想象任务。利用 1 s 的滑动窗每次截取 10 s 的脑 电信号，通过对脑电信号的识别解析出对应的机器人 控制指令，实现机器人的实时控制。 1 2 实
13、现原理 图 4 基本 SSVEP 与运动想象 （ 首先对采集的信号进行预处理 ） ， SSVEP 包 括归一化和 ， 带通滤波 然后先进行 的特征提取 ， 判断信 ， 图 2 不同的闪烁频率对应不同的 SSVEP 幅值 18 号中的特定频率幅值是否超过阈值 如果超过 则进 Pastor 等人 振幅之间的关系 研究了视觉刺激和 SSVEP 诱发的 ，显示 SSVEP 的振幅在 15 Hz 出现 行 SSVEP 的分类识别； 如果没有超过，则进行运动想 象的特征提取和分类识别。由于进行运动想象时，受 LED ， SSVEP 峰值，在 27 Hz 形成 较低 的峰值，并 且在 较高 频率 试者不会注
14、视刺激的 闪光灯 ， 特征提取 （ 30 Hz ） 下进一步降低，如图 2 所示，当这种视觉 的频率幅值很难超过阈值 此时进行运动想象的算法 17 E D / E S C ， C ， 刺激的频率高于 6 Hz 时，诱发电位将会变得稳定并 处理，如图 4 所示。具体算法步骤如下。 38 计 算 机 与 现 代 化 2018 年第 1 期 1 3 1 信号归一化 ， c j + 1， k n k j， n h n 2k ， k z 脑电信号的预处理是非常关键的一步 ， 目的是提 。 c j 1， k = c j， n g n 2k ， k z （ 3） 高信号的信噪比 让原始信号尽可能保留有用信息
15、 n k 从硬件平台采集的脑电信号一般夹杂着许多噪声，例 如： 基线漂移、眼动、肌电干扰、工频干扰等。预处理 A 模型（ 自回归 模型 ， Auto egression Model ） 可 算法采用 z-score 方法，令 后续算法处理的不同维度 的数据可以 在同 一个数 量级 别。其 标准 化公 式是 1 3 2 带通滤波器设计 常用的滤波器包括数字滤波器和模拟滤波器，其 中数字滤波器具有实现方便、消噪效果明显的优点， 所以本算法选择数字滤波器来对数据进行滤波。根 据选定的刺激频率，考虑 2 倍频率的大小，设计 5 30 Hz 的 II 数字带通滤波器。 1 3 3 SSVEP 特征提取与
16、分类 1） 特征提取。 上述处理的脑电信号是时域上的离散信号，无法 得到脑电信号在频域上频率和幅值的关系。要想实 现从脑电信号到刺激频率的准确判断 需要对所得信， 号进 行 快 速 傅 里 叶 变 换 （ Fast Fourier Transform， FFT） ，式（ 1） 是将信号从时域转换到频域然后提取对 应频率的幅值。 n= 0 2） 分类识别。 分类算法主要负 责将特征提取的结果转换为对 应的控制指令。针对本文特征提取的结果 主要有以， 下 2 种分类方法： 阈值判断的方法，将离线采集的 数据剔除异常点后进行通道叠加和求取平均值，作为 各个频率对应的阈值，通过和阈值进行比较来判定是
17、属于哪一个分类，如果存在多个幅值超过阈值，则取 较大者； 将提取的频率幅值组成四维特征向量送入 分类器分类。由于 SSVEP 的特征现象 较为显著，本 文将采用阈值判断的方法。如果判断结果超过阈值， 则执行对应的控制指令； 如果判断结果均 为超过阈 值，则进行运动想象特征提取和分类 。 1 3 4 运动想象特征提取与分类 1） 特征提取。 将经过上述处理的后的脑电信号进行 3 层的小 波分解，具体采用 Mallat 快速分解算法，如式（ 2） 和 3 4 8 Hz） 、高 频系 数 cD3 （ 8 16 Hz ） ， cD2 （ 16 32 Hz） ， cD1（ 32 64 Hz ） 。提取了
18、 cD2 （ 16 32 Hz） 和 cD3（ 8 16 Hz ） 小波系数的均 值、能量 值、均方差 3 个统计值作为特征。特征组成： 3（ 电极数） 2（ 频带 数） 3（ 均值 能量 标准差、 、 ） = 18 维。 槡 以用于估计运动想象 mu 节律的振幅。如下式（ 4） 所 示，其中 yt 是在时间 t 的估计信号， wi 是加权系数， 是估计的误差，可通过最小二乘法估计。本文采用窗 口长度为 1 s 的 6 阶 A 模型来计算 C3 和 C4 的 mu 节 奏的振幅，得到二维的 A 特征向量。 i = 1 2） 分类识别。 综上所述，脑电信号通过特征提取可以得到 20 维的特征向量
19、，其中包括 18 个小波系数统计特征和 二维的 A 特征向量。分类算法是算法中的最后一 步，也是连接 BCI 和机器人的关键步骤。通过对脑电 信号进行分类，判别出脑 电信号所代表的 机器人动 作。由于特征向量的维数较多，将采用 SVM 作为分 类器，有利于对高维特征的处理和超参数调优。 2 实 验 2 1 实验准备 图 5 实验过程 受试者为 6 名，年龄平均 22 岁，均为右利手，视 力正常。利用 C3 -O1 ， C4 -O2 ， CZ-O Z这 3 对差分电极进 行脑电信号的采集，利用该差分方法对局部信号的变 换采集灵敏性高，可提高信号的信噪比，降低其他干 扰的影响程度。信号采样率设置
20、256 Hz。实验时受 试者要求处 于放松状态，双眼距离刺 激器 70 cm 左 右，实验时，将屏幕和机器人一起放置在受试者的前 面，如图 5 所示。实验包括离线实验的模型训练和在 线实验的评测。 2 2 离线实验训练 离线实验训练主要针对以下情况： 1） 受试者的脑电信号会随着环境的变换而受到 影响； 2） 不同受试者之间脑电信号 存在一些差异。 因此，当实验环境或受试者改变时，有必要先进 = c x x= ， ， 。 N 1 k X（K） = x（ n） W ， k = 0， 1， ， N 1 （ 1） （ 3） 。 C C s、 cA3（ 1 1 t W（ a，） = f（ t） ， ，
21、（ t） = f（ t） dt （2） f a a 2018 年第 1 期 林铭铎等 ： 基于 SSVEP 与运动想象 的实时脑控阿凡达系统 Clinical Neurophysiology， 1999， 110（ 11） ： 1842-1857 39 行离线实验训练对模型参数进行调 整，以更好地适应 当前的在线实验。 具体做法如下： 将采集的脑电信号划分为训练集和测试集，训练 集用于模型的训练； 测试集用于模型的验证，根据验 证的结果进行参数调整，包括 SSVEP 阈值的调整和 SVM 分类器的核参数、惩罚系数的调整。 2 3 在线实验及分析 进行在线实验时， 6 名受试者均要完成 “阿凡达
22、 ” 机器人控制任务 （ 其中在开始之前 Sub1， Sub2， Sub3 进行离线训练实验， Sub4， Sub5， Sub6 未 进行离线训 练实验） 。每一轮控制任务包括 30 个指令，每个指令 随机出 现 5 次，做完一轮即记录受试者正确识别的个 数。每名受试者需完成 4 轮。将 4 轮任务的记录进 行叠加平均，获得每名受试者的平均准确率。再计算 是否进行离线训练平均准确率。表 1 为实验结果。 表 1 实验结果 3 4 5 6 7 8 9 LaFleur K， Cassady K， Doud A， et al Quadcopter control in three-dimension
23、al space using a noninvasive motor im- agery-based brain-computer interface J Journal of Neu- ral Engineering， 2013， 10（ 4） ： 046003 Meng Jianjun， Zhang Shuying， Bekyo A， et al Noninva- sive electroencephalogram based control of a robotic arm for reach and grasp tasks J Scientific eports， 2016， 6： 3
24、8565 Farwell L A， Donchin E Talking off the top of your head： Toward a mental prosthesis utilizing event-related brain po- tentials J Electroencephalography and Clinical Neuro- physiology， 1988， 70（ 6） ： 510-523 Donchin E， Spencer K M， Wijesinghe The mental pros- thesis： Assessing the speed of a P30
25、0-based brain-comput- er interface J IEEE Transactions on ehabilitation Engi- neering ， 2000， 8（ 2） ： 174-179 Soutton S， Braren M， Zubin J， et al Infonnation delivery and the sensory evoked potential J Science， 1965， 155 （ 3768） ： 1436-1439 Allison B， Faller J， Neuper C H BCIs that use steady state
26、visual evoked potentials or slow cortical potentials M / / Brain-Computer Interfaces： Principles and Prac- tice Oxford University Press， 2012 Vidal J J Toward direct brain-computer communication J Annual review of Biophysics and Bioengineering， 1973， 2（ 1） ： 157-180 6 名受试者的平均准确率最高可达 76 0% ，其中 10 Bir
27、baumer N， Ghanayim N， Hinterberger T， et al A spell- ing device for the paralysed J Nature， 1999， 398 （ 6725） ： 297-298 11 Panicker C， Puthusserypady S， Sun Y An asynchronous P300 BCI with SSVEP -based control state detection J Sub2 可以较好地操纵该系统。除此之外，受过在线 训练试验的受试者平均准确率为 82 0% ，相比未受过在 线训练的受试者的 70 0% ，控
28、制准确率提升 12% 左右。 3 结束语 本文提出了基于 SSVEP 和运动想象的脑控实时 算法，并将其应用于脑控阿凡达机器人系统的控制。 通过对 6 名受试者进行实验，结果表明： 所有受试者 均可以基本准确地控制机器人，受过离线训练平均准 确率可达 82 0% 。虽然受试者存在个体差 异，但仍 可以通过大脑来控制机器人进行基本的运动，提出的 实时脑控阿凡达机器人是可行的。另一个结论是，进行 在线实验前，对受试者进行离线训练比没有进行离线训 练的受试者具有更高的准确率。因此 对不同受试者和， 实验环境进行模型参数微调 可以提高控制精度， 。希望 下一步研究可以继续提高识别的准确率和稳定性。 参
29、考文献： 1 He Bin， Gao Shangkai， Yuan Han， et al Brain-computer interfaces M / / Neural Engineering Springer US， 2013： 87-151 2 Pfurtscheller G， Da Silva F H L Event-related EEG /MEG synchronization and desynchronization： Basic principles J IEEE Transactions on Biomedical Engineering， 2011， 58 （ 6） ： 17
30、81-1788 12 Cheng Ming， Gao Xian， Gao Xiaorong， et al Design and implementation of a brain-computer interface with high transfer rates J IEEE Transactions on Biomedical Engi- neering ， 2002， 49（ 10） ： 1181-1186 13 Wang Yijun， Wang uiping， Gao Lian， et al A practical VEP-based brain-computer interface
31、 J IEEE Transac- tions on Neural Systems and ehabilitation Engineering， 2006， 14（ 2） ： 234-240 14 Gao Xiaorong， Xu Dingfeng， Cheng Ming， et al A BCI- based environmental controller for the motion-disabled J IEEE Transactions on Neural Systems and ehabilitation Engineering ， 2003， 11（ 2） ： 137-140 15
32、 Birbaumer N， Kubler A， Ghanayim N， et al The thought translation device （ TTD） for completely paralyzed patients J IEEE Transactions on ehabilitation Engineering， 2000， 8（ 2） ： 190-193 16 Birbaumer N， Elbert T， Canavan A G， et al Slow poten- tials of the cerebral cortex and behavior J Physiological
33、 eviews， 1990， 70（ 1） ： 1-41 17 Sanei S， Chambers J A EEG Signal Processing M John Wiley Sons， 2013 18 Pastor M A， Artieda J， Arbizu J， et al Human cerebral activation during steady-state visual-evoked responses J Journal of Neuroscience， 2003， 23（ 37） ： 11621-11627 受试者 Sub1 Sub2 Sub3 Sub4 Sub5 Sub6 1 26 /30 25 /30 23 /30 21 /30 22 /30 20 /30 2 24 /30 26 /30 22 /30 22 /30 21 /30 19 /30 3 25 /30 24 /30 22 /30 19 /30 20 /30 22 /30 4 25 /30 26 /30 25 /30 22 /30 22 /30 22 /30 平均 /% 83 3 84 2 78 6 70 0 70 8 69 2 是否离线训练 82 0% （ 是） 70 0 % （ 否）