《人工神经网络方法简介.ppt》由会员分享，可在线阅读，更多相关《人工神经网络方法简介.ppt（69页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第一节第一节第一节第一节 人工神经网络人工神经网络人工神经网络人工神经网络方法简介方法简介方法简介方法简介第八章第八章 地理计算模型地理计算模型人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介第第1部分部分从生物神经元到人工神经网络从生物神经元到人工神经网络人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介 大脑与神经细胞、神经细胞与神大脑与神经细胞、神经细胞与神经细胞构成了庞大天文数字量级的经细胞构成了庞大天文数字量级的高度复杂的网络系统高度复杂的网络系统。也正是有了。也正是有了这样的这样的复杂巨系统复杂巨系统，大脑才能担负，大脑
2、才能担负起人类认识世界和改造世界的任务。起人类认识世界和改造世界的任务。“世界上最大的未开发疆域，是世界上最大的未开发疆域，是我们两耳之间的空间。我们两耳之间的空间。”（美国汉（美国汉诺威保险公司总裁比尔诺威保险公司总裁比尔奥伯莱恩）奥伯莱恩）一、一、生物神经系统和大脑的复杂性生物神经系统和大脑的复杂性 生物系统是世界上生物系统是世界上最为复杂的系统最为复杂的系统。生物神经系统活动和脑的功能，其生物神经系统活动和脑的功能，其复杂性是难以想象复杂性是难以想象的。的。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介 人大脑平均只有人大脑平均只有3磅左右。磅左右。只占
3、身体重量比例的只占身体重量比例的1/30；它令你的心脏每天不假思索它令你的心脏每天不假思索地跳动地跳动10万多次；万多次；它令你的眼睛可以辨别它令你的眼睛可以辨别1000万种细微的颜色；万种细微的颜色；它使你的肌肉它使你的肌肉(如果全部向如果全部向同一个方向运动同一个方向运动)产生产生25吨的拉吨的拉力；力；它是由它是由100亿个脑细胞和亿个脑细胞和10兆个神经交汇丛组成。整个大兆个神经交汇丛组成。整个大脑的神经网络足足有脑的神经网络足足有10英里长。英里长。大脑的有关数据大脑的有关数据大脑的有关数据大脑的有关数据人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介
4、“你的大脑就像一个沉睡的巨人。你的大脑就像一个沉睡的巨人。”（英国的心理学家、教育（英国的心理学家、教育家托尼家托尼布赞）布赞）“如果我们迫使头脑开足如果我们迫使头脑开足1/4的马力，我们就会毫不费力地的马力，我们就会毫不费力地学会学会40种语言，把整个百科全书从头到尾背下来，还可以完种语言，把整个百科全书从头到尾背下来，还可以完成十几个大学的博士学位。成十几个大学的博士学位。”（前苏联学者伊凡）（前苏联学者伊凡）一个正常的大脑记忆容量有大约一个正常的大脑记忆容量有大约6亿本书的知识总量，相当于一亿本书的知识总量，相当于一部大型电脑储存量的部大型电脑储存量的120万倍；万倍；大脑使你从出生开始
5、每一秒钟可存储大脑使你从出生开始每一秒钟可存储1000条信息，直到老死为止；条信息，直到老死为止；全世界的电话线路的运作只相当于大约一粒绿豆体积的脑细胞；全世界的电话线路的运作只相当于大约一粒绿豆体积的脑细胞；即使世界上记忆力最好的人，其大脑的使用也没有达到其功能的即使世界上记忆力最好的人，其大脑的使用也没有达到其功能的1%。人类的知识与智慧，仍是人类的知识与智慧，仍是“低度开发低度开发”！人的大脑是个！人的大脑是个无尽宝藏，可惜的是每个人终其一生，都忽略了如何有效地无尽宝藏，可惜的是每个人终其一生，都忽略了如何有效地发挥它的发挥它的“潜能潜能”潜意识中激发出来的能量。潜意识中激发出来的能量。
6、大脑复杂性的无限性大脑复杂性的无限性大脑复杂性的无限性大脑复杂性的无限性人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介二、二、人工智能及其三个学派人工智能及其三个学派人类的梦想人类的梦想人类的梦想人类的梦想 重新构造人脑，并让其代替人类完成相应的工重新构造人脑，并让其代替人类完成相应的工作。（无数科幻故事）作。（无数科幻故事）探索智能的奥秘探索智能的奥秘智能（智能（智能（智能（intelligenceintelligence）“观察、学习、理解和认识的能力观察、学习、理解和认识的能力”(牛津大辞典牛津大辞典)“理解和各种适应性行为的能力理解和各种适应性行为的能
7、力”(韦氏大辞典韦氏大辞典)智能是个体有目的地行为、合理的思维、以及有效的适应智能是个体有目的地行为、合理的思维、以及有效的适应环境的综合能力；也可以说是个体认识客观事物和运用知环境的综合能力；也可以说是个体认识客观事物和运用知识解决问题的能力。识解决问题的能力。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人类智能的具体含义人类智能的具体含义人类智能的具体含义人类智能的具体含义 感知感知感知感知与认识客观事物、客观世界和自我的能力；与认识客观事物、客观世界和自我的能力；通过通过学习学习学习学习获得经验、积累知识的能力；获得经验、积累知识的能力；理解知识、理解
8、知识、运用运用运用运用知识和经验分析、解决问题的能力；知识和经验分析、解决问题的能力；联想、联想、推理推理推理推理、判断、决策的能力；、判断、决策的能力；运用运用语言语言语言语言进行抽象、概括的能力；进行抽象、概括的能力；以上以上5点是人类智能的基本能力。点是人类智能的基本能力。发现、发明、创造、创新的能力；发现、发明、创造、创新的能力；实时、迅速、合理地应付复杂环境的能力；实时、迅速、合理地应付复杂环境的能力；预测、洞察事物发展、变化的能力。预测、洞察事物发展、变化的能力。以上以上3点是前点是前5种能力新的综合表现形式。种能力新的综合表现形式。人工神经网络方法简介人工神经网络方法简介人工神经
9、网络方法简介人工神经网络方法简介人工智能人工智能人工智能人工智能 “人工智能（人工智能（Artificial Intelligence）”1956年初次引入年初次引入 人工智能研究怎样人工智能研究怎样用计算机模仿人脑用计算机模仿人脑从事推理、设计、从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。思考、学习等思维活动，以解决和处理较复杂的问题。目的之一：增加人类探索世界、推动社会前进的能力。目的之一：增加人类探索世界、推动社会前进的能力。通过制造和使用工具来加强和延伸人类的生存、发展。通过制造和使用工具来加强和延伸人类的生存、发展。目的之二：进一步认识自己。目的之二：进一步认识自
10、己。用物化的智能来考察和研究人脑智能的物质过程和规律。用物化的智能来考察和研究人脑智能的物质过程和规律。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工智能的人工智能的人工智能的人工智能的3 3个主要流派个主要流派个主要流派个主要流派1991年，人工智能学家年，人工智能学家D.Krish在在Int.J.Artificial Intelligence上提出人工智能的上提出人工智能的5个基本问题：个基本问题：知识和概念化是否人工智能的核心？知识和概念化是否人工智能的核心？认知能力能否与载体分开来研究？认知能力能否与载体分开来研究？认知的轨迹是否可以用类自然语言来
11、描述？认知的轨迹是否可以用类自然语言来描述？学习能力能否与认知分开来研究？学习能力能否与认知分开来研究？所有的认识是否有一种统一的结构？所有的认识是否有一种统一的结构？对以上对以上5个基本问题的不同回答已经形成个基本问题的不同回答已经形成3个主要的学术个主要的学术流派：流派：符号主义（符号主义（Symbolicisim）联结主义（联结主义（connetionism）行为主义（行为主义（actionism）人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工智能的符号主义流派人工智能的符号主义流派人工智能的符号主义流派人工智能的符号主义流派 即传统的人工智能，认为
12、人工智能源于数理逻辑，主张即传统的人工智能，认为人工智能源于数理逻辑，主张以知识为基础，通过推理来进行问题求解，在研究方法上以知识为基础，通过推理来进行问题求解，在研究方法上采用计算机模拟人类认知系统功能的功能模拟方法采用计算机模拟人类认知系统功能的功能模拟方法 Simon、Minsky和和Newell等认为，人和计算机都是一个等认为，人和计算机都是一个物理符号系统，因此可用计算机的符号演算来模拟人的认物理符号系统，因此可用计算机的符号演算来模拟人的认知过程；作为智能基础的知识是可用符号表示的一种信息知过程；作为智能基础的知识是可用符号表示的一种信息形式，因此形式，因此人工智能的核心问题是知识
13、表示、知识推理和人工智能的核心问题是知识表示、知识推理和知识运用的信息处理过程知识运用的信息处理过程。符号主义对符符号主义对符号系统的描述号系统的描述人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工智能的联结主义流派人工智能的联结主义流派人工智能的联结主义流派人工智能的联结主义流派 又称仿生学派，认为人工智能源于仿生学，人思维的基又称仿生学派，认为人工智能源于仿生学，人思维的基本单元是神经元，而非符号处理过程，主张用大脑工作模本单元是神经元，而非符号处理过程，主张用大脑工作模式取代符号操作的电脑工作模式；式取代符号操作的电脑工作模式；智能的本质是联结机制。神
14、经网络是一个由大量简单的智能的本质是联结机制。神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统；处理单元组成的高度复杂的大规模非线性自适应系统；“结构功能结构功能”的的研究方法：认为功能、结构和智能行研究方法：认为功能、结构和智能行为是密切相关的；为是密切相关的；1943年，年，McCulloch和和Pitts从神从神经元入手研究神经网络模型经元入手研究神经网络模型MP模型模型。此为人工神经网络。此为人工神经网络研究之始。研究之始。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络（人工神经网络（Artificial Neura
15、l Network，ANN）从四个从四个方面刻画人脑的基本特征：方面刻画人脑的基本特征：（1）物理结构物理结构模仿生物神经元的功能，构造人工神经元的联结网络模仿生物神经元的功能，构造人工神经元的联结网络Cell bodyAxonNucleusSynapse突触突触Dendrite树突树突人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介（2）计算模拟计算模拟人脑神经元既有局部的计算和存储功能，又通过联结构成统一的系统，人脑神经元既有局部的计算和存储功能，又通过联结构成统一的系统，人脑的计算建立在该系统的大规模并行模拟处理基础之上。人脑的计算建立在该系统的大规模并行
16、模拟处理基础之上。ANN以具有局部计算能力的神经元为基础，同样实现信息的大规模并以具有局部计算能力的神经元为基础，同样实现信息的大规模并行处理。行处理。（3）存储与操作存储与操作大脑对信息的记忆是通过改变突触的强度来实现并分布存储。大脑对信息的记忆是通过改变突触的强度来实现并分布存储。ANN模拟信息的大规模分布存储。模拟信息的大规模分布存储。（4）训练训练后天的训练使得人脑具有很强的自组织和自适应性。后天的训练使得人脑具有很强的自组织和自适应性。ANN根据人工神经元网络的结构特性，使用不同的训练过程，自动从根据人工神经元网络的结构特性，使用不同的训练过程，自动从“实践实践”（即训练样本）中获取
17、相关知识，并存储在系统中。（即训练样本）中获取相关知识，并存储在系统中。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工智能的行为主义流派人工智能的行为主义流派人工智能的行为主义流派人工智能的行为主义流派 “进化主义学派进化主义学派”、“控制论学派控制论学派”；认为人工智能来源于认为人工智能来源于控制论控制论，智能取决于感知和行动。，智能取决于感知和行动。提出智能行为的提出智能行为的“感知动作感知动作”模式模式，采用，采用行为模拟方法行为模拟方法；对符号主义、联结主义采取批判的态度；（智能不需要对符号主义、联结主义采取批判的态度；（智能不需要知识、表示和推理
18、，只需要与环境交互作用）知识、表示和推理，只需要与环境交互作用）20世纪世纪80年代诞生智能控制和智能机器人系统学科（年代诞生智能控制和智能机器人系统学科（R.A.Brooks），），为机器人研究开创了新的方法。为机器人研究开创了新的方法。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介ANNANN是基于联结主义流派的人工智能是基于联结主义流派的人工智能是基于联结主义流派的人工智能是基于联结主义流派的人工智能 联结主义学派与高速发展的计算机技术相结合，发展为联结主义学派与高速发展的计算机技术相结合，发展为计算智能学派计算智能学派计算智能学派计算智能学派，是人工智
19、能在，是人工智能在1980年代后的深化和发展；年代后的深化和发展；计算智能：借助现代计算机技术模拟人的智能控制、生计算智能：借助现代计算机技术模拟人的智能控制、生命演化过程和人的智能行为，从而进行信息获取、处理、命演化过程和人的智能行为，从而进行信息获取、处理、应用的理论和方法；应用的理论和方法；计算智能是以数学模型、计算模型为基础，以分布、并计算智能是以数学模型、计算模型为基础，以分布、并行、仿生计算为特征，包含数据、算法和实现的信息系统；行、仿生计算为特征，包含数据、算法和实现的信息系统；计算智能强调模型的建立和构成，强调系统的自组织、计算智能强调模型的建立和构成，强调系统的自组织、自学习
20、和自适应；自学习和自适应；计算智能的计算智能的3个主要分支：个主要分支：人工神经网络人工神经网络人工神经网络人工神经网络（模拟智能产生与作用赖以存在的结构）（模拟智能产生与作用赖以存在的结构）遗传算法遗传算法遗传算法遗传算法（模拟生命生成过程与智能进化过程）（模拟生命生成过程与智能进化过程）模糊逻辑模糊逻辑模糊逻辑模糊逻辑（模拟智能的表现行为）（模拟智能的表现行为）人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介三、三、人工神经网络概述人工神经网络概述生物神经元系统生物神经元系统生物神经元系统生物神经元系统人工神经网络是受生物神经网络的启发构造而成。人工神经网络
21、是受生物神经网络的启发构造而成。James（心理学，心理学，1890年）年）：大脑皮层每一点的活力产：大脑皮层每一点的活力产生于其它点势能释放的综合效能，即其它点的生于其它点势能释放的综合效能，即其它点的兴奋次数兴奋次数、强强度度和和所接受的能量所接受的能量。大脑含约大脑含约1011个神经元，它们通过个神经元，它们通过1015个联结构成一个网络。个联结构成一个网络。每个神经元具有独立的接受、处理和传递电化学信号的能力，每个神经元具有独立的接受、处理和传递电化学信号的能力，这种传递由神经通道来完成。这种传递由神经通道来完成。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络
22、方法简介神经元的结构神经元的结构神经元的结构神经元的结构树突从细胞体伸向其它神经元，神经元之间的接受信号的联树突从细胞体伸向其它神经元，神经元之间的接受信号的联结点为突触。通过突触输入的信号起着兴奋结点为突触。通过突触输入的信号起着兴奋/抑制作用。当抑制作用。当细胞体接受的累加兴奋作用超过某阈值时，细胞进入兴奋状细胞体接受的累加兴奋作用超过某阈值时，细胞进入兴奋状态，产生冲动，并由轴突输出。态，产生冲动，并由轴突输出。Cell bodyAxonNucleusSynapse突触突触Dendrite树突树突人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介神经元系统的
23、基本特征神经元系统的基本特征神经元系统的基本特征神经元系统的基本特征 神经元及其联结神经元及其联结 神经元之间的联结强度决定信号传递的强弱神经元之间的联结强度决定信号传递的强弱 神经元之间的联结强度可以随训练而改变神经元之间的联结强度可以随训练而改变 信号分为兴奋型和抑制型信号分为兴奋型和抑制型 一个神经元接受的信号的累计效果决定该神经元的状态一个神经元接受的信号的累计效果决定该神经元的状态 每个神经元有一个阈值每个神经元有一个阈值人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介ANNANN理论及其发展阶段理论及其发展阶段理论及其发展阶段理论及其发展阶段w1 Z
24、=wixiw2wnx1x2xny=f(wixi-)轴突轴突突触突触树突树突内核内核轴突轴突第一阶段第一阶段1943年，心理学家年，心理学家McCulloch和数学家和数学家Pitts对神经元进行形式化研究，对神经元进行形式化研究，提出了神经元的数学模型提出了神经元的数学模型MP模型模型。1944年，年，D.O.Hebb提出改变神经元联结强度的提出改变神经元联结强度的Hebb学习规则学习规则，至今，至今仍然是人工神经网络学习算法的一个基本原则。仍然是人工神经网络学习算法的一个基本原则。1957年，年，Rosenblatt首次引进感知器首次引进感知器(Perceptron)概念来模拟生物的感概念来
25、模拟生物的感知、学习能力。知、学习能力。1962年，年，Widros提出用于自适应系统的连续取值的线性网络。提出用于自适应系统的连续取值的线性网络。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介第二阶段第二阶段1969年，年，M.L.Minsky和和S.Papert从理论上证明了当时单隐含层感知器从理论上证明了当时单隐含层感知器网络模型无法解决的许多简单问题，包括最基本的网络模型无法解决的许多简单问题，包括最基本的“异或异或(XOR)”问题。问题。使使ANN理论的发展进入一个低谷；理论的发展进入一个低谷；1974年，年，Webos提出提出BP学习理论；学习理论
26、；S.Grossberg提出自适应共振理论（提出自适应共振理论（ART）。）。第三阶段第三阶段突破性进展：突破性进展：1982年，年，CalTech的物理学家的物理学家J.Hopfield提出提出Hopfield神经神经网络系统网络系统(HNNS)模型，提出能量函数的概念，用非线性动力学方法来研模型，提出能量函数的概念，用非线性动力学方法来研究究ANN，开拓了开拓了ANN用于联想记忆和优化计算的新途径；用于联想记忆和优化计算的新途径；1988年，年，McClelland和和Rumelhart利用多层反馈学习算法解决了利用多层反馈学习算法解决了“异或异或（XOR）”问题。问题。人工神经网络方法简
27、介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络的几种形式人工神经网络的几种形式人工神经网络的几种形式人工神经网络的几种形式无反馈前向网无反馈前向网无反馈前向网无反馈前向网多输入、多输出的多层无环图，同一层间无联结。多输入、多输出的多层无环图，同一层间无联结。神经元分层排列，组成输入层、中间层（隐层）、输出层神经元分层排列，组成输入层、中间层（隐层）、输出层人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介有反馈前向网有反馈前向网有反馈前向网有反馈前向网从输出层到输入层存在反馈的前向网。从输出层到输入层存在反馈的前向网。人工神经网络方法简
28、介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介层内有联结的前向网层内有联结的前向网层内有联结的前向网层内有联结的前向网在无反馈前向网中同一层内存在神经元间的联结回路。在无反馈前向网中同一层内存在神经元间的联结回路。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介有向网有向网有向网有向网任意两个神经元间都可能存在有向联结。任意两个神经元间都可能存在有向联结。网络处在动态中，直至达到某一平衡态、周期态或者混沌网络处在动态中，直至达到某一平衡态、周期态或者混沌状态。状态。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介第
29、第2部分部分感知器（感知器（Perceptron）人工神经网络的基本构件人工神经网络的基本构件人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介感知器（感知器（Perceptron）是最早被设计并实现的人工神经网络。是最早被设计并实现的人工神经网络。W.McCulloch和和W.Pitts总结生物神经元的基本生理特征，提出一种简总结生物神经元的基本生理特征，提出一种简单的数学模型与构造方法，建立了单的数学模型与构造方法，建立了阈值加权和模型阈值加权和模型，简称，简称M-P模型模型(“A Logical Calculus Immanent in Nervous Ac
30、tivity”,Bulletin of Mathematical Biophysics,1943(5):115133）。）。人工神经元模型是人工神经元模型是M-P模型的基础。模型的基础。一、一、感知器的数学模型感知器的数学模型Warren McCulloch（18981969）Walter Pitts(19231969)人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介生物神经元的基本特征生物神经元的基本特征生物神经元的基本特征生物神经元的基本特征 神经元及其联结神经元及其联结 神经元之间的联结强度决定信号传递的强弱神经元之间的联结强度决定信号传递的强弱 神经元之
31、间的联结强度可以随训练而改变神经元之间的联结强度可以随训练而改变 信号分为兴奋型和抑制型信号分为兴奋型和抑制型 一个神经元接受的信号的累计效果决定该神经元的状态一个神经元接受的信号的累计效果决定该神经元的状态 每个神经元有一个阈值每个神经元有一个阈值突触突触树突树突轴突轴突轴突轴突突触突触树突树突内核内核轴突轴突人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介模拟神经元的首要目标：输入信号的加权和模拟神经元的首要目标：输入信号的加权和人工神经元可以接受一组来自系统中其它神经元的输入信人工神经元可以接受一组来自系统中其它神经元的输入信号，每个输入对应一个权，所有输
32、入的加权和决定该神经号，每个输入对应一个权，所有输入的加权和决定该神经元的激活状态。每个权就相当于突触的联结强度。元的激活状态。每个权就相当于突触的联结强度。w1 wi xiw2wnx1x2xn1.1.人工神经元数学模型人工神经元数学模型人工神经元数学模型人工神经元数学模型多输入、单输出的加权和结构多输入、单输出的加权和结构人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介设设X=(x1,x2,xn)表示表示n个个输入，输入，W=(w1,w2,wn)表示它们对应的联结权重。表示它们对应的联结权重。故神经元所获得的输入信号累计效果为：故神经元所获得的输入信号累计效果
33、为：w1 wi xiw2wnx1x2xn称称u(x)为整合函数。为整合函数。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介感知器的激活函数感知器的激活函数感知器的激活函数感知器的激活函数神经元获得网络输入信号后，信号累计效果整合函数神经元获得网络输入信号后，信号累计效果整合函数u(x)大于某阈值大于某阈值 时，神经元处于激发状态；反之，神经元处时，神经元处于激发状态；反之，神经元处于抑制状态。于抑制状态。构造构造激活函数激活函数，用于表示这一转换过程。要求，用于表示这一转换过程。要求 是是-1,1之间的单调递增函数。之间的单调递增函数。激活函数激活函数 通常为
34、通常为3种类型，由此决定了神经元的输出特征。种类型，由此决定了神经元的输出特征。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介（1）激活函数）激活函数 为符号函数：为符号函数：1-1u 人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介（2）激活函数）激活函数 为分段线性函数为分段线性函数：1-1u 人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介（3）激活函数）激活函数 为为Sigmoid函数，其特点是单调递增、光滑函数，其特点是单调递增、光滑且具有渐近值，具有解析上的优点和神经生理学特征。且具有
35、渐近值，具有解析上的优点和神经生理学特征。1-1u人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介2.2.M-PM-P模型模型模型模型将人工神经元的基本模型与激活函数将人工神经元的基本模型与激活函数 结合，即结合，即McCulloch Pitts模型。模型。w1 u=wixiw2wnx1x2xny=(u(x)-)人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介二、二、感知器的学习算法感知器的学习算法什么是什么是什么是什么是“学习学习学习学习”？“The conceptual scheme for learning in this
36、context is a machine with an input channel for figures,a pair of YES and NO output indicators,and a reinforcement or reward button that the machines operator can use to indicate his approval or disapproval of the machines behavior.”M.L.Minsky and S.A.Papert,“Perceptron”(1988)人工神经网络方法简介人工神经网络方法简介人工神经
37、网络方法简介人工神经网络方法简介ANN可以学会它表达的任何东西。（可以学会它表达的任何东西。（Rosenblatt，1962年）年）ANN的表达能力有限，其学习能力也受到限制。的表达能力有限，其学习能力也受到限制。ANN的学习过程就是训练过程，在将训练样本集输入到网的学习过程就是训练过程，在将训练样本集输入到网络的过程中，按照一定的方式来调整神经元之间的联结权络的过程中，按照一定的方式来调整神经元之间的联结权重值，使得网络能够将训练样本集的内涵以联结权重矩阵重值，使得网络能够将训练样本集的内涵以联结权重矩阵的方式存储起来，从而使得网络在接受输入时，能够给出的方式存储起来，从而使得网络在接受输入
38、时，能够给出适当的输出。适当的输出。有监督的学习（有监督的学习（Supervised learning）无监督的学习（无监督的学习（Unsupervised learning）人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介基本思想基本思想基本思想基本思想感知器的学习是有监督的学习。学习的问题归结为求权重感知器的学习是有监督的学习。学习的问题归结为求权重系数系数W=(w1,w2,wn)和阈值和阈值 的问题。的问题。基本思想：逐步将训练集中的样本输入到网络中，根据输基本思想：逐步将训练集中的样本输入到网络中，根据输出结果和理想输出之间的差别来调整网络中的权重值。出
39、结果和理想输出之间的差别来调整网络中的权重值。w1 u=wixiw2wnx1x2xny=(u(x)-)人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介设设X=(x1,x2,xn)表示表示n个个输入，输入，W=(w1,w2,wn)表示它们对应的联结权重。假设取表示它们对应的联结权重。假设取符号函数为激活函数符号函数为激活函数，此为经典的此为经典的M-P模型：模型：w1 u=wixiw2wnx1x2xn+1 or-1人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介训练集的样本（输入向量、输出值）为：训练集的样本（输入向量、输出值）为：
40、t为样本数目。其中，为样本数目。其中，人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介三、三、关于感知器的基本理论问题关于感知器的基本理论问题“线性不可分线性不可分线性不可分线性不可分”问题的困境及其解决问题的困境及其解决问题的困境及其解决问题的困境及其解决Marvin MinskyMIT Media Lab and MIT AI LabToshiba Professor of Media Arts and SciencesProfessor of E.E.and C.S.,M.I.Tminskymedia.mit.edu1969年，年，Minsky和和Pape
41、rt在在“Perceptron”一一书中书中从理论上证明单层感知器从理论上证明单层感知器无法解决许多简单的问题，无法解决许多简单的问题，包括包括“异或异或(XOR)”问题。问题。使得使得ANN理论的发展在理论的发展在197080年代处于低潮。年代处于低潮。导致政府和企业资助减少，导致政府和企业资助减少，研究人员撤退研究人员撤退人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介“异或异或异或异或(Exclusive-OR)”Exclusive-OR)”运运运运算算算算f(x,y)y01x001110是一个双输入、单输出问题。对应的单层感知器为：是一个双输入、单输出问
42、题。对应的单层感知器为：xyabzax+by=xy无论如何选择参数无论如何选择参数a，b，都无法满足划分。这种由单层都无法满足划分。这种由单层感知器不能表达的问题称为感知器不能表达的问题称为线性不可分问题线性不可分问题。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介考虑考虑n个自变量的二值函数，当个自变量的二值函数，当n 4时，线性不可分的函数时，线性不可分的函数个数远远超过线性可分函数的个数个数远远超过线性可分函数的个数。自变量个数 函数的个数 线性可分函数的个数144216143256104465,5361,88254.3 10994,57261.8 10
43、195,028,134（R.O.Windner,1960）表明单层感知器不能表达的问题的数量远远超过它可以表表明单层感知器不能表达的问题的数量远远超过它可以表达的问题的数量达的问题的数量。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介解决途径解决途径解决途径解决途径多层网络多层网络多层网络多层网络一个单层网络可以将空间划分成两部分，用多个单层网络一个单层网络可以将空间划分成两部分，用多个单层网络组合在一起，并用其中的一个去综合其它单层网络的结果，组合在一起，并用其中的一个去综合其它单层网络的结果，构成一个二层网络，即可用来在空间划分出一个封闭或开构成一个二层网
44、络，即可用来在空间划分出一个封闭或开放的凸域（子空间）。放的凸域（子空间）。x1z0 xnz1zn人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介感知器学习算法的计算问题感知器学习算法的计算问题感知器学习算法的计算问题感知器学习算法的计算问题算法的收敛性算法的收敛性算法的收敛性算法的收敛性对于线性可分问题，感知器的学习算法是收敛的。对于线性可分问题，感知器的学习算法是收敛的。算法的复杂度算法的复杂度算法的复杂度算法的复杂度（略）（略）算法的容量算法的容量算法的容量算法的容量（略）（略）人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简
45、介非线性感知器非线性感知器非线性感知器非线性感知器取权重函数为非线性函数的单级传感器系统。其学习过程取权重函数为非线性函数的单级传感器系统。其学习过程涉及到求解非线性方程组的方法。涉及到求解非线性方程组的方法。高阶感知器高阶感知器高阶感知器高阶感知器主要讨论可线性化的非线性传感器系统。主要讨论可线性化的非线性传感器系统。第第3部分部分单层前向网、多层前向网单层前向网、多层前向网与与BP学习算法简介学习算法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介一、一、单层前向网络单层前向
46、网络单层单层单层单层前向网模型前向网模型前向网模型前向网模型 设有设有c 1个感知器，其中第个感知器，其中第k个感知器的输出为个感知器的输出为yk；对对于输入信号于输入信号x=(x1,x2,xn)，每个感知器有每个感知器有d个输入个输入uj(x)，j=1,2,d。1kcx1xnx2u1(x)u2(x)ud(x)x3wk1wk2wk3yk输入层输入层输出层输出层人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介一个单层前向网可表示为：一个单层前向网可表示为：激活函数；：激活函数；wk=(wk1,wk2,wkd)：第第k个感知器的权重系数；个感知器的权重系数；k：第第
47、k个感知器的阈值；个感知器的阈值；u=(u1,u2,ud)：基函数基函数x Rn，u(x)Rn若记若记wk0=k，u0=1，则上式变换为：则上式变换为：人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介 记记yk(wk;x)为第为第k个感知器当权重系数为个感知器当权重系数为wk Rd，输入为输入为x Rn时的输出。时的输出。设训练集为设训练集为A=(x,t )|=1,2,N，其中其中 表示表示训练集数据编号，训练集数据编号，x Rn为输入，为输入，t Rc为为输出，输出，tk 为第为第k个感知器的期望输出。个感知器的期望输出。基于训练集基于训练集A的误差函数定义为
48、：的误差函数定义为：单层单层单层单层前向网的学习目标函数前向网的学习目标函数前向网的学习目标函数前向网的学习目标函数人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介 学习的目标就是求学习的目标就是求wk，k=1,2,c，使得误差函数使得误差函数E(w)取最小值：取最小值：这就是这就是目标函数目标函数目标函数目标函数。单层前向网的学习原理本质上仍是感知器的学习原理。单层前向网的学习原理本质上仍是感知器的学习原理。人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介线性单线性单线性单线性单层层层层前向网的解前向网的解前向网的解前向网的解关
49、于基函数关于基函数u(x),对学习集的每一个数据，记对学习集的每一个数据，记：其中其中 =1,2,N。由此，定义学习集由此，定义学习集A的扩展集的扩展集B：人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介不妨假设激活函数不妨假设激活函数 为恒等函数，此时网络为线性单层前向为恒等函数，此时网络为线性单层前向网。由此写出误差函数网。由此写出误差函数：优化的目标函数为：优化的目标函数为：人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介根据最小二乘法求解目标函数。根据最小二乘法求解目标函数。由多元函数取极值的必要条件，有：由多元函数取极值
50、的必要条件，有：人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介写成矩阵形式写成矩阵形式WW:c c (d d 1)1)U U:N N (d d 1)1)T:T:N N c c人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介解的形式为：解的形式为：解存在的条件？解存在的条件？（略）（略）人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介人工神经网络方法简介二、二、多层前向网络、多层前向网络、BP学习算法学习算法双层前向网双层前向网双层前向网双层前向网多层前向网的结构特点：多层前向网的结构特点：1、允许网络具有数层相连的处