人工智能与应用.ppt

《人工智能与应用.ppt》由会员分享，可在线阅读，更多相关《人工智能与应用.ppt（69页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、1主要内容n概述n机器学习的基本系统结构n神经网络学习2第六章 机器学习n概述n机器学习的基本系统结构n神经网络学习3机器学习 概述n目前为止的大多数人工智能系统还完全没有或仅有很有限的学习能力q现有的大多数人工智能系统是演绎的，没有归纳推理，因而不能自动获取和生成知识n未来的计算机将有自动获取知识的能力q它们直接由书本学习，通过与人谈话学习，通过观察环境学习q它们通过实践自我完善，克服人的局限性q有必要对这一前景给以关注 4机器学习 概述n争论：机器的能力是否能超过人的能力？q否定意见：机器是人造的，其性能和动作完全是由设计者来规定的，因此无论如何其能力也不会超过设计者本人q肯定意见：对具备

2、学习能力的机器而言，它的能力在应用中不断地提高，过一段时间以后，设计者本人也不知他的能力到了何种水平这就是机器学习的不可预测问题5机器学习 概述n学习结果的不确定性带来的新的问题：q学习系统产生的知识可能是系统设计者都无法预测，如果用这种系统解决重要问题，就可能产生意外的困难或危险q必须设计新的有自适应能力的系统：n用于安排测试过程来审查学习系统产生的知识n这个系统必须具有与被监测的系统相当的学习能力，才能够跟随系统知识的变化，完成实时的检测q这个监测系统本身的变化又如何了解、控制呢？6Three laws of Robotics(1)n科幻小说家艾萨克阿西莫夫在他的机器人相关作品和其他机器人

3、相关小说中为机器人设定的行为准则q第一法则：机器人不得伤害人类，或袖手旁观坐视人类受到伤害q第二法则：除非违背第一法则，机器人必须服从人类的命令q第三法则：在不违背第一及第二法则下，机器人必须保护自己7Three laws of Robotics(2)n1985年，机器人与帝国这本书中，阿西莫夫将三大法则扩张为四大法则：q第零法则：机器人不得伤害人类整体，或袖手旁观坐视人类整体受到伤害q第一法则：除非违背第零法则，机器人不得伤害人类，或袖手旁观坐视人类受到伤害q第二法则：除非违背第零或第一法则，机器人必须服从人类的命令q第三法则：在不违背第零至第二法则下，机器人必须保护自己8Three law

4、s of Robotics(3)n三定律在科幻小说中大放光彩，一些其他作者的科幻小说中的机器人也遵守这三条定律n三定律也具有一定的现实意义，在三定律基础上建立新兴学科“机械伦理学”旨在研究人类和机械之间的关系n截至2006年，三定律在现实机器人工业中没有应用，但目前很多人工智能和机器人领域的技术专家也认同这个准则9Three laws of Robotics(4)n罗杰克拉克添加了以下的定律：q元定律：机器人可以什么也不做，除非它的行动符合机器人学定律。此定律置于第零、第一、第二、第三定律之前q第四定律：机器人必须履行内置程序所赋予的责任，除非这与其他高阶的定律冲突q繁殖定律：机器人不得参与机

5、器人的设计和制造，除非新的机器人的行动服从机器人学定律 10机器学习 概述n什么是学习？什么是机器学习？没有被广泛认可的准确定义qSimon（1983）：学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或相类似的任务时，会比现在做得更好或效率更高qMinsky (1985)：学习是在我们头脑中（心里内部）进行有用的变化q学习是一种具有多侧面的现象。学习基本形式有知识获取和技能求精知识获取和技能求精11机器学习 概述n知识获取学习的本质q例如科学知识的学习q是一个自觉的过程，其结果是产生新的符号知识结构和智力模型n技能求精通过教育或实践改进机制和认知能力q借助

6、观察和实验发现新的事实和新的理论。例如学习骑自行车q是下意识地借助于反复地实践来实现的12机器学习 概述n机器学习的任务主要包括以下两个方面：q获得对于输入的数据进行分类能力：n如医疗诊断，信用卡业务或交易，投资，DNA序列，口语，手写字，天文图象等等q获得解决问题，行为计划和行为控制等的能力n如解决微分问题，下跳棋，象棋，平衡杠杆，驾车等等13机器学习 概述n对系统学习性能进行评价的指标：q分类精度：是否能够对输入的数据进行正确、精确的分类q解答的正确性和质量：n对用于分类和解决问题的系统都有解答正确性问题；同时正确性不一定保证有好的质量n好的质量包括：可读性、稳定性等多方面的因素q学习的速

7、度：n它不仅仅影响系统的设计，还影响系统的实现14机器学习 概述n机器学习一直是AI研究的瓶颈之一，表现在：q 预测难：学习后知识库发生了什么变化，系统功能的变化的预测q 归纳推理：n现有的归纳推理只保证假，不保证真。演绎推理保真n而且，归纳的结论是无限多的，其中相当多是假的，给生成的知识带来不可靠性q 机器目前很难观察什么重要、什么有意义15机器学习 概述n发展历史：大体上可分为两个时期n早期机器学习的发展经历了下面三个发展阶段q神经系统模型阶段 n开始于20世纪50年代，所研究的内容是没有知识的学习n主要研究目标是各种自组织系统和自适应系统n主要理论基础是神经网络模型n代表工作qF.Ros

8、enblatt提出的感知器模型q机器学习的决策理论方法也应运而生。Samuel的跳棋程序是最著名的成功的学习系统之一16机器学习 概述q符号概念获取研究阶段n1975年左右提出n这类学习过程通过分析一些概念的正例和反例构造出这些概念的符号表示n表示的形式一般是逻辑表达式、决策树、产生式规则或语义网络n代表有Winston的ARCHn由于这类学习只能学习单个概念，未能投入实际应用17机器学习 概述q知识加强和论域专用学习阶段n此方法是70年代中期开始，沿着符号主义路线进行的。在原有基础上逐步加强、重于专业的专用性n强调使用面向任务的知识和它对学习过程的引导作用。系统包括预先确定的概念、知识结构、

9、论域约束、启发式规则和论域有关的变换。系统在开始并不具有所有的属性或概念，在学习过程中系统应得到一些新的属性或概念 18机器学习 概述n机器学习进入新阶段的重要表现：n机器学习已成为新的边缘科学并在高校形成一门课程n结合各种学习方法，取长补短的多种形式的集成学习系统的研究正在兴起n机器学习与人工智能各种基础问题的统一性观点正在形成n各种学习方法的应用范围不断扩大，一部分已形成商品n与机器学习有关的学术活动空前活跃19机器学习 概述n机器学习的分类 ：q方法种类不少，很难系统分类。根据强调侧面的不同可以有多种分法n按学习风格分类，机器学习可以分为：q记忆学习、演绎学习、归纳学习、类比学习、分析学

10、习、发现学习、遗传学习、连接学习等等20机器学习 概述n机械式学习（记忆学习），即向机器直接输入新知识q不需要进行任何推理或知识转换，将知识直接装进机器中。有多少写多少，系统本身没有学习过程，对知识不做任何修改，只有使用n通过类推学习（演绎学习）q系统找出现有知识中所要产生的新概念或技能十分类似的部分。将它们转换或扩大成适合新情况的形式，从而取得新的事实或技能。该种学习方法是大量知识的总结、推广21机器学习 概述n从例子中学习（归纳学习）q给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述n类比学习q通过目标对象与源对象的相似性，运用源对象的求解方法解决目标对象的问题n连接学习

11、q主要是指神经网络学习，实质上就是神经网络的建立过程22机器学习 概述n按照实现途径分类，机器学习可以分为：q符号学习q连接学习n按学习方法分类，机器学习可分为q有教师指导学习，也称从样本学习q无教师指导学习，也称从环境中学习、强化学习23第六章 机器学习n概述n机器学习的基本系统结构n神经网络学习24第六章 机器学习n概述n机器学习的基本系统结构n神经网络学习25机器学习 机器学习的基本系统结构n机器学习的系统结构模型q西蒙认为：学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或相类似的任务时，会比现在做得更好或效率更高q以西蒙的学习定义作为出发点，建立起

12、下图所示的简单的学习系统结构模型26机器学习 机器学习的基本系统结构n环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分27机器学习 机器学习的基本系统结构n环境q可以是系统的工作对象，也可以包括工作对象和外界条件q对环境提供给系统的信息评价包含以下两个方面n信息水平： 信息的一般性程度，即适用范围的广泛性n信息的质量：信息的正确性、是否是适当的选择和合理的组织q环境中信息的水平和质量是影响学习系统设计的第一个因素，而影响学习系统效率的另一个重要因素是知识库的形式和内容28机器学习 机器

13、学习的基本系统结构n知识库：q知识库的形式知识库的形式即知识表示的形式是否适宜非常重要q知识库的内容知识库的内容是指知识库在初始阶段要有相当的初始知识，并且在学习过程中不断修正和增加新的知识。知识库内的知识大多是以概念的形式存储的29机器学习 机器学习的基本系统结构n知识库的形式q常用的知识表示方法有：特征向量、谓词演算、产生式规则、过程、LISP函数、数字多项式、语义网络和框架n选择知识表示方法要考虑n可表达性：可表达性：表达方式要能描述缺乏内在结构的事物n推理难度推理难度：表示的不同，推理当然有的容易，有的难n可修改性：可修改性：知识是否可修改。不能修改的知识不能更新n可扩充性：可扩充性：

14、系统学习通过增加词典条目和表示结构来扩大表示能力，使得系统能够学习并表示更复杂的知识30机器学习 机器学习的基本系统结构n学习环节q是核心模块，是和外部交互的接口q学习部分对环境提供的信息整理、分析、归纳或类比，生成新的知识元或利用这些信息修改知识库，以增进系统执行部分完成任务的效能q学习环节从执行环节得到执行结果的反馈信号，进行学习修正，进一步改善执行环节的行为q执行环节的复杂性、反馈和透明度都对学习环节有影响。复杂的任务需要更多的知识31机器学习 机器学习的基本系统结构n执行环节 q根据知识库执行执行一系列任务，同时把执行结果或执行过程中获得的信息反馈反馈给学习部分，完成对新知识库的评价，

15、指导进一步的工作q任务的复杂性由执行任务所需的是单个概念还是多个概念，执行任务采用的方式是单步还是多步来决定32第六章 机器学习n概述n机器学习的基本系统结构n神经网络学习33第六章 机器学习n概述n机器学习的基本系统结构n神经网络学习34机器学习 神经网络学习n神经网络基础q发展史q生物神经元基本模型q神经网络基本模型q神经网络特性n前馈型人工神经元网络q线性阈值单元q感知器及其学习算法qBP算法35神经网络基础n发展史q1890年，美国生物学家W.James出版了Physiology（生理学）一书。首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律q1943年McCullo

16、ch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型n描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的n总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法36神经网络基础 发展史q1957年Frank Rosenblatt定义了一个神经网络结构，称为感知器(Perceptron)n第一次把神经网络研究从纯理论的探讨推向工程实现。掀起了神经网络研究高潮n通过在IBM704计算机上的模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果 q1969M.Minsky和S. Papert发表了Perceptrons的论著：n指出感知器仅能解决一阶谓

17、词逻辑，只能做线性划分n对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点n神经网络研究一度达到低潮37神经网络基础 发展史q使神经网络研究一度达到低潮原因还有，计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮q七十年代,据说全球只有几十个人在研究，但还是成功的。如：n日本Fukusima的Neocognitron（新认知机）n芬兰Kohonen的自组织神经网络SOM ( Self-Organizing feature map)nStephen Crossberg的共振自适应理论ART网络等 ( Adaptive Resonance Theory)

18、38神经网络基础 发展史q1982年John J. Hopfield（物理学家）提出了全联接网络全新的具有完整理论基础的神经网络模型。年后AT&T等做出了半导体芯片。神经网络复兴时期开始q1986年美国的一个并行计算研究小组提出了前向反馈神经网络的Back Propagation（BP）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望 39神经网络基础 发展史n运用BP学习算法进行学习的神经网络模型与“多层感知器”模型在原理上是完全相同的n感知器也同样具有与多层前馈网络相同的分类能力，只是由于当时没有理论支撑的设计算法，也就是学习算法，

19、因而失去了实际应用的意义 40神经网络基础 发展史q1987年在美国召开了第一届世界神经网络大会，1000人参加qIJCNN等大会qNeural Computing, IEEE Neural Network 等期刊41神经网络基础符号主义与连接主义n共同之处：研究怎样用计算机来模仿人脑工作过程。最终目的是希望机器能够做到学习-实践-再学习-再实践，最终获得智能 n不同之处：q符号主义研究人脑的推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题q连接主义企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、学习和灵活性） 42神经网络基础符号主义与

20、连接主义n例如：q符号主义建立的专家系统是制造一个专家，几十年难以培养的专家q连接主义的神经网络是制造一个婴儿，一个幼儿，一个可以学习，不断完善，从一些自然知识中汲取智慧的生命成长过程n同样是模仿人脑，但所考虑的角度不同q成年人和婴儿。学习过程不一样。一个是总结出常人都不懂得规律；一个是没完没了向他出示、重复一样东西，就象教一个小孩子说话43神经网络基础符号主义与连接主义 人工智能 神经网络 研究目的 人脑推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题。 阐明有关人脑结构及其功能以及相关学习、联想记忆的基本规律。 研究内容 推理方法、知识表示、机器学习 生物的生理机制、信息

21、的存储、传递、处理方式 知识表示方法 人懂机器懂人懂 图像等机器图像等 知识储存方式 知识库中有事实和规则，随时添加而增大，一条出了毛病有可能出错。 在网的结构之中，一条出问题不会触大错，网络结构不会随知识增加变化很大 信息传递方式 符号 脉冲形式，以频率表示 信息处理方式 树、网等，一条一条执行，并行处理较难 原理上是并行结构，与生物信息处理机制一致 44神经网络基础生物神经元基本模型n神经元是脑组织的基本单元，人脑是由大约1011（一百亿）个神经元组成的系统。 神经元的生物结构如下图所示 45神经网络基础生物神经元基本模型n神经元具有一下结构特性：q细胞体：由细胞核、细胞质与细胞膜等组成q

22、轴突：由细胞体向外伸出的最长的一条分支，称为轴突，即神经纤维。轴突相当于细胞的输出电缆，其端部的许多神经末梢为信号输出端子，用于传出神经冲动q树突：由细胞体向外伸出的其它许多较短的分支，称为树突。它相当于细胞的输入端，接受来自四面八方的传入神经冲动46神经网络基础生物神经元基本模型q突触：细胞与细胞之间（即神经元之间）通过轴突与树突相互连接，其接口称为突触。每个细胞约有103104个突触。突触有两种类型：兴奋型与抑制型q膜电位：细胞膜内外之间有电位差，约为20100mV，称为膜电位。膜外为正，膜内为负q结构可塑性：由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，其传递作用可增强或减

23、弱，所以，细胞之间的连接是柔性的，故称为结构可塑性47神经网络基础生物神经元基本模型n神经元q神经网络的基本处理单元，科学研究过程中一般是一个多输入/单输出的非线性器件来模拟生物神经细胞的，其结构模型如图所示 yi si x1 x2 xn ui i 48神经网络基础生物神经元基本模型nyi表示神经元的输出；u表示神经元的输入总和，它相当于生物神经细胞的膜电位, si表示外部输入信号（在某些情况下，它可以控制神经元u，使它保持在某一状态） n函数y=f(u)称为特性函数（也称作用函数或传递函数），特性函数可看作是神经元的数学模型49神经网络基础生物神经元基本模型n常见的特性函数有以下几种：q阈值

24、型：如qS状：这类函数的输入输出特性多采用指数、对数或双曲正切等S型函数表示。例如： sigmoid函数 q分段线性型：神经元的输入输出特性满足一定的区间线性关系，其特性函数表达为： 50神经网络基础生物神经元基本模型n以上三种特性函数的图像依次如图中的(a)、(b)、(c)所示51神经网络基础神经网络的基本模型n人脑神经网络：q人脑中约有140亿个神经细胞q根据Stubbz的估计这些细胞被安排在约1000个主要模块内q每个模块上有上百个神经网络q每个网络约有十万个神经细胞n人工神经网络是由大量处理单元广泛互连而成的网络，反映了人脑功能的基本特性52神经网络基础神经网络的基本模型n前馈网络：q

25、信号由输入层到输出层单向传输q每层的神经元仅与前层的神经元相连接q每一层的神经元之间没有横向的信息传输q每一个神经元受到前层全部神经元的控制 x1 x2 xn y1 y2 yn 53神经网络基础神经网络的基本模型n输入输出有反馈的前馈网络：q输出层上存在一个反馈回路，将信号反馈到输入层q网络本身还是前馈型的q输出反馈信号可以是原始输出信号，也可以是经过转化的输出信号。可以是本时刻的也可以是经过一定延迟的q经常用于系统控制、实时信号处理等，需要根据系统当前状态进行调节的场合 x1 x2 xn y1 y2 yn 54神经网络基础神经网络的基本模型n前馈内层互联网络：q外部看还是一个前向网络q内部有

26、很多自组织网络在层内互联着 x1 x2 xn y1 y2 yn 55神经网络基础神经网络的基本模型n反馈型全互联网络：所有计算单元之间都有联接。如：Hopfield网络 56神经网络基础神经网络的属性n基本属性：q非线性：大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性 q非局域性：人脑的非局域性非常显著。例如，人脑的（小范围）局部损伤通常不影响整个脑组织的正常工作。神经网络通过单元之间的大量联接模拟大脑的非局域性。联想记忆是非局域性的典型例子57神经网络基础神经网络的属性q非定常性：非定常性是人脑发育的一个重要特征。人类脑神经细胞、神经网

27、络是在不停地变化以适应外界环境的变化。人工神经网络也同样具有这种功能，可以通过样本提示来模拟环境变换，使得系统能够学习、自适应、自组织q非凸性：一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性 58神经网络基础优缺点n评价q优点：并行性；分布存储；容错性；学习能力 q缺点：不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多59神经网络学习前馈型人工神经网络n在前馈网络中的神经单元输入与输出的关系，可采用线性阈值传递函数或单

28、调上升的非线性传递函数n线性阈值传递函数60神经网络学习前馈型人工神经网络n感知器 Rosenblatt，1957q是一个由线性阈值元件组成的单层（或多层）神经元的神经网络q当输入的加权和大于或等于阈值时，输出为1，否则为0q模型假定神经元中间的耦合程度（即加权系数W）可变，这样，该模型可以学习61神经网络学习前馈型人工神经网络n当感知器用于两类模式的分类时:q相当于在高维样本空间中，用一个超平面将两类样本分开nRosenblatt给出了相应的学习算法q神经网络的学习过程就是神经网络参数的设定过程q一个神经元网络结构确定之后，需要对一系列参数（权重、阈值等）进行有效的设定。这个过程叫做学习或训

29、练过程，此时的方法叫学习算法62神经网络学习前馈型人工神经网络n感知器具体学习算法如下：n给定初始值：赋给wi(0)各一个较小的随机非零值，这里wi(t)为t时刻第i个输入上的权值(1in)，w0(t)为t时刻的阈值；n输入一样本X=(-1，x1, x2,xn,)和它的希望输出D;n计算实际输出n修正权值1.转到直到W对一切样本均稳定不变为止。63神经网络学习前馈型人工神经网络n前馈神经网络及反向传播学习算法 q可以将前馈神经网络看作是一个多层的感知器q由于该种网络多采用BP学习算法进行训练，有时也被称为BP网络64神经网络学习前馈型人工神经网络n前馈神经网络模型的输入输出关系与单层感知器完全

30、相同n前一层的输出是下一层的输入n该种网络多采用BP学习算法进行训练， BP学习算法要求神经元模型的传递函数为有界连续可微函数如sigmoid函数n理论上，多层前馈网络可以模拟任意的输出函数。即可以完成任意复杂的分类任务65神经网络学习前馈型人工神经网络nBP网络不仅有输入层节点、输出层节点，而且还有隐层节点（可以是一层或多层）n对于输入信号，要先向前传播到隐节点，经过转移函数后，再把隐节点的输出信息传播到输出节点，最后给出输出结果n节点的转移函数通常选取S型函数，如66神经网络学习前馈型人工神经网络n算法的学习过程，由正向传播和反向传播组成q在正向传播过程中，输入信息从输入层经隐节点单元逐层

31、处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态q如果在输出层不能得到期望的输出，则转入反向传播过程，将误差信号沿原来的连接通路返回，通过修改各层神经元的连接权值，使得误差信号递减至最小67神经网络学习前馈型人工神经网络nBP算法的流程图 68神经网络学习前馈型人工神经网络nBP算法存在的问题：算法存在的问题：q从数学的角度，神经网络学习是一个非线性优化问题，这就不可避免的存在有局部极小问题q学习算法收敛的速度较慢，尤其是当网络规模达到一定规模之后q网络训练结束，正常运行时，采用的是单向传播的方式，没有反馈机制可提供在线学习q训练样本的顺序有可能影响学习速度和精度，新加入的样本会影响到已经学完的样本69The End.