《机器学习人工智能原理与应用.ppt》由会员分享，可在线阅读，更多相关《机器学习人工智能原理与应用.ppt（49页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 机器学习就是计算机自动获取知识，它是知识工程的三个分支（使用知识、表实知识、获取知识）之一。这一章将介绍机器学习的基本问题，包括：为什么研究机器学习、什么是机器学习、机器学习的发展历史、学习的一个模型、机器学习的分类和机器学习的研究目标。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1 概述1.学习的概念 学习是人类具有的一种重要智能行为，但究竟什么是学习，长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其不同的看法。按照人工智能大师西蒙的观点，学习就
2、是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。西蒙对学习给出的定义本身，就说明了学习的重要作用。6.1.1什么是机器学习第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 2、机器学习 什么叫做机器学习(machine learning)？至今，还没有统一的“机器学习”定义，而且也很难给出一个公认的和准确的定义。为了便于进行讨论和估计学科的进展，有必要对机器学习给出定义，即使这种定义是不完全的和不充分的。顾名思义，机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法
3、是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计算机；现在是电子计算机，以后还可能是中子计算机、光子计算机或神经计算机等等。6.1专家系统概述6.1.1什么是机器学习第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 1、机器学习速度惊人；2、机器学习可以把学习不断地延续下去，避免大量的 重复学习，使知识积累达到新的高度；3、机器学习有利于知识的传播。6.1专家系统概述 6.1.2 研究机器学习的意义第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 自从50年代开始研
4、究机器学习以来，在不同时期的研究途径和目标也不同。可以划分三个阶段。其研究内容分别为：神经模型和决策理论；符号概念获取；知识加强和论域专用学习；连接学习的研究。各阶段的区别主要在于学习系统中先验知识的数量和系统中表实与修改知识的方法。6.1专家系统概述 6.1.3 机器学习的发展史第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.3 机器学习的发展史1 1、神经模型和决策理论、神经模型和决策理论神经模型途径是要发展初始知识很少的通用学习系统。这类系统通常称为神经网或自组织系统。系统包括一个由互连的元件组成的网络。这些元件类似于
5、神经元，它们实现简单的逻辑功能，通常是阈值逻辑功能。这种系统的学习过程是逐步修改元件间的连接强度，一般是连续改变赋给这些连接的权值。系统的初始知识是选定输入元件、网络结构和初始连接强度。选定的输入元件表实对象的选定的属性。网络结构可能是任意的，或是设计者安排的，或是二者的混合。（后续）第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.3 机器学习的发展史（承上）这类学习系统包括Perceptron,Pandemonium和使用鉴别功能的学习系统。近期的例子是各种自适应控制系统。这一领域的研究导致了在模式识别中的决策理论方法。这
6、类研究有进化学习和遗传学算法。这一领域的最新成果是连接机。这一类系统的主要特点是初始知识的层次低，且使用连续可变的参数进行学习。这类学习有数值化的特征，这与后两类学习不同。后两类学习更强调产生和处理复杂的符号结构。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.3 机器学习的发展史2 2、符号概念获取（、符号概念获取（SCASCA）这类学习过程是通过分析一些概念的正例和反例构造出这些概念的符号表实。表实的形式一般是逻辑表达式、决策树、产生式规则或语义网络。某些系统已经实用于不同的领域。例如ARCH（Winston,1975）
7、,AQVAL(Michalski,1975)和ID3（Quinlan,1979）。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.3 机器学习的发展史3 3、知识加强和论域专用学习（、知识加强和论域专用学习（KDLKDL）系统包括预先确定的概念、知识结构、论域约束、启发式规则和论域有关的变换。系统在开始并不具有所有的属性或概念，在学习过程中系统应得到一些新的属性或概念。这个过程称为构造性的归纳。KDL和SCA之间的主要区别在于提供给系统的背景知识的数量和种类，也在于系统产生的知识结构的丰度。这类学习系统一般是为专门的领域开发
8、的，不能直接用于其它领域。这类系统的学习策略不仅有实例学习，而且有类比学习、观察和发现学习。这类系统的例子有Meta-DENDRAL和AM。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.3 机器学习的发展史（承上）许多系统体现出上述途径的组合。SCA和KDL途径的一种组合就是基于可交换知识模块的系统。这种系统把通用学习机理和定义与使用论域专用知识的功能组合起来。当要系统解决一个问题时，教师通过系统的知识表实功能给它提供论域专用知识。由于把通用推理功能从论域专用知识中分出来，所以一个学习系统可以用于很多不同论域，同时还可利用
9、论域专用知识。这类系统有INDUCE它由实例学习对象的结构描述。Winston的类比学习程序。LEX获取和改进问题求解的启发式。EURISKO发现新的启发式。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.3 机器学习的发展史4、连接学习的研究这一阶段始于20世纪80年代中期，是一种以非线性大规模并行处理为主流的神经网络研究，该研究目前仍在继续进行之中。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.4 机器学习的主要策略 对机器学习的分类可以由下列几方面
10、进行：学习策略、知识表实和应用领域。学习策略是学习中使用的推理方法。下面将按学习策略分类，以便系统介绍不同的方法。学习系统总是把环境提供的信息变换成新的形式，以便存贮和使用。这种变换的性质确定了学习策略的类型。几种基本策略是：机械学习（记忆学习）、传授学习、演绎学习、类比学习和归纳学习。归纳学习又分为实例学习、观察与发现学习。这些策略是按变换复杂性递增的次序排列的。变换越复杂，学习者的工作越多，施教者的工作越少。人类的学习往往同时使用多种策略。这里划分不同的策略，不仅是为了介绍不同的方法，而且是便于设计学习系统。虽然现有的学习系统还只使用单一的策略，多种策略系统也将受到重视。第六章第六章 机机
11、 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述1 1、机械学习（记忆学习机械学习（记忆学习在机械学习（记忆学习)中基本没有变换。由施教者提供的信息或多或少被学习系统记忆和使用。这时环境提供的信息与执行环节使用的信息有相同的水平，同样的形式。实际上每台计算机都可以看作是机械学习（记忆学习),因为它们都存贮用户送入的程序。一个例子是Samuel的西洋象棋程序（1956，1967），它记忆每个棋局以便提高下棋水平。6.1.4 机器学习的主要策略第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.
12、1.4 机器学习的主要策略2 2、传授学习（指点学习）传授学习（指点学习）在传授学习中，学习环节进行的变换只是对施教者提供的信息进行选择和改造，这主要是在语法层的变换。这时环境提供的信息过于抽象，它的水平高于执行环节所用信息的水平。学习环节把较高水平的知识变换为较低水平的知识。这种变换称为实用化。实用化主要有下列步骤：由传授的信息推出结论，作出假设以补充一些细节和确定何时需要进一步传授。实用化过程类似于编译系统把高级语言程序变换成机器码程序。第一个例子是McCarthy(1958)的系统。最近的系统有TEIRESLAS（Davis,1976）和FOO（Mostow,1979和1981）。第六章
13、第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.4 机器学习的主要策略3 3、演绎学习演绎学习在演绎学习中，学习系统由给定的知识进行演绎的保真推理，并存储有用的结论。这种策略近几年才作为一种独立的学习策略。（Michalski,1983）演绎学习包括知识改造、知识编译、产生宏操作、保持等价的操作和它保真变换。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.4 机器学习的主要策略4 4、归纳学习、归纳学习在归纳学习中，变换过程是对输入信息的一般化和选择最合理的预期
14、结果，这就是归纳推理。归纳学习可以分为以下实例学习、观察与发现学习。（详细介绍请参阅下页）第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.4 机器学习的主要策略（1）实例学习实例学习又称为概念获取，它的任务是确定概念的一般描述，这个描述应解释所有给定的正例并排除所有给定的反例。这些正反例是由信息源提供的，信息源可能是已经知道概念的施教者，也可能是学生做实验而系统从中得到反馈的环境。后者可称为实验学习，包括由做学习和由问题求解学习。刺激反应式学习也是一种实例学习。新对实例学习的研究集中在两个方面：例子一类型的一般化，部分一整体
15、的一般化。在例子一类型的一般化中，提供给系统某一类对象的独立的实例，系统的目标是归纳出这些类的一般描述。实例学习的多数研究集中在这一方面。对象可能是结构化的部件、几何形状、疾病描述、故事、问题的解、控制算子等。在部分一整体的一般化中，任务是假设整个对象（情景，情况，过程）的描述，但只给定了对象的局部。例如，只给定一个房间的几张局部的照片，要重构房间的整个视图。又如，只看到一个序列或过程的一部分，要确定描述该序列或过程的规则。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.4 机器学习的主要策略（2）观察与发现学习观察与发现学
16、习又称为描述的一般化。这类学习没有实教者的学习帮助，它要产生解释所有或大多数观察的规律和规则。这类学习包括概念聚类、构造分类、使方程符合数据、发现解释观察的定律和形成理论；遗传学算法（Holland,1986）和经验预测算法（Zagoruiko,1976）可以看作这种策略的变种。实例学习是由正反例学习，这些正反例是由施教者分类的。因此实例学习是有实教的学习。观察与发现学习是由未经分类的观察学习，或由系统自身的功能去发现。这是无实教的学习。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.1专家系统概述 6.1.4 机器学习的主要策略5 5、类比学习类
17、比学习类比学习是演绎学习与归纳学习的组合。它匹配不同论域的描述，确定公共的子结构，以此作为类比映射的基础。寻找公共子结构是归纳推理，而实现类比映射是演绎推理。由提醒学习可以看作一种类比学习（Schank,1982）。类比学习是由系统已有的某一领域知识得到另一领域中类似的知识。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.2机器学习系统的基本模型 一般把学习看作是建立理论，形成假设和进行归纳推理。理论能从本质上更深刻地描述和解释客观现象，因此要建立理论。为了解释一些特殊现象，往往要发现各种可能的假说。有时要从特殊的实例推导出一般的规律，即进行归纳推
18、理。学习过程总是与环境和知识库有关，因此可以用下图所实的模型描述。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.2机器学习系统的基本模型模型中包含学习系统的四个基本组成环节。环境和知识库是以某种知识表实形式表达的信息的集合，分别代表外界信息来源和系统具有的知识。学习环节和执行环节代表两个过程。学习环节处理环境提供的信息，以便改善知识库中的显式知识。执行环节利用知识库中的知识来完成某种任务，并把执行中获得的信息回送给学习环节。下面讨论系统中各环节。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.2机器学
19、习系统的基本模型 6.2.1 环境 环境可以是系统的工作对象，也可以包括工作对象和外界条件。例如在医疗系统中，环境就是病人新的症状、检验的数据和病历；在模式识别中，环境就是待识别的图形或景物；在控制系统中，环境就是受控的设备或生产流程。就环境提供给系统的信息来说，信息的水平和质量对学习系统有很大影响。信息的水平是指信息的一般性程度，也就是适用范围的广泛性。这里的一般性程度是相对执行环节的要求而言。高水平信息比较抽象，适用于更广泛的问题。低水平信息比较具体，只适用于个别的问题。环境提供的信息水平和执行环节所需的信息水平之间往往有差距，学习环节的任务就是解决水平差距问题。（接下页）第六章第六章 机
20、机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.2机器学习系统的基本模型 6.2.1 环境（接上页）如果环境提供较抽象的高水平信息，学习环节就要补充遗漏的细节，以便执行环节能用于具体情况。如果环境提供较具体的低水平信息，即在特殊情况执行任务的实例，学习环境就要由此归纳出规则，以便用于完成更广的任务。信息的质量是指：正确性、适当的选择和合理的组织。信息质量对学习难度有明显的影响。例如，若施教者向系统提供准确的实教例子，而且提供例子的次序也有利于学习，则容易进行归纳。若实教例子中有干扰，或实例的次序不合理，则难以归纳。第六章第六章 机机 器器 学学 习习人人 工工 智
21、智 能能 原原 理理 与与 应应 用用 6.2机器学习系统的基本模型 6.2.3 知识库影响学习系统设计的第二个因素是知识库的形式和内容。知识库的形式就是知识表实的形式。常用的知识表实方法有：特征向量、谓词演算、产生式规则、过程、LISP函数、数字多项式、语义网络和框架。选择知识表实方法要考虑下列准则：可表达性、推理难度、可修改性和可扩充性。下面以特征向量和谓词演算方法为例说明这些准则。可表达性方面可表达性方面特征向量适于描述缺乏内在结构的事物，它以一 个固定的特征集合来描述事物。谓词演算则适于 描述结构化的事物。（后续）6.2.2 学习环节（放到后面同执行环节一同讲解）第六章第六章 机机 器
22、器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.2机器学习系统的基本模型 6.2.3 知识库（承上）推理难度方面推理难度方面 一种常用的推理是比较两个描述是否等效。显然 判定两个特征向量等效较容易，判定两个谓词表 达式等效的代价就较大。可修改性方面可修改性方面 特征向量和谓词演算这类显式的表实都容易修 改。过程表实等隐式的方法就难以修改，可扩充 性是指学习系统通过增加词典条目和表实结构来 扩大表实能力，以便学习更复杂的知识。一个例 子是AM（Lenat,1983），它可根据老概念定义 新概念。知识库的内容中，初始知识是很重要的。它总要利用初始知识去理解环境提供的信息，以
23、便形成和改进假设。学习系统实质上是对旧知识库的扩充和完善。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.2机器学习系统的基本模型 6.2.2 学习环节 与 6.2.4 执行环节 学习环节的目的就是改善执行环节的行为。执行环节的复杂性、反馈和透明度都对学习环节有影响。复杂的任务需要更多的知识。二分分类是最简单的任务，只需一条规则。某个玩朴克的程序有约20条规则。在由实例学习中，可以按任务复杂性分成三类。一类是基于单一概念或规则的分类或预测。一类是包含多个概念的任务。一类是多步执行的任务。执行环节给学习环节的反馈也很重要。学习系统都要用某种方法去评价
24、学习环节推荐的假设。一种方法是用独立的知识库作这种评价。例如AM程序用一些启发式规则评价学到的新概念的重要性。另一种方法是以环境作为客观的执行标准，系统判定执行环节是否按预期标准工作，由此反馈信息评价当时的假设。若执行环节有较好的透明度，学习环节就容易追踪执行环节的行为。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.3机械学习（记忆学习）记忆学习(Rote Learning)又称为机械学习或死记硬背学习。这种学习直接记忆环境提供的新知识，并直接使用它们，对它们不作任何变换。对于记忆学习有两种极端的观点。一种观点认为，存储对任何智能程序都是必要的、
25、基本的，它不是独立的学习过程，不必要专门研究。另一种观点认为，存储是一个复杂问题，对任何认知系统都是必要的，因此要详细研究并模型化。一种折衷的观点认为，一般学习系统不会只是记忆学习，但记忆学习是任何学习系统的一部分。任何学习系统都要存储和使用它获取的知识，因此要建立记忆学习过程，以便存放和读取知识库中的知识。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.3机械学习（记忆学习）6.3.1 机械学习（记忆学习）的过程 Lenat(1979)提出一种独特的观点，他把记忆学习看作最低层次的数据处理。他划分的数据处理层次如图7.1所实。如果一个计算结果有普
26、遍意义，就存储起来。这就把计算任务简化为存取任务。记忆是简化数据处理，以空间换取时间的手段。图7.1数据处理的层次第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.3机械学习（记忆学习）6.3.2 机械学习（记忆学习）系统主要考虑的问题 机械学习（记忆学习）（记忆学习）的设计要考虑三个问题：存储结构、稳定性和记忆与计算的权衡。1.存储结构只有读取所用时间少于重新计算所用时间时，机械学习（记忆学习）（记忆学习）才有实用价值。为了快速读取存储的内容，就要合理组织存储结构。在数据结构和数据库等领域已经详尽研究了排序、检索和杂凑方法等有关问题。2.环境稳定性
27、使用机械学习（记忆学习）（记忆学习）时，总是认为保存的信息以后仍然有效。如果环境变化快，保存的信息就会失效而不能再使用。例如记忆的50年代汽车修理费用不能用来估计80年代汽车修理费用。解决方法是随时监视环境的变化，不断更新保存的信息。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.3机械学习（记忆学习）6.3.2 机械学习（记忆学习）系统主要考虑的问题3.记忆与计算的权衡为了确定是利用存储的信息还是重新计算，要比较二者的代价。例如在数学用表中有三角函数表，可直接查表不必计算。因为计算比查表复杂。但在数学用表中不列出两数乘积表，因计算并不复杂。可用两
28、种方法选择是记忆还是计算。一种是代价效益分析法。它在首次得到一个信息时，确定是否有必要保存它。这时要考虑该信息以后使用的概率、存储空间和计算代价。另一种是有选择的放弃。保存的内容在读取时加上时间标志，这就是最后使用的时间。保存一项新内容时，要删除一项旧内容，这是未使用的时间最长的旧内容。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.4传授式学习 传授学习(Learning by Being Told或Learning by Instruction)又称为指点学习。这时，环境提供的信息较抽象，水平较高，学习环节把这些信息变换成执行环节使用的较低水平
29、的信息。1.要求这是请求专家提出建议。有时对专家的要求是简单的，即请专家提供一般的建议。有时要求是复杂的，即请专家识别知识库的欠缺，并提出修改方法。有些系统是被动的，它消极等待专家提出建议。有些系统是主动的，它把专家注意力引向特定的问题。2.解释这是把专家建议转成内部表实，是知识表实问题。内部表实应包含建议的全部信息。如果用自然语言提出建议，解释过程应包括自然语言理解。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.4传授式学习3.实用化这是传授学习的信息变换过程，它把抽象的建议转成具体的知识。实用化过程类似于自动程序设计。前者由建议得到实用的规则
30、，后者由程序说明得到程序。二者也存在差别。后者要求得到完全正确的程序，强调程序的正确性。前者往往使用弱方法，不保证完全正确。实用化过程有时作试探性的假设和近似，只能要求其合理性。得到的假设还要经过检验和修改。4.归并这是把新知识加入知识库。这有可能造成旧知识的错误使用。一个问题是新旧知识适用范围的重迭。另一个问题是它们结论的冲突。如果新旧规则的条件部分重迭，就会在该使用旧规则时错误使用了新规则。可以修改规则条件以防止重迭，也可以用元规则对规则排序。为了解决结论的冲突。可以修改规则，也可以用元规则选用合理的规则，排除不合理的。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理
31、 与与 应应 用用 6.4传授式学习5.评价实用化得到的新知识往往是假设，要经过验证和修改。如果评价中发现了问题，要进行故障分析和知识库修改。上述五步中，实用化是过程的核心。正是在这一步实现信息水平的变换。Mostow(1981)按用途、论域和精度对实用化方法进行了分类，还给出实用化的13个例子。有的例子要经过约100次变换，有的只要8次变换。传授学习的例子有Mostow的FOO和Davis的TEIRESLAS。TEIRESLAS通过和用户对话，把用户的一般性意见或指实具体化，或辅助用户修改知识库。该程序用产生式规则来选择合适的投资市场。第六章第六章 机机 器器 学学 习习人人 工工 智智 能
32、能 原原 理理 与与 应应 用用 6.5类比学习 类比学习(Learning by Analogy)是获取新概念或新技巧的方法，它把类似这些新概念或新技巧的已知知识转换为适于新情况的形式。类比学习的第一步是从记忆中找到类似的概念或技巧，第二步是把它们转换为新形式以便用于新情况。例如人类的一种学习方式是先由老师教学生解例题(先例)，再给学生留习题。学生寻找在例题和习题间的对应关系，利用解决例题的知识去解决习题中的问题。学生经过一般化归纳推出原理，以便以后使用。这种类比学习方式是人类常用的。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.5类比学习 6
33、.5.1 学习新概念利用类比学习方法学习新概念或新技巧时，它要把类似这些新概念或新技巧的已知知识转化为适于新情况的形式。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.5类比学习 6.5.2 学习问题的求解方法问题求解基本过程：1.比较新状态与目标状态。2.选择可以减小这个差异的操作。3.如果前提满足就使用这个操作，否则保存新状态，并用中间结局 分析解决子问题，以便实现未满足的前提。4.在解决子问题后，再取出保存的状态，继续处理原问题。转换类比学习主要有两步：回忆过程和变换过程。回忆过程用于找出新旧问题间的差别，包括：1.新问题与旧问题的初始状态之
34、间的差异。2.新问题与旧问题的目标状态之间的差异。3.新问题与旧问题的路径约束之间的差异。4.满足新问题的操作前提在全部前提中的比例，称为候选解的可用性。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.6归纳学习 6.6.1 实例学习 实例学习是通过从环境中取得若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。在这种学习方法中，外部环境(教师)提供的是一组例子(正例和反例)，这些例子实际上是一组特殊的知识，每一个例子表达了仅适用于该例子的知识，实例学习就是要从这些特殊知识中归纳出适用于更大范围的一般性知识，它将覆盖所有的正例并排除所有反例
35、。例如，如果我们用一批动物作为实例，并且告诉学习系统哪一个动物是“马”，哪一个动物不是，当实例足够多时，学习系统就能一般出关于“马”的概念模型，使自己能识别马，并且能把马与其它动物区别开来，这一学习过程就是实例学习。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.6归纳学习 6.6.1 实例学习实例学习的两个空间模型第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.6归纳学习 6.6.2 观察与发现学习1 1、概念聚类、概念聚类概念聚类就是一种观察学习；人类观察周围的事物，对比各种物体的特性，把它们划分成
36、动物、植物和非生物，并给出每一类的定义。这种把观察的事物划分成几类并建立相应概念的过程就是概念聚类。传统的聚类分析方法是基于对象相似性的数值测度。这种测度没有考虑到综合特征或描述类型的概念。因此得到的分类缺乏概念描述，并且难以解释。为解决这个问题，产生了概念聚类方法。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.6归纳学习 6.6.2 观察与发现学习2 2、发现学习、发现学习发现学习是由系统的初始知识和观察的数据学习数学、物理和化学等方面的概念和规律。它也使用归纳推理，但是在学习过程中除了初始知识外施教者不进行指导，所以它也是无实教的归纳学习。一
37、类发现系统是数学发现系统，典型的系统是AM。本文将介绍这个系统。另一类发现系统是发现物理化学规律的系统。有些这种系统主要由观察的数据学习，这些观察可以看作正例。所以它们也可以作为实例学习。第二类系统的例子有：发现定量规律的系统BACON.6，发现定性规律的系统GLAUBER，确定化学反应用物质成分的系统STAHL和形成化学反应结构模型的系统DALTON。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.7基于解释的学习 基于解释学习（Explanation-Based Leaning,简称EBL）起源于经验学习的研究。50年代未，对神经元的模拟中发明
38、了用一种符号来标记另一些符号的存储结构模型，这是早期的存储块（chunks）概念。在象棋大师的头脑中就保存着在各种情况下对弈经验的存储块。80年代初，Newell和Rosenbloom认为，通过获取任务环境中关于模型问题的知识，可以改进系统的性能，chunks可以作为对人类行为进行模拟的模型基础。通过观察问题求解过程，获取经验chunks，用其代替各个子目标中的复杂过程，可以明显提高系统求解的速度。由此奠定了经验学习的基础。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.7基于解释的学习 6.7.1 基于解释学习的工作原理 Mitchell等人把基
39、于解释的学习过程定义为两个步骤：（1）通过求解一个例子来产生解释结构；（2）对该解释结构进行一般化，获取一般的控制规则。其具体过程如下：（1）产生解释。用户输入实例后，系统首先进行问题求解。如由目标引导反向推理，从领域知识库中寻找有关规则，使其后件与目标匹配。找到这样的规则后，就把目标作为后件，该规则作为前件，并记录这一因果关系。然后以规则的前件作为子目标，进一步分解推理。如此反复，沿着因果链，直到求解结束。一旦得到解，便证明了该例的目标可满足，并获得了证明的因果解释结构。（后续）第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.7基于解释的学习 6
40、.7.1 基于解释学习的工作原理（承上）构造解释结构通常有两种方式：一是将问题求解的每一步推理所用的算子汇集，构成动作序列作为解释结构；另一种是自顶向下的遍历证明树结构。前者比较一般，略去了关于实例的某些事实描述；后者比较细致，每个事实都出现在证明树中。解释的构造可以在问题求解的同时进行，也可在问题求解结束后，沿着解路径进行。这两种方式形成了边解边学（Learning while doing）和解完再学（Learning by solving）两种方法。（2）对得到的解释结构以及事件进行一般。在这一步，通常采取的办法是将常量转换为变量，即把例子中的某些数据换成变量，并略去某些不重要的信息，只保
41、留求解所必需的那些关键信息，经过某种方式的组合，形成产生式规则，从而获得一般性的控制知识。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.7基于解释的学习 6.7.2 基于解释学习的举例例：要学习目标概念Safe-to-stack(V1,V2)解此问题依据下列两步进行第一步：构造解释结构事实知识：On(obj1,obj2)Isa(obj2,Endtable)Color(obj1,red)Color(obj2,blue)Volume(obj1,1)Density(obj1,0.1)第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理
42、 与与 应应 用用 6.7基于解释的学习 6.7.2 基于解释学习的举例领域规则：Not(Fragile(y)Safe-to-stack(x,y)Lighter(x,y)Safe-to-stack(x,y)Volume(p1,v1)Density(p1,d1)X(v1,d1,w1)Weight(p1,w1)Isa(p1,Endtable)Weight(p1,5)Weight(p1,w1)Weight(p2,w2)(w1,w2)Lighter(p1,p2)第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.7基于解释的学习 6.7.2 基于解释学习的举例
43、然后，为证明该例子满足目标概念，系统从目标开始反向推理，根据知识库中已有的上述事实和规则，分解目标，每当使用一条规则时，同时返回去把该规则应用到变量化的目标概念上。这样，在生成该例子求解的解释结构的同时，也生成了变量化的一般的解释结构分别如以下两图所示。第二步：生成一般性知识将一般化的解释结构的所有叶结点的合取作为前件，以顶点的目标概念为后件，略去解释结构的中间部件，就生成一般化的产生式规则：Volume(V2,V48)Density(V2,V49)X(V48,V49,V42)Isa(V3,Endtable)(V42,5)Safe-to-stack(V2,V3)注：使用生成的这个控制规则求解类
44、似问题时，求解速度快且效率高。但是简单地把常量转为变量以实现一般化的方法可能过份一般化。在某些特例下可能使规则失败。第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.7基于解释的学习 6.7.2 基于解释学习的举例第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用 6.7基于解释的学习 6.7.2 基于解释学习的举例第六章第六章 机机 器器 学学 习习人人 工工 智智 能能 原原 理理 与与 应应 用用【课后习题课后习题】1机器学习的含义是什么？2有关机器学习的概念和观点3机器学习的模型各个环节的关系和作用4机器学习可分为哪几类？各有什么特点？记忆、传授、归纳、类比学习的特点，并举例说明之归纳学习与演绎学习的区别。5机器学习的研究目标是什么？机器学习与人类学习的区别返回目录返回目录