《机器学习ppt课件.pptx》由会员分享，可在线阅读，更多相关《机器学习ppt课件.pptx（68页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、机器学习机器学习Machine learning2011年春季学期机器学习简介及决策树刘扬哈工大计算机学院自然计算研究室1变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分相关信息l教材Mitchell, 机器学习机器学习（必需）必需）Chris Bishop, Pattern Recognition and Machine Learning （电子版，必需）（电子版，必需）David Mackay, Information Theory, Inference, and Learning Algorithms
2、l教师刘扬2变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分什么是学习？l定义1：由于经验或实践的结果而发生的持久或相对持久的适应性行为变化l定义2：能够使动物的行为对特定的环境条件发生适应性变化的所有过程，或者说是动物借助于个体生活经历和经验使自身的行为发生适应性变化的过程百度百科3变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分什么是机器学习？l是寻找一种对自然/人工主题、现象或活动可预测且/或可执行的机器理解方法4
3、变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分什么是机器学习l研究计算机怎样模拟模拟或实现实现人类（动物动物）的学习行为，以获取新的知识或技能l重新组织已有的知识结构使之不断改善自身的性能l是人工智能的核心，是使计算机具有智能的根本途径l其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎5变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分机器学习的一个形象描述6变电站电气主接线是指变电站的变压器、输电线路怎样与
4、电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分机器学习l研究一种算法提高它的性能 （P）在某项任务中 （T）利用一些经验 （E）well-defined learning task: 7变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分机器学习的应用8变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分自然语言处理/语音识别l现在语音识别器或翻译器几乎都是建立在某种具有学习能力的设备上-
5、 使用的越多，则它越聪明9变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分对象识别10变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分机器人控制l汽车自动驾驶系统11变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分机器人控制12变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系
6、统接线组成中一个重要组成部分文本挖掘13变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分生物信息学14变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分进化15变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分机器学习的一般泛型l监督学习l无监督学习l强化学习16变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输
7、配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分机器学习理论l对于学习到的函数F(; )l一致性（Consistency，值，模式、）l偏执与方差（Bias versus variance）l采样复杂性（Sample complexity）l学习率（learning rate）l收敛性（Convergence）l误差界（Error bound）l稳定性（Stability）l17变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分机器学习l 机器学习是研究开发 一种具有如下能力的理论和计算机系统 表
8、示 分类，聚类和识别 不确定条件下推理 预测 对外界环境的反应 l 可以在显示的模型或数学框架下，根据数据和自身经验，复杂的真实世界信息可以： 被形式（formally）刻画和分析 加入人的先验 具有在数据与领域间的泛化和适应能力 自动或自主操作 被人类解释和感知18变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分机器学习的快速增长l机器学习是最受青睐的方法语音识别，自然语言处理计算机视觉医学处理机器人控制l机器学习分量在增加机器学习性能不断提高数据快速增长，网络发展一些软件太复杂人工撰写比较困难新的感知器
9、件/IO设备环境与用户的个性化服务19变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分l20变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分分类l镰刀形细胞贫血症l函数近似21变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分函数近似l22变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接
10、线是电力系统接线组成中一个重要组成部分税务欺诈检测问题l 采用什么样的函数f假设空间是什么的样的l 如何使用？23变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分查询数据的判别举例l从根节点开始24变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分查询数据的判别举例25变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分查询数据的判别举例2
11、6变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分查询数据的判别举例27变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分查询数据的判别举例28变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分查询数据的判别举例29变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个
12、重要组成部分税务欺诈的一个假设（决策树）l 输入：属性向量 X=Refund, MarSt, TaxIncl 输出： Y=是否欺诈l H 就是不同的决策过程（不同的决策树）l 每一个内结点：测试一个属性Xil 每个分支：选择属性Xi的一个取值l 每个叶结点：预测Y30变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分决策树的表示能力l 决策树可以表示输入属性的任何函数表示输入属性的任何函数l 例如，对于布尔函数，真值表的一行一条路径（根到叶）l 如果对训练数据中的每个样例都建立一条从根到叶的路径（除非f对于输
13、入x是不确定的）就得到一个一致的决策树，但其可能没有泛化能力l 因此希望找一个更加紧凑（小规模）的决策树31变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分决策树学习32变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分一棵决策树（欺诈问题）33变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分另一棵决策树l同样一个训练数据集，可以有多棵
14、树与其一致34变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分Top-Down的决策树归纳算法（构造）l Main loop：1. A下一个结点node的最好属性2. 把A作为决策属性赋给结点node3. 对A的每一个取值，创建一个新的儿子结点node4. 把相应的训练样本分到叶结点5. 如果训练样本被很好的分类，则停止，否则在新的叶结停止，否则在新的叶结点上重复上述过程点上重复上述过程 哪个属性更好？35变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是
15、电力系统接线组成中一个重要组成部分树的归纳l贪心策略基于一个可以最优化某项准则的属性来切分示例集和l问题如何切分示例集和l如何确定属性的测试条件？l如何确定最好的切分？停止切分准则36变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分树的归纳l贪心策略基于一个可以最优化某项准则的属性来切分示例集和l问题如何切分示例集和l如何确定最好的切分？l如何确定属性的测试条件？停止切分准则37变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组
16、成部分如何确定特测条件？l依赖于属性类型名词性离散（Nominal）有序的（Ordinal） 连续（Continuous）l依赖于切分的分支个数两路切分（2-way）多路切分（Multi-way）38变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分对名词属性的切分l多路切分：一个离散属性值对应一路切分l两路切分：离散属性值被切分成两个子集，需要寻找最优切分39变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分对有序属性的切
17、分l 多路切分：一个属性值对应一路切分l 两路切分：属性值被切分成两个子集，需要寻找最优切分l 这个如何？40变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分对连续属性的切分l不同的处理方案离散化构造有序的类属性l静态在起始位置一次离散化l动态范围可以通过等区间或等频率确定，或者是聚类二值决策：(A=V)l考虑所有可能的切分并选择最好的l计算量可能非常大41变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分对连续属性的切分
18、42变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分树的归纳l贪心策略基于一个可以最优化某项准则的属性来切分示例集和l问题如何切分示例集和l如何确定最好的切分？l如何确定属性的测试条件？停止切分准则43变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分如何确定最好的切分lIdea：一个好的属性切分是将示例集合分成若干子集，最理想情况是每个子集为“皆为正例”或“皆为反例”l贪心搜索更倾向结点上的数据具有同质（homogene
19、ous）类别分布l需要对结点混杂度（impurity）进行测量44变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分如何衡量属性的“好”与“坏”l45变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分如何衡量属性的“好”与“坏”l46变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分样本熵l S是训练例子的样本集l P+是S中的正例比例l
20、P-是S中反例的比例l 用熵来测量S的混杂度47变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分计算熵的例子48变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分信息增益l 信息增益父结点P被切分成k部分；ni是每一切分的样本数即目标类变量与属性A变量在S（样本集）上的互信息l测量由于切分带来的熵减少量，选择具有最大减少量的切分（最大增益）l在ID3和C4.5中采用l缺点：倾向选择具有切分分数多的属性，因为每份可以很少的样
21、本，但很纯49变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分例子选择哪个属性作为根节点？50变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分树归纳的停止准则l当一个结点上所有样本属于同一个类别，停止扩展l当一个结点上所有样本具有相似的属性值，停止扩展l提早结束（以后会介绍）51变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分基于决策
22、树的分类l优点构建过程计算资源开销小分类未知样本速度极快对于小规模的树比较容易解释在许多小的简单数据集合上性能与其它方法相近l例子：C4.5深度优先构建方法采用了信息增益在每一个结点需要对示例依据连续属性排序数据需要全部装入内存不适合大规模数据52变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分应该输出哪棵树l ID3在决策树空间中执行启发式搜索l 当获得最小可接受的决策树时则停止l Why?Occams 剃刀：选择适合训练剃刀：选择适合训练集合数据的最简单假设集合数据的最简单假设53变电站电气主接线是指变
23、电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分决策树的实践问题l 欠拟合（underfitting）和过拟合（Overfitting）l 特征值丢失54变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分总结：你应当知道的l 适定的函数近似问题示例空间，X标注的训练样本假设空间，H=f:XYl 学习是H空间上的搜索/优化问题各种各样目标函数l最小化训练误差（0-1损失）l在所有的满足最小误差的假设中，选择最小的（？）l 决策树学习贪心的Top-
24、down决策树过拟合以及剪枝扩展55变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分思考问题（1）lID3和C4.5在树空间上执行启发式算法。为什么不做穷尽搜索？56变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分思考问题（2）l考虑目标函数f:y，这里x1和x2是实数，如果在树中每个属性只被允许使用一次，那么决策树可以表达的决策平面是什么样子的？57变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而
25、完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分思考问题（3）l为什么用信息增益来选择属性？有没有其他方案58变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分假设空间大小l59变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分Notes on Overfittingl Overfitting results in decision trees that are more complex than nece
26、ssaryl Training error no longer provides a good estimate of how well the tree will perform on previously unseen recordsl Which Tree Should We Output? Occams razor: prefer the simplest hypothesis that fits the data60变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分Occams Razorl Giv
27、en two models of similar generalization errors, one should prefer the simpler model over the more complex modell For complex models, there is a greater chance that it was fitted accidentally by errors in datal Therefore, one should include model complexity when evaluating a model61变电站电气主接线是指变电站的变压器、
28、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分Minimum Description Length (MDL)l Cost(Model,Data) = Cost(Data|Model) + Cost(Model) Cost is the number of bits needed for encoding. Search for the least costly model.l Cost(Data|Model) encodes the misclassification errors.l Cost(Model) uses node enco
29、ding (number of children) plus splitting condition encoding.62变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分How to Address Overfittingl Pre-Pruning (Early Stopping Rule) Stop the algorithm before it becomes a fully-grown tree Typical stopping conditions for a node:l Stop if all
30、 instances belong to the same classl Stop if all the attribute values are the same More restrictive conditions:l Stop if number of instances is less than some user-specified thresholdl Stop if class distribution of instances are independent of the available features (e.g., using 2 test)l Stop if exp
31、anding the current node does not improve impurity measures (e.g., Gini or information gain).63变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分How to Address OverfittinglPost-pruning Grow decision tree to its entirety Trim the nodes of the decision tree in a bottom-up fashion If g
32、eneralization error improves after trimming, replace sub-tree by a leaf node. Class label of leaf node is determined from majority class of instances in the sub-tree Can use MDL for post-pruning64变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分Handling Missing AttributeValuesl Mi
33、ssing values affect decision tree construction in three different ways:Affects how impurity measures are computedAffects how to distribute instance with missing value to child nodesAffects how a test instance with missing value is classified65变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分Computing Impurity Measure66变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分Distribute Instances67变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分Classify Instances68