《机器学习与深度学习简介ppt课件.pptx》由会员分享，可在线阅读，更多相关《机器学习与深度学习简介ppt课件.pptx（45页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、机器学习简介与应用机器学习简介与应用1经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用卷积神经网络自编码器机器学习与深度学习提纲2机器学习与深度学习机器学习与深度学习PART 013经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用什么是机器学习？4u机器学习机器学习：对研究问题进行模型假设，利用计算机从训练数据中学习得到模型参数，并最终对数据进行预测和分类。其基础主要是归纳和统计。经营者提供商品或者服务有欺诈行为的，应当按照消费者的
2、要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用机器学习常用算法5u决策树决策树：将输入空间分成不同的区域，每个区域有独立参数的算法。决策树算法充分利用了树形模型，根节点到一个叶子节点是一条分类的路径规则，每个叶子节点象征一个判断类别。先将样本分成不同的子集，再进行分割递推，直至每个子集得到同类型的样本，从根节点开始测试，到子树再到叶子节点，即可得出预测类别。此方法的特点是结构简单、处理数据效率较高。缺点：缺点：决策树往往会产生过拟合问题经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费
3、用机器学习常用算法6u随机森林随机森林：以决策树为基础的一种更高级的算法。工作原理是生成多个分类器/模型，各自独立地学习和作出预测。随机森林中每个决策树都有一个自己的结果，通过统计每个决策树的结果，选择投票数最多的结果作为其最终结果。所以理论上，随机森林的表现一般要优于单一的决策树。优点：优点：抗过拟合能力：通过平均决策树，降低过拟合的风险性。只有在半数以上的基分类器出现差错时才会做出错误的预测，非常稳定。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用机器学习常用算法7u支持向量机：支持向量机：建立一个最优决策
4、超平面，使得该平面两侧距平面最近的两类样本之间的聚类最大化，从而对分类问题提供良好的泛化能力。红色两条线是两类数据的边界，但容错性较低，如果取绿色线作为分类线，那么对于此类数据，应该是最好的分类线。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用机器学习常用算法8uBoost&Bagging：构建多个弱学习算法，形成多个弱分类器，得到多种比较粗糙的分类规则，然后将这些弱分类规则组织成强分类规则。Boost：采用改变训练数据的概率分布，针对不同的训练数据分布调用弱学习算法学习一组弱分类器。在多次迭代的过程中，当前次
5、迭代所用的训练数据的概率分布会依据上一次迭代的结果而调整。也就是说训练数据的各样本是有权重的，这个权重本身也会随着迭代而调整。u不同分布的训练数据进入不同学习法则后，得到的各基本分类器通常经过线性组合，形成强分类器。例如，像Adaboost和xgboost，最后的强分类器都是弱分类器的加性组合。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用机器学习常用算法9Bagging：训练几个分类器(弱学习器)，然后让这几个分类器的输出当做分类投票，选择票数最多的那个输出作为最后的输出。对每个分类器，输入数据都是从原始训练
6、数据中可重复的采样,每个分类器的输入服从相同的分布，且各输入之间相互独立。而Boost中，各训练数据的分布不独立，每个分类器的输入样本之间也不独立。BoostBagging样本选择训练集不变有放回方式采样样本权重错误率越大，权重越大权重相同预测函数分类误差小的分类器会有更大的权重所有预测函数的权重相等并行计算各个预测函数只能顺序生成各个预测函数可以并行计算经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用从简单线性分类器到深度学习10：激活函数u深度学习特点：深度学习特点：增加中间层、低层特征转化为高层特征u深度学
7、习网络往往包含多个中间层问题：问题：根据繁华程度（x1）、交通便利度（x2）、与市中心距离（x3）、楼层（x4）预测房价高低经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习11深深度度学学习习（Deep Deep learninglearning）是一种实现机器学习的技术，是机器学习重要的分支。其源于人工神经网络的研究。深度学习模型是一种包含多隐藏层的神经网络，通过组合低层特征形成更加抽象的高层特征。机器学习深度学习l受人脑神经元工作机理的启发：经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加
8、赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习动机12良好的特征表达，对最终算法的准确性起了非常关键的作用识别系统主要的计算和测试工作耗时主要集中在特征提取部分特征的样式一般都是人工设计的，靠人工提取特征数据预处理特征提取特征选择预测与识别传统模式识别方法传统模式识别方法经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习动机13自动选取特征自动选取特征获得好的特征是识别成功的关键目前存在大量人工设计的特征，不同研究对象特征不同，特征具有多样性，如SIFT（尺度不变特征变换），
9、HOG（方向梯度直方图）等特征手工选取特征费时费力，需要启发式专业知识，很大程度上靠经验和运气是否能自动地学习特征？物体部件:对于人工而言特征提取是十分困难的不一定特征越多越好，需要多少个特征由学习确定经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习动机14层层次次网网络络结结构构：高层特征或图像，往往是由一些基本结构（浅层特征）组成。高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton在科
10、学上发表论文提出深度学习主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服，逐层初始化可通过无监督学习实现的。浅浅层层学学习习局局限限：有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受限。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习15u本质：本质：通过构建多隐层的模型和海量训练数据（可为无标签
11、数据），来学习更有用的特征，从而最终提升分类或预测的准确性。“深度模型”是手段，“特征学习”是目的。u与浅层学习的区别：与浅层学习的区别：明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。u优势：优势：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习 VS神经网络 16神经网络神经网
12、络 ：深度学习深度学习 ：经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习 VS神经网络 17相相同同点点：二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic回归模型。不同点：不同点：神经网络：采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛；深度学习：采用逐层训练机制。采用该机制的原
13、因在于如果采用BP机制，对于一个deepnetwork（7层以上），残差传播到最前面的层将变得很小，出现所谓的gradientdiffusion（梯度扩散）。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习训练过程18第一步：采用自下而上的无监督学习第一步：采用自下而上的无监督学习逐层构建单层神经元。每次仅调整一层，逐层调整。这个过程可以看作是一个featurelearning的过程，是与传统神经网络区别最大的部分。第二步：自顶向下的监督学习第二步：自顶向下的监督学习在第一步学习获得各层参数进的基础上，在
14、最顶的编码层添加一个分类器（例如Logistic回归、SVM等），而后通过带标签数据的监督学习，利用梯度下降法去微调整个网络参数。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习过拟合与正则化19u过拟合产生原因观察值与真实值存在偏差数据太少，无法描述问题的真实分布特征维度过多、模型假设太复杂u减少过拟合正则化：L1、L2正则，模型中引入惩罚项dropout:：丢掉一些神经元Earlystopping：模型训练差不多的时候停下数据集扩增经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到
15、的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习常用方法20u基于多层神经元的自编码神经网络，包括自编码(Autoencoder)以及近年来受到广泛关注的稀疏编码两类(SparseCoding)u基于卷积运算的神经网络系统，即卷积神经网络(CNN)u以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)自编码器自编码器PART 221经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用什么是自编码器？22自自编编码码器器：通过网络训练学习得到数据的低维
16、度表示，通过让重构值与输入值相等来获取数据中的重要信息重重构构层本本身身没没有有实际意意义，使使用用自自编码器器主主要要用用于于特征提取特征提取，起到特征提取器的作用。，起到特征提取器的作用。隐藏藏层维度低于度低于输入入层，起到降，起到降维作用作用经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用自编码器原理23经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用特征提取24l自编码器的重要意义是特征提取，模型训练完成后，将解码器删除，仅
17、使用编码器得到重构的特征。得到的特征可应用于有监督的模型中，如分类模型。AE+softmax分类器经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用堆栈自编码器25堆栈自编码器：堆栈自编码器：本质上就是增加中间特征层数经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用稀疏自编码器26稀稀疏疏自自编编码码器器：在自编码器的基础上增加约束条件后得到。隐藏层大部分神经元被抑制，少部分被激活，具有更优的学习数据特征的能力。确保只有少数隐藏层中的
18、神经元处于激活状态经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用稀疏自编码器27不加稀疏约束的隐含层激活状态，可看到很混乱，不含有明显的分工加入稀疏约束项后明显改善，可看到隐含层较好的提取到各个笔画的特征输入图片加噪声：输入图片加噪声：不加约束时，算法对抹去大面积空白处的盐粒噪声很积极，对有数字区域不敏感稀疏约束让隐含层更有效的捕获有价值信息，而非仅有白噪声区域，能恢复更多些的细节经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用降
19、噪自编码器28降降噪噪自自编编码码器器：训练过程中输入的数据有一部分是“损坏”的，核心思想是一个能够从中恢复出原始信号的神经网络表达未必是最好的，能够对“损坏”的原始数据编码、解码，然后还能恢复真正的原始数据，这样的特征才是好的。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用降噪自编码器29降噪自编码器的特征图原自编码器的特征图u降噪自编码器确实在训练后学习到了有效的特征提取，例如手写体数字的”转角”，这类特征更有代表性。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金
20、额为消费者购买商品的价款或接受服务的费用卷积自编码器30卷卷积积自自编编码码器器：当输入是图像时，使用卷积神经网络是更好的。卷积自编码器和普通自编码器的区别在于其encoder和decoder都是卷积神经网络，相应的，encoder使用的是卷积操作和池化操作，而decoder中使用的反卷积操作和反池化操作。卷积神经网络卷积神经网络PART 331经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用什么是卷积？32输入图像 卷积核 特征图边缘信息提取信息提取每个像素的取值用该像素原来数值的八倍减去邻近点像素值的和来替代
21、平滑部分（如草地）计算结果趋近于0，在输出特征图中表现为黑色边缘线由于像素值差值较大，在输出特征图中表现为白色卷卷积卷积运算的特征：卷积运算的特征：可以使原始图像中的特征加强可以使原始图像中的特征加强经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用什么是卷积神经网络？33u卷积神经网络（卷积神经网络（ConvolutionalNeuralNetworks,CNN）：包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。最先在图像分类中获得成功应用，后在自然语言处理等领域获得较好的应用。u卷积神经网络
22、的特点：局部卷积 权值共享 多卷积核 池化操作 多层处理传统全连接神经网络缺点：参数量大，效率低经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用一、局部卷积34全局感知 局部感知u卷积可看成作用于矩阵的一个滑动窗口函数，滑动窗口即为卷积核u输出特征图中每个像素实际上是出入图像中局部区域像素的加权平均依据：依据：局部像素联系较为密切，距离较远的像素相关性较弱，每个神经元只要对局部信息进行感知，在更高层将局部信息进行综合，可获得全局的信息经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增
23、加赔偿的金额为消费者购买商品的价款或接受服务的费用卷积具体实现35u卷积的步长（stride）u窄卷积（特征图大小小于原图）和宽卷积（填充0再卷积运算，大小不变）经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用二、权值共享36经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用三、多卷积核37每个卷积核对输入图像进行卷积处理，生成一幅特征图像不同卷积核生成的不同图像可理解为该输入图像的不同通道u为充分提取特征，使用多个卷积核提取特征为充
24、分提取特征，使用多个卷积核提取特征经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用四、池化处理38u池化处理：池化处理：也叫作降采样处理（down-pooling），是对不同位置的特征进行聚合统计。常用的有最大池化、平均池化最大池化过程 平均池化过程池化优点：降维、克服过拟合等。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用五、多层处理39图像处理中，往往采用多层卷积及池化处理：u一层卷积及池化往往只学到局部特征，层数越多，学到的
25、特征越全局化。通过多层处理后，低级的特征组合形成更高级的特征表示。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用CNN训练过程40分为前向传播和反向传播两个阶段：u前向传播 数据经过卷积层、池化层、全连接层的向前传播得到输出值，比较网络输出值与期望值之间的误差u反向传播 误差传回网络，依次求得全连接层、池化层、卷积层的误差，由误差梯度调整并更新权值参数，重新进行网络训练经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用LeNet-541经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用LeNet-542经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用LeNet-543经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用LeNet-544谢谢 谢谢45