《《引言深度学习》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《引言深度学习》PPT课件.ppt（29页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅深度学习深度学习北京理工大学北京理工大学 任雪梅任雪梅Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅引言Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅2016年3月，阿尔法围棋与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜；2017年5月，在
2、中国乌镇围棋峰会上，它与排名世界第一的世界围棋冠军柯洁对战，以3比0的总比分获胜。深度学习作为阿尔法围棋的主要工作原理，也正走近人们的视野，受到越来越多的关注。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构，不断改善自身的性能的学科。机器学习在图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等很多方面的发展还存在着没有良好解决的问题。Deep learning neural netwo
3、rk神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l自2006年，深度学习（Deep Learning）已经成为机器学习研究中的一个新兴领域，通常也被叫做深层结构学习或分层学习。其动机在于建立、模拟人脑进行分析学习的神经网络，它模拟人脑的机制来解释数据，例如图像，声音和文本。l深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，已发现数据的分布式特征表示。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅人脑视觉机理人脑视觉机理 1981 年的诺
4、贝尔医学奖，颁发给了 David Hubel和Torsten Wiesel，以及 Roger Sperry。前两位的主要贡献，发现了视觉系统的信息处理：可视皮层是分级的。为了研究瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上，开了一个3 毫米的小洞，向洞里插入电极，测量神经元的活跃程度。他们在小猫的眼前，展现各种形状、各种亮度的物体。在展现每一件物体时，还改变物体放置的位置和角度。他们期望通过这个办法，让小猫瞳孔感受不同类型、不同强弱的刺激。发现了一种被称为“方向选择性细胞（Orientation Selective Cell）”的神经元细胞。当瞳孔发现了眼前的物体的边缘，而且这个边
5、缘指向某个方向时，这种神经元细胞就会活跃。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅位于后脑皮层的不同视觉神经元，与瞳孔所受刺激之间，存在某种对应关系。一旦瞳孔受到某一种刺激，后脑皮层的某一部分神经元就会活跃。例如，从原始信号摄入开始（瞳孔摄入像素 Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅Deep lea
6、rning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。抽象层面越高，存在的可能猜测就越少，就越利于分类。例如，单词集合和句子的对应是多对一的，句子和语义的对应又是多对一的，语义和意图的对应还是多对一的，这是个层级体系。关键词：分层。而Deep learning的deep就表示存在多少层，也就是有多深。Deep learning neural n
7、etwork神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l远在古希腊时期，发明家就梦想着创造能自主思考的机器。l 神 话 人 物 皮 格 马 利 翁(Pygmalion)、代 达 罗 斯(Daedalus)和赫淮斯托斯(Hephaestus)可以被看作传说中的发明家，而加拉蒂亚(Galatea)、塔洛斯(Talos)和潘多拉(Pandora)则可以被视为人造生命。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l在人工智能的早期，那些对人类智力来说非常困难、但对计算机来说相对简单的问题得到迅速解决，比如，那些可以通过一系列形式化的
8、数学规则来描述的问题。l人工智能的真正挑战在于解决那些对人来说很容易执行、但很难形式化描述的任务，如识别人们所说的话或图像中的脸。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l人工智能系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力。l这种能力被称为机器学习（machine learning）。引入机器学习使计算机能够解决涉及现实世界知识的问题，并能作出看似主观的决策。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l机器学习算法的性能在很大程度上依赖于给定数据的
9、表示（representation）。l在计算机科学中，如果数据集合被精巧地结构化并被智能地索引，那么诸如搜索之类的操作的处理速度就可以成指数级地加快。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅不同表示的例子：假设我们想在散点图中画一条线来分隔两类数据。在左图，我们使用笛卡尔坐标表示数据，这个任务是不可能的。右图中，我们用极坐标表示数据，可以用垂直线简单地解决这个任务。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l许多人工智能任务可通过以下方式解决：先提取合适的特征集，
10、然后将特征提供给简单的机器学习算法。l对于许多任务来说，很难知道应该提取哪些特征。解决这个问题的途径之一是使用机器学习来发掘表示本身，而不仅仅把表示映射到输出。这种方法我们称之为表示学习（representation learning）。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l表示学习算法的典型例子是自编码器（autoencoder）。自编码器由一个编码器（encoder）函数和一个解码器（decoder）函数组合而成。l编码器函数将输入数据转换为一种不同的表示，而解码器函数则将这个新的表示转换到原来的形式。l我们期望当输入数
11、据经过编码器和解码器之后尽可能多地保留信息，同时希望新的表示有各种好的特性。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l从原始数据中提取高层次、抽象的特征是非常困难的。诸如说话口音这样的变差因素，只能通过对数据进行复杂的、接近人类水平的理解来辨识。l深度学习（deep learning）通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅左图展示了深度学习系统如何通过组合较简单的概念（例如转角和轮廓，它们转而由边线
12、定义）来表示图像中人的概念。深度学习模型的典型例子是前馈深度网络或多层感知机。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅深度学习是机器学习的一种，一种能够使计算机系统从经验和数据中得到提高的技术。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅深度学习的历史趋势Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅目前为止深度学习已经经历了三次发展浪潮：l20 世纪40年代到60年代深度学习的雏形出现在控制论（cybern
13、etics）中。l20世纪80年代到90年代深度学习表现为联结主义（connectionism）。l自2006年，深度学习已经成为机器学习研究中的一个新兴领域，通常也被叫做深层结构学习或分层学习。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅最早的学习算法，是模拟生物学习的计算模型。深度学习的神经观点受两个主要思想启发。a)大脑作为例子证明智能行为是可能的，概念上，建立智能的直接途径是逆向大脑背后的计算原理，并复制其功能。b)理解大脑和人类智能背后的原理也非常有趣，因此机器学习模型除了解决工程应用的能力，如果能让人类对这些基本的科学问
14、题有进一步的认识也将会很有用。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l自20世纪90年代以来，深度学习就已经成功用于商业应用，但通常被视为是一种只有专家才可以使用的艺术而不是一种技术l随着训练数据的增加，所需的技巧正在减少l最重要的新进展是现在我们有了智能算法得以成功训练所需的资源。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅上图展示了基准数据集的大小如何随着时间的推移而显著增加。这种趋势是由社会日益数字化驱动的。由于我们的计算机越来越多地联网在一起，数据变得更容易
15、集中管理，并更容易将它们整理成适于机器学习应用的数据集。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l20世纪80年代，神经网络只能取得相对较小的成功，而现在神经网络非常成功的另一个重要原因是我们现在拥有的计算资源可以运行更大的模型。l联结主义的主要见解之一是，当动物的许多神经元一起工作时会变得聪明。单独神经元或小集合的神经元不是特别有用。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅1.自适应线性单元；2.神经认知机；3.GPU-加速卷积网络；4.深度玻尔兹曼机；5.无监
16、督卷积网络；6.GPU-加速多层感知机；7.分布式自编码器；8.Multi-GPU卷积网络；9.COTS HPC无监督卷积网络；10.GoogLeNet与日俱增的每神经元连接数Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅1.感知机；2.自适应线性单元；3.神经认知机；4.早期后向传播网络；5.用于语音识别的循环神经网络；6.用于语音识别的多层感知机；7.均匀场sigmoid信念网络；8.LeNet-5；9.回声状态网络；10.深度信念网络；11.GPU-加速卷积网络；12.深度玻尔兹曼机；13.GPU-加速深度信念网络；14.无监督
17、卷积网络；15.GPU-加速多层感知机；16.OMP-1网络；17.分布式自编码器；18.Multi-GPU卷积网络；19.COTS HPC无监督卷积网络；20.GoogLeNet与日俱增的神经网络规模。自从引入隐藏单元，人工神经网络的大小大约每2.4 年翻一倍。Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l20 世纪80 年代以来，深度学习提供精确识别和预测的能力一直在提高。l2013,2014,2015年，ImageNet图像识别比赛的参赛者们都使用了深度学习的神经网络结构，并且随着深度学习的网络结构，训练方法，GPU硬件的不断
18、进步，深度学习在其他领域也在不断的征服战场l2015年时，微软亚洲研究院的何凯明等设计的一个深达152层的ResNet模型已经可以将错误率刷新到了3.6%Deep learning neural network神经网络与深度学习神经网络与深度学习 任雪梅任雪梅l深度学习的另一个最大的成就是其在强化学习（reinforcement learning）领域的扩展。在强化学习中，一个自主的智能体必须在没有人类操作者指导的情况下，通过试错来学习执行任务。lDeepMind 表明，基于深度学习的强化学习系统能够学会玩Atari视频游戏，并在多种任务中可与人类匹敌。深度学习也显著改善了机器人强化学习的性能。