《深学习详解学习教案.pptx》由会员分享，可在线阅读，更多相关《深学习详解学习教案.pptx（36页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、会计学1深学习深学习(xux)详解详解第一页，共36页。目录目录(ml)n n深度(shnd)学习简介n n深度(shnd)学习的训练方法n n深度(shnd)学习常用的几种模型和方法n nConvolutional Neural Networks卷积神经网络n n卷积神经网络（CNN）在脑机接口中的应用第1页/共36页第二页，共36页。What is Deep Learning?A brief introduce of deep learning A brief introduce of deep learning 第2页/共36页第三页，共36页。机器机器(j q)学习学习n n机器学习（
2、Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构市值不断改善自身(zshn)的性能的学科，简单地说，机器学习就是通过算法，使得机器能从大量的历史数据中学习规律，从而对新的样本做智能识别或预测未来。n n机器学习在图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等很多方面的发展还存在着没有良好解决的问题。第3页/共36页第四页，共36页。特征特征(tzhng)的自学习的自学习传统的模式识别方法：通过传感器获取数据，然后经过预处理、特征提取、特征选择、再到推理、预测或识别。特征提取与选择的好坏对最终(zu
3、 zhn)算法的确定性齐了非常关键的作用。而特征的样式目前一般都是靠人工提取特征。而手工选取特征费时费力，需要专业知识，很大程度上靠经验和运气，那么机器能不能自动的学习特征呢？深度学习的出现就这个问题提出了一种解决方案。第4页/共36页第五页，共36页。深度深度(shnd)学习学习n n自2006年，深度学习（Deep Learning）已经成为机器学习研究中的一个新兴领域，通常也被叫做深层结构学习或分层学习。其动机在于建立、模拟人脑进行分析学习的神经网络，它模拟人脑的机制来解释(jish)数据，例如图像，声音和文本，深度学习是无监督学习的一种。n n深度学习的概念源于人工神经网络的研究，含多
4、隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，已发现数据的分布式特征表示。第5页/共36页第六页，共36页。人脑的视觉人脑的视觉(shju)(shju)机理机理1981年的诺贝尔医学奖获得者 David Hubel和Torsten Wiesel发现了视觉系统的信息处理机制，他们发现了一种被称为“方向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边缘(binyun)，而且这个边缘(binyun)指向某个方向时，这种神经元细胞就会活跃。第6页/共36页第七页，共36页。由此可知人的视觉系统的信息处理是分级的，高层(o cn)的特征是低层特征的
5、组合，从低层到高层(o cn)的特征表示越来越抽象，越来越能表现语义或者意图，抽象层面越高，存在的可能猜测就越少，就越利于分类。第7页/共36页第八页，共36页。浅层学习浅层学习(xux)与深度学习与深度学习(xux)n n传统机器学习和信号(xnho)处理技术探索仅含单层非线性变换的浅层学习结构。浅层模型的一个共性是仅含单个将原始输入信号(xnho)转换到特定问题空间特征的简单结构。典型的浅层学习结构包括传统隐马尔科夫模型(HMM)、条件随机场(CRFs)、最大熵模型(Max Ent)、支持向量机(SVM)、核回归及仅含单隐层的多层感知器(MLP)等。n n浅层结构的局限性在于有限的样本和计
6、算单元情况下对复杂的函数表示能力有限，针对复杂分类问题其泛化能力受到一定的制约。第8页/共36页第九页，共36页。n n受到大脑结构分层的启发，神经网络的研究发现多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而(cng r)有利于可视化或分类；而深度神经网络在训练上的难度，可以通过“逐层初始化”来有效克服。n n深度学习可以通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本中集中学习数据及本质特征的能力。第9页/共36页第十页，共36页。n n深度学习的实质n n通过构建具有很多隐层的机器学习模型和海量的训练数
7、据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。n n深度学习与浅层学习的区别n n强调了模型结构的深度，通常有5-10多层的隐层节点；n n明确突出(t ch)了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。第10页/共36页第十一页，共36页。深度深度(shnd)学习的训学习的训练方法练方法与神经网络的异同与神经网络的异同(ytng)(ytng)第11页/共36页第十二页，共36页。深度学习深度
8、学习(xux)与神经网络的与神经网络的异同异同神经网络神经网络神经网络神经网络深度深度深度深度(shnd)(shnd)(shnd)(shnd)学习学习学习学习第12页/共36页第十三页，共36页。深度学习深度学习(xux)与神经与神经网络的异同网络的异同n n相同点n n二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic 回归模型。n n不同点：采用不同的训练机制n n神经网络：采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输
9、出和样本真实标签之间的差去改变前面各层的参数，直到收敛；n n深度学习：BP算法不适合深度神经网络，如果(rgu)对所有层同时训练，时间复杂度会太高，如果(rgu)每次训练一层，偏差逐层传递会出现过拟合。因此深度学习整体上是是一个分层训练机制。第13页/共36页第十四页，共36页。深度深度(shnd)学习的训练过程学习的训练过程n n自下而上的非监督学习(xux)：从底层开始，一层一层的往顶层训练，分别得到各层参数。n n采用无标签数据分层训练各层参数（可以看作是特征学习(xux)的过程）。n n自上而下的监督学习(xux)n n基于第一步的得到的各层参数进一步调整整个多层模型的参数，这一步是
10、一个有监督的训练过程。第14页/共36页第十五页，共36页。深度学习深度学习(xux)的几种常用模的几种常用模型型n nAuto Encoder（自动编码器）n nSparse Coding（稀疏编码）n nRestricted Boltzmann Machine（限制玻尔兹曼机）n nDeep Belief Networks（深度信任(xnrn)网络）n nConvolutional Neural Networks（卷积神经网络）第15页/共36页第十六页，共36页。Convolutional Neural Networks(CNN)第16页/共36页第十七页，共36页。Convolutio
11、nal Neural Convolutional Neural Networks(CNN)Networks(CNN)卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入的复杂度，减少了权值的数量。该优点在网络的输入(shr)(shr)是多维图像时表现的是多维图像时表现的更为明显，使图像可以直接作为网络的输入更为明显，使图像可以直
12、接作为网络的输入(shr)(shr)，避免了传统识别算法中复杂，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。变性。第17页/共36页第十八页，共36页。卷积神经网络原理图卷积神经网络原理图卷积神经网络原理图卷积神经网络原理图如图所示，输入图像（Input）通过和三个可训练的卷积核和可加偏置进行卷积，卷积后在C1层产生(chnshng
13、)三个特征映射图（Featuremap）然后，C1层的Featuremap在经过子采样（Subsampling）后，加权值，加偏置，再通过一个Sigmoid函数得到三个S2层的特征映射图。第18页/共36页第十九页，共36页。CNNCNN的的的的ConvolutionConvolution过程过程过程过程(guchng)(guchng)如图，原图像是5*5大小，有25个神经元，用一个3*3的卷积核对它进行(jnxng)卷积，得到了如右图所示的卷积后的Featuremap。该特征图大小为3*3。假设一种卷积核只提取出图像的一种特征，所以一般要多个卷积核来提取不同(btn)的特征，所以每一层一般都
14、会有多张Featuremap。同一张Featuremap上的神经元共用一个卷积核，这大大减少了网络参数的个数。第19页/共36页第二十页，共36页。CNNCNN的的的的PoolingPooling过程过程过程过程(guchng)(guchng)如果人们选择图像中的连续范围作为池化区域，并且只是池化相同(重复)的隐藏单元产生的特征，那么，这些池化单元就具有平移不变性(translationinvariant)。这就意味着即使图像经历了一个(y)小的平移之后，依然会产生相同的(池化的)特征。图像具有(jyu)一种“静态性（stationarity）”的属性，可以对图像某一个区域上的特征取平均值(或
15、最大值)。这种聚合的操作就叫做池化(pooling)。第20页/共36页第二十一页，共36页。CNNCNN的优点的优点的优点的优点(yudi(yudi n)n)参数减少与权值共享参数减少与权值共享 如下图所示，如果我们有如下图所示，如果我们有 1000 x1000像素的图像，有像素的图像，有 1百万个隐层神经元，那么他们全连接的话（每个隐层神经元都连接图像的每一个百万个隐层神经元，那么他们全连接的话（每个隐层神经元都连接图像的每一个(y)像素点），就有像素点），就有 个连接，也就是个连接，也就是 1012个权值参数。个权值参数。局部连接网络，每一个节点与上层节点同位置附近(fjn)10 x10
16、的窗口相连接，则1百万个隐层神经元就只有，即108个参数。其权值连接个数比原来减少了四个数量级。第21页/共36页第二十二页，共36页。卷积神经网络避免了显式的特征取样，隐式地从训练数据中进行学习。这使得卷积神经网络卷积神经网络避免了显式的特征取样，隐式地从训练数据中进行学习。这使得卷积神经网络明显有别于其他基于神经网络的分类器，通过结构重组明显有别于其他基于神经网络的分类器，通过结构重组(zhn(zhn z z)和减少权值将特征提取功能和减少权值将特征提取功能融合进多层感知器。它可以直接处理灰度图片，能够直接用于处理基于图像的分类。融合进多层感知器。它可以直接处理灰度图片，能够直接用于处理基
17、于图像的分类。卷积神经网络较一般神经网络在图像处理方面有如下优点：卷积神经网络较一般神经网络在图像处理方面有如下优点：a a）输入图像和网络的拓扑结构能很好的吻合；）输入图像和网络的拓扑结构能很好的吻合；b b）特征提取和模式分类同时进行，并同时在训练中产生；）特征提取和模式分类同时进行，并同时在训练中产生；c c）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。第22页/共36页第二十三页，共36页。经典例子经典例子经典例子经典例子(l zi)(l zi)：文字识别系统：文字识别系统：文字识别系统：
18、文字识别系统LeNet-5LeNet-51.输入图像是32x32的大小,卷积核的大小是5x5的，则C1层的大小是28x28。这里设定有6个不同的C1层，每一个C1层内的权值是相同的。2.S2层是一个下采样层，由4个点下采样为1个点，也就是4个数的加权平均，加权系数也需要通过学习(xux)得到。这个过程也叫做Pool。3.我们很容易(rngy)得到C3层的大小为10 x10，不过，C3层有16个10 x10网络!我们只需要按照一定的规则来组合S2的特征图。具体的组合规则在LeNet-5系统中给出了下面的表格：第23页/共36页第二十四页，共36页。4.S4层是在C3层基础上进行下采样，前面已述。
19、在后面的层中每一层节点个数比较少，都是全连接层，这里不再赘述。小结：经过计算，LeNet-5系统总共需要大约 13万个参数，这与前面提到的全连接系统每个隐藏层就需要百万个参数有着天壤之别，极大地减少了计算量。在以上的识别系统中，每个特征图提取后都紧跟着一个用来求局部平均与二次提取的亚取样层。这种特有的两次特征提取结构(jigu)使得网络对输入样本有较高的畸变容忍能力。也就是说，卷积神经网络通过局部感受野、共享权值和亚取样来保证图像对位移、缩放、扭曲的鲁棒性。第24页/共36页第二十五页，共36页。Convolutional Neural Networks for P300 Detection
20、with Application toBrain-Computer Interfaces第25页/共36页第二十六页，共36页。P300检测检测(jin c)n nP300P300检测：检测检测：检测P300P300的响应。的响应。n n二分类：信号呈一个二分类：信号呈一个P300P300波形，则认为检测到；否则，检测不到。波形，则认为检测到；否则，检测不到。n n挑战性：挑战性：n n尽管我们可以从实验中的范例得知尽管我们可以从实验中的范例得知P300P300的预期响应在什么时候，的预期响应在什么时候，但是但是P300P300的响应取决于被试者。的响应取决于被试者。n n实际上，即使一个实际
21、上，即使一个P300P300响应可以被预测为在一个特定的时间点，响应可以被预测为在一个特定的时间点，但是被试者很可能不会在像人工产品一样但是被试者很可能不会在像人工产品一样(yyng)(yyng)在正确的时刻产在正确的时刻产生生P300P300响应。响应。第26页/共36页第二十七页，共36页。输入输入(shr)正则化正则化n n原始信号：由电极采集的原始信号：由电极采集的EEGEEG信号信号n n输入输入(shr)(shr)数据正则化：数据正则化：n n 1.1.从从EEGEEG信号样本中提取子样本，从而降低数据的大小以便信号样本中提取子样本，从而降低数据的大小以便分析。等同于把信号用分析。
22、等同于把信号用120HZ120HZ的抽样率采样。的抽样率采样。n n 2.2.用用0.10.1到到20HZ20HZ的带通滤波器处理输入的带通滤波器处理输入(shr)(shr)数据数据n nCNNCNN的输入的输入(shr)(shr)：n n 一个一个 矩阵。其中矩阵。其中 是我们采集是我们采集EEGEEG信号时信号时所有的电极的数量。所有的电极的数量。是每个电极采集到的是每个电极采集到的EEGEEG信号正则化信号正则化以后长度。我们令以后长度。我们令 。n n 每个样本代表一部分经过每个样本代表一部分经过650ms650ms频闪灯后采集的信号。频闪灯后采集的信号。第27页/共36页第二十八页，
23、共36页。神经神经(shnjng)网络拓网络拓扑结构扑结构n n网络拓扑结构是分类器的关键特征。网络拓扑结构是分类器的关键特征。n n网络由五层组成，每一层由一个或多个特征图组成。一个特征图代表一层网络由五层组成，每一层由一个或多个特征图组成。一个特征图代表一层的本质，含有一个特殊的语义：的本质，含有一个特殊的语义：n n 1.1.第一层隐层的每个特征图代表一个电极通道的特征。第一层隐层的每个特征图代表一个电极通道的特征。n n 2.2.第二层隐层时间域上对信号进行第二层隐层时间域上对信号进行(jnxng)(jnxng)下采样和变换。下采样和变换。第28页/共36页第二十九页，共36页。神经神
24、经(shnjng)网络拓扑结构网络拓扑结构第29页/共36页第三十页，共36页。CNN的学习的学习(xux)规律规律2023/2/7在卷积神经网络的学习过程当中，主要运用前向传播和反向传播两种学习法则来优化权值，学习到一个最优的滤波器来提取(tq)特征。（1）前向传播(chunb)如果用l来表示当前的网络层，那么当前网络层的输出为：其中，为网络的输出激活函数。输出激活函数一般选用sigmoid函数或者选用双曲线正切函数。（2）反向传播算法 我们假设训练集有N个训练样本，一共分成 2类。对于每一个训练样本，我们会给予一个标签，通过调整网络输出与给定标签之间的误差来训练与改变权值。在代价函数方面，
25、我们选择采用平方误差代价函数。因此N个训练样本的代价函数如下：第30页/共36页第三十一页，共36页。2023/2/7 对于(duy)N个训练样本中的第n个训练样本，它的代价函数表示为：接下来需要根据每个样本的输出误差来反向调节每一层当中的权值系数(xsh)，即计算代价函数对应于卷积神经网络中的每个权值的偏导数：可以(ky)看到误差对于bias基b的灵敏度和误差对于一个节点的输入u的导数是相等的。对于非输出层，第l层灵敏度可以(ky)表示为：而对于输出层L的灵敏度为：第31页/共36页第三十二页，共36页。2023/2/7 对于(duy)第l层，误差对于(duy)每个权值的偏导数如下：当前层神
26、经元的权值更新值如下：(3)卷积层 当接在卷积层的下一层为池化层时，由于池化层是有下采样的，池化层和卷积层的神经元无法一一对应。因此我们对池化层当中每一个神经元的灵敏度组成的一个灵敏度图进行上采样。这样一来，得到的灵敏度图的大小便和卷积层的特征图的大小相同了。公式如下：第32页/共36页第三十三页，共36页。2023/2/7（4）池化层 对于池化层来说，输入和输出的特征图数量是相等的，而不同(b tn)的是每个特征图的大小。池化层对每个特征图进行下采样，所以输出的特征图比起输入的特征图要变小了：按照卷积神经网络的反向传播算法的思路，我们应该先计算到池化层每个神经元的灵敏度，然后再通过这个灵敏度更新偏置b和偏置参数。其中偏置basi基b因为只是一个加性基，所以跟上述卷积层当中的计算一样。把灵敏度图当中的所有元素相加便可以得到：偏置 是一个乘性基，所以会与前向传播当中的池化过程的特征图的计算相关。为了简便计算，我们会在前向传播时保存好相对应的特征图，那么在反向传播过程中就不需要再另外计算了。因此，我们定义：第33页/共36页第三十四页，共36页。神经神经(shnjng)网络拓扑结构网络拓扑结构第34页/共36页第三十五页，共36页。Thank You！第35页/共36页第三十六页，共36页。