《机器学习跟深度学习ppt课件.ppt》由会员分享，可在线阅读，更多相关《机器学习跟深度学习ppt课件.ppt（84页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用机器学习与深度学习2经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用目录p机器学习的基础p神经元网络p深层神经元网络p延伸和应用p深层学习实现架构p未来和思考3经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用小学生解方程 a3+b=10a8+b=30a=?b=?4经营者提供商品或者服务有欺诈行为的，应当按
2、照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用高中，大学 -矩阵，矢量5经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用线性回归及分类 机器学习背景Y是一个N维向量XT是一转置矩阵N*(p+1)是一个p+1的向量线性回归:，给定X,和Y,计算以最佳匹配X,Y的关系。Np+1。即为线性回归模型的参数。k表明对应的维度，Xk的重要性什么为最佳匹配？6经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费
3、用参数估计方法一：最小化误差平方和 机器学习背景7经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用 正则化 L2(Ridge)Regularization限制参数的大小，以避免过拟合8经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用 正则化 L1 Regularization(Lasso)限制参数的大小，以避免过拟合Noclosedformfor9经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿
4、的金额为消费者购买商品的价款或接受服务的费用逻辑回归 jG10经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用逻辑回归 -参数训练jG训练目标函数：最大似然对数概率牛顿迭代：11经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用目录p机器学习的基础p神经元网络p深层神经元网络p延伸和应用p深层学习实现架构p未来和思考12经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或
5、接受服务的费用神经元网络 p单层前向网络p两阶段回归或分类pK-Class分类p最底层为数据层p最上层为输出层p中间层为隐含层p这种简单的NN称为Perceptron13经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经元网络 -输入层到隐含层p中间层为输入层线性组合的某函数p其中为激活函数:sigmoid14经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经元网络-激活函数p为激活（Activation)函数(红线）p0线性函
6、数15经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经元网络 ，隐含层到输出层 p输出层为中间层的线性组合p回归问题pK-Class分类问题，softmax函数16经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用训练神经元网络：参数集合及维度p神经元网络参数集合17经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用训练神经元网络 优化参数求导 p最小
7、化目标函数：最小误差平方和及求导18经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用训练神经元网络-Back Propagationp梯度下降迭代算法输出层误差：ki隐含层误差：smi19经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用BP 算法 p初始化参数p两阶段算法：Two-Passp前向Forward-Pass：给定参数，计算输出值p后向Backward-Pass:计算输出层误差，计算隐含层误差，更新参数经营者提供商品或者服
8、务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用BP算法图示（1985）inputvectorhiddenlayersoutputsBack-propagateerrorsignaltogetderivativesforlearningCompareoutputswithcorrectanswertogeterrorsignal21经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经元网络小结22经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求
9、增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用目录p机器学习的基础p神经元网络p深层神经元网络p延伸和应用p深层学习实现架构p未来和思考经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用24经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用BP算法在深层神经元网络中的问题依赖于标注的训练数据目前大量数据为非标注数据训练时间长，很难规模化多层神经元网络训练很慢会停驻在性能较差的本地优化点浅层网络，该问题不明显深
10、层网络，问题显著25经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用支持向量基（SVM)一个特殊的神经元网络StillPerceptron一个特殊的单隐含层网络每个训练案例用于构造一个特征，该特征用于测量改训练案例和测试案例的距离SVM训练选择自由特征集以及特征的权重1990-2010很多让放弃NN,选择SVMnon-adaptivehand-codedfeaturesoutputunitse.g.classlabelsinputunitse.g.pixelsSketchofatypicalperceptronf
11、romthe1960sBombToy经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深层信任网络（DeepBeliefNet，DBN)是部分解决了以上问题的神经元网络27经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用28经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用谁重新激活了神经元网络？Geoffrey Hinton 出生于：1947专业：学士，
12、心理学，1970，博士，人工智能，1978多伦多大学教授Google研究中心1986：神经元网络BP算法发明人之一深度学习主要贡献人I GET VERY EXCITED WHEN WE DISCOVER A WAY OF MAKING NEURAL NETWORKS BETTER AND WHEN THATS CLOSELY RELATED TO HOW THE BRAIN WORKS.29经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用谁重新激活了神经元网络？NCAP:神经计算和自适应感知项目2004NCAPR
13、esearchersYoshuaBengioYannLecun(FaceBook)AndrewNg(Baidu)20OthersCoreTeam30经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习的2006年，GeofferyHintonScience发表DBN文章。2012年，Hinton,ImageNet,26%-15%。2012年，AndrewNg和分布式系统顶级专家JeffDean，GoogleBrain项目，16000个CPU核的并行,10亿个神经元的深度神经网络2012年，微软首席研究官Ric
14、kRashid在21世纪的计算大会上演示了一套自动同声传译系统2013年，Hinton-Google;YannLeCun-Facebook;用户图片信息提取2013年，百度成立了百度研究院及下属的深度学习研究所（IDL），2014年，AndrewNg-Badidu31经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用32经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用可信任网络 Belief Nets（BN）一个BN是一个由随机变量组
15、成的有向非循环图一部分变量为可观察已知变量如何由已知变量推断出非观察变量的状态调整变量之间连接的参数优化：最大可能重新生成观察变量stochastichiddencausevisibleeffectWewillusenetscomposedoflayersofstochasticbinaryvariableswithweightedconnections.Later,wewillgeneralizetoothertypesofvariable.可信任，信任什么？经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用随机
16、的二元单元(Bernoullivariables)隐含层的神经元的状态为0或1该神经元激活的概率为输入层加权和的sigmoid函数00134经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用Restricted Boltzmann Machines（RBM)限制神经元之间的链接以简化参数学习.只包含一个隐含层.多隐含层后期引入隐含层单元之间无链接.给定输入可观察矢量，隐含层单元之间独立隐含层和输入层之间为无向链接hiddenijvisible35经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到
17、的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用RBM 训练训练ijijijijt=0t=1t=2t=infinity从可观察训练矢量开始，交替更新隐含层和可观察矢量层单元afantasy36经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用小结一个基础的DBN网络p决定DBN的隐含层数以及隐含层的神经元数p每两层之间依据RBM单独依次训练参数p训练完的两层网络简单叠加起来成为深层网络p利用BP算法对叠加后的网络连接参数进一步优化pRBMPseudo代码pFort=0ton:pVt-Ht基于sigmoi
18、d函数和Gibbs采样pHt-Vt+1基于sigmoid函数和Gibbs采样pVt+1-Ht+1基于sigmoid函数和Gibbs采样p更新参数W:pRBMCode37经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用目录p机器学习的基础p神经元网络p深层神经元网络p延伸和应用p深层学习实现架构p未来和思考38经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用 深度学习目前常用的架构深度神经元全连网络DNN(DeepNeuralNets
19、),Tensor-DNN卷积神经元网络CNN(ConvolutionalNeuralNets)深度叠拼神经元网络DSN(DeepStackingNets);Kernel-DSN,Tensor-DSN循环神经元网络RNNs(RecurrentandrecursiveNeuralNets)39经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用DNN在语音识别中的应用40经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用DNN在语音识别中的应
20、用41经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用语音识别中的BottleNeck 特征42经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用图像识别中的神经元网络应用卷积神经元网络ConvolutionNeuralNetwork(CNN)输入层可以使多元的，也可以是一元的43经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用图像识别中的神经元网络应用
21、：卷积层p输入：维度的矩阵Xp输出：维度的矩阵p连接输入和输出的参数：维度的矩阵W44经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用图像识别中的神经元网络应用：Pooling 层p输入：region，矩阵p输出：Asinglevalue，p连接输入输出层参数：无p最大值poolingp均值pooling45经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用图像识别中的神经元网络应用：全连层p同DNN46经营者提供商品或者服务有欺诈行
22、为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用卷积神经元网络的架构47经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用ImageNet 2012年 竞赛48经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用ImageNet 2013年 竞赛目前图像中物体识别性能49经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接
23、受服务的费用语音识别中CNN的使用（2013，Sainath IEEE)50经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用循环神经元网络 RNN51经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用RNN 同 DNN 的比较52经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用Back Propagation Through Time(BPTT)p三类参
24、数p训练方式可等同于前向网络在时域的组合53经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用双向RNN 实现训练算法：uRBM初始化每个时间点t的网络uBPTT,BP算法的扩展优化参数训练54经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经元网络在自然语言处理中的应用语言模型信息分类信息聚类信息提取搜索翻译词向量语义表示55经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商
25、品的价款或接受服务的费用一批关键的文章YoshuaBengio,RejeanDucharme,PascalVincent,andChristianJauvin.A neural probabilistic language model.JournalofMachineLearningResearch(JMLR),3:11371155,2003.PDFRonanCollobert,JasonWeston,LonBottou,MichaelKarlen,KorayKavukcuogluandPavelKuksa.Natural Language Processing(Almost)from Scr
26、atch.JournalofMachineLearningResearch(JMLR),12:2493-2537,2011.PDFAndriyMnih&GeoffreyHinton.Three new graphical models for statistical language modelling.InternationalConferenceonMachineLearning(ICML).2007.PDFAndriyMnih&GeoffreyHinton.A scalable hierarchical distributed language model.TheConferenceon
27、NeuralInformationProcessingSystems(NIPS)(pp.10811088).2008.PDFMikolovTom.Statistical Language Models based on Neural Networks.PhDthesis,BrnoUniversityofTechnology.2012.PDFTurianJoseph,LevRatinov,andYoshuaBengio.Word representations:a simple and general method for semi-supervised learning.Proceedings
28、ofthe48thAnnualMeetingoftheAssociationforComputationalLinguistics(ACL).2010.PDFEricHuang,RichardSocher,ChristopherManningandAndrewNg.Improving word representations via global context and multiple word prototypes.Proceedingsofthe50thAnnualMeetingoftheAssociationforComputationalLinguistics:LongPapers-
29、Volume1.2012.PDFMikolov,Tomas,Wen-tauYih,andGeoffreyZweig.Linguistic regularities in continuous space word representations.ProceedingsofNAACL-HLT.2013.PDF56经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用DNN 语言模型57经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用RNN
30、语言模型u没有必要定义上下文长度u没有投影层（NoWordEmbedding)u前一层的隐含链接下一个词的隐含层58经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用其他的深度学习架构：Deep Stacking Network(DSN)特点u线性和非线性层交替u训练更容易并行u优化目标凸函数（convex)59经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用目录p机器学习的基础p神经元网络p深层神经元网络p延伸和应用p深层学习实现架
31、构p未来和思考60经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习实现的物理架构挑战：u训练数据规模庞大u计算开销大u训练过程收敛难u训练用时久解决方案：uGPU计算资源并行uCPU集群几万神经元，几千万参数61经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用工业界深度学习平台架构百度百度FacebookGoogle腾讯腾讯平台名称PaddleN/ADisbliefCotsMariana应用模型&数据CPU/GPUGPUGP
32、UCPUGPUGPU&CPU硬件规模1.6W3台GPU服务器参数规模DownpourSGD和L-BFGS10亿主要应用人脸识别和提取语音识别图形语音识别，图像粗粒62经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习开源软件KaldiCuda-CovnetCaffeTheanoTorch7OverFeat领域语音识别图像分类Matlab免费版图像识别及特征提取GPU/CPUGPUGPUGPUGPU/CPUGPU算法SGDSGD设计者UniJohnHopkinsUivofToronto纽约大学功能GPUGPU
33、CPUGPU&CPUGPU实现语言C+CudaC+CudaPython63经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用腾讯深度学习平台 MarianaDNN的GPU数据并行框架CNN的GPU数据并行和模型并行框架DNNCPU集群框架GPU服务器为主4-6NvidiaTeslaGPUCards(系列高端科学计算用)2000流处理器/GPUcard并行计算64经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用深度学习并行策略模型并行将
34、训练数据划分为多份，每份数据有一个模型实例进行训练，再将多个模型实例产生的梯度合并后更新模型数据并行模型并行指将模型划分为多个分片，每个分片在一台服务器，全部分片协同对一份训练数据进行训练流式控制65经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用DNN GPU 的并行架构 DNN的数据并行框架通过同步随机梯度下降进行训练。每个GPU卡各自训练，并各自产生一份梯度值，然后进行参数交换。自适应学习率算法，使得支持自适应学习率所需交换的数据量降低了一个数量级。参数交换的成本66经营者提供商品或者服务有欺诈行为的，应当
35、按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用CNN-GPU并行架构 -腾讯u模型拆分u数据拆分u流式控制GPU卡分组组内两个GPU卡做模型并行，组间做数据并行67经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用CNN-GPU并行架构 -腾讯u模型拆分u数据拆分u流式控制GPU卡分组组内两个GPU卡做模型并行，组间做数据并行68经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用DNN CPU
36、并行架构69经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用目录p机器学习的基础p神经元网络p深层神经元网络p延伸和应用p深层学习实现架构p未来和思考70经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用IBM Synapse 自适应塑料可伸缩电子神经形态系统自适应塑料可伸缩电子神经形态系统SyNAPSEisaDARPA-fundedprogramtodevelopelectronicneuromorphicmachinetechno
37、logythatscalestobiologicallevels.Moresimplystated,itisanattempttobuildanewkindofcomputerwithsimilarformandfunctiontothemammalianbrain.Suchartificialbrainswouldbeusedtobuildrobotswhoseintelligencematchesthatofmiceandcats.SyNAPSEisabackronymstandingforSystemsofNeuromorphicAdaptivePlasticScalableElectr
38、onics.Itstartedin2008andasofJanuary2013hasreceived$102.6millioninfunding.Itisscheduledtorununtilaround2016.TheprojectisprimarilycontractedtoIBMandHRLwhointurnsubcontractpartsoftheresearchtovariousUSuniversities.71经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用IBM Synapse 自适应塑料可伸缩电子
39、神经形态系统自适应塑料可伸缩电子神经形态系统2007Apr-ToddHyltonjoinsDARPAtofoundtheproject2008Apr-DARPApublishesasolicitationforapplicationsMay-DuedateforinitialproposalsOct-WinningcontractorsannouncedNov-Phase0start2009Sep-Phase1startNov-Announcementofcat-scalebrainsimulation20102011Aug-Announcementofneuromorphicchipimpl
40、ementationSep-Phase2startDec-Announcementoffirstmemristorchip2012Feb-ToddHyltonleavesDARPA,GillPratttakesoverasprogrammanagerMay-NeuromorphicarchitecturedesignpublishedNov-TrueNorth/Compasssimulationof530billionneuronsannounced2013Feb-Expectedannouncementofmulti-coreneurosynapticchips(1millionneuron
41、sperchip)Mar-Phase3tobegin(estimateddate)2014Oct-Phase4tobegin(estimateddate)20152016Programend72经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用猫脑机 2009 IBMDawn-theBlueGene/Psupercomputer150KCPU,144TMemory模拟猫脑Corticalsimulationswith109neurons,1013synapses，16亿神经元，8.9万亿链接Criticism of
42、 the cat brain simulation claim73经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用 Brain WallSyNAPSE（SystemsofNeuromorphicAdaptivePlasticScalableElectronics)TheBrainWall:ANeuralNetworkVisualizationToolbyIBMSyNAPSEResearchers74经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或
43、接受服务的费用 数字神经元芯片,CMOS,Memristor75经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用 Synapse 的合作者 DARPA-programmanagedbyGillPrattIBMResearch-CognitiveComputinggroupledbyDharmendraModhaColumbiaUniversityMedicalCenter-Theoreticalneuroscienceresearch,developmentofneuralnetworkmodels,ledbyS
44、tefanoFusiCornellUniversity-AsynchronousVLSIcircuitdesign,theneurosynapticcore,ledbyRajitManoharUniversityofCalifornia,Merced-environmentresearch,ledbyChristopherKelloUniversityofWisconsin-Madison-Simulation,theoryofconsciousness,computermodels,ledbyGiulioTononiHRLLaboratories-Memristor-basedprocess
45、ordevelopmentledbyNarayanSrinivasaBostonUniversity:StephenGrossberg,GailCarpenter,YongqiangCao,PraveenPillyGeorgeMasonUniversity:GiorgioAscoli,AlexeiSamsonovichPortlandStateUniversity:ChristofTeuscherSetCorporation:ChrisLongStanfordUniversity:MarkSchnitzerTheNeurosciencesInstitute:GeraldEdelman,Eina
46、rGall,JasonFleischerUniversityofCalifornia-Irvine:JeffKrichmarUniversityofMichigan:WeiLu76经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用Synapse 投入经费 102 Million DollarsIBM&collaboratorsHRL&collaboratorsTotal(IBM+HRL)November2008(phase0)$4,879,333$5.9million$10.8millionAugust2009(p
47、hase1)$16.1million$10.7million$26.8millionAugust2011(phase2)$21million$17.9million$38.9millionTotal$42million$34.5million$76.5million77经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用Why DBN为什么我们应该探索深度学习？78经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用Why DBN在多个领域
48、中取得更好的准确率79经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用Why DBN跟其他机器学习的训练方法比需要人工投入少?80经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用Why DBN天然特征的层次结构81经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用Why DBN符合仿生学结构82经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用Why DBN并行计算能力支撑83经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用Why DBN大数据支撑经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用你还不累，我累了！