机器学习与深度学习ppt课件.ppt

《机器学习与深度学习ppt课件.ppt》由会员分享，可在线阅读，更多相关《机器学习与深度学习ppt课件.ppt（84页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。机器学习与深度学习2“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。目录p 机器学习的基础p 神经元网络p 深层神经元网络p 延伸和应用p 深层学习实现架构p 未来和思考3“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“

2、群众性治安防控工程”。小学生解方程 a 3 + b = 10 a 8 + b = 30 a = ? b = ?4“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。高中， 大学 - 矩阵，矢量5“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。线性回归及分类 机器学习背景 Y 是一个N 维向量 XT 是一转置矩阵 N * (p+1) 是 一个 p+1 的向量线性回归:

3、， 给定 X, 和 Y, 计算 以最佳匹配X, Y 的关系。 N p+1 。 即为线性回归模型的 参数。 k 表明对应的维度， Xk 的重要性什么为最佳匹配？ 6“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。参数估计方法一： 最小化误差平方和 机器学习背景0)(RSS7“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。 正则化 L2 (Ridge) Regula

4、rization限制参数的大小 ， 以避免过拟合8“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。 正则化 L1 Regularization (Lasso)限制参数的大小 ， 以避免过拟合pjj.1|No closed form for 9“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。逻辑回归 )|0(0 xXGPP011)| 1(PxXGPPxPPT01l

5、ogxxTTeeP11xTeP110jG1x2xnx110“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。逻辑回归 - 参数训练jG1x2xnx1训练目标函数：最大似然对数概率01101log)log)1 (log)(PxgPgPgiNiiNiii牛顿迭代：11“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。目录p 机器学习的基础p 神经元网络p 深层神经元网络

6、p 延伸和应用p 深层学习实现架构p 未来和思考12“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。神经元网络 p 单层前向网络p 两阶段回归或分类p K-Class 分类p 最底层为数据层p 最上层为输出层p 中间层为隐含层p 这种简单的 NN称为Perceptron13“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。神经元网络 - 输入层到隐含层p 中间层为

7、输入层线性组合的某函数vev11)(p 其中为激活函数: sigmoid14“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。神经元网络 - 激活函数p 为激活（Activation)函数 (红线）p 0 线性函数15“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。神经元网络 ， 隐含层到输出层 p 输出层为中间层的线性组合p 回归问题kkTTg)(p K-Cla

8、ss 分类问题， softmax函数 KlTTklkeeTg.1)(16“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。训练神经元网络 ： 参数集合及维度p 神经元网络参数集合 17“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。训练神经元网络 优化参数求导 p 最小化目标函数：最小误差平方和及求导 18“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为

9、指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。训练神经元网络 - Back Propagationp 梯度下降迭代算法输出层误差： ki隐含层误差： smi19“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。BP 算法 p 初始化参数 p 两阶段算法： Two-Passp 前向 Forward-Pass： 给定参数，计算输出值p 后向 Backward-Pass: 计算输出层误差， 计算隐含层误差，更新参数 “雪亮工

10、程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。BP算法图示（1985）input vectorhidden layersoutputsBack-propagate error signal to get derivatives for learningCompare outputs with correct answer to get error signal21“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频

11、监控联网应用为重点的“群众性治安防控工程”。神经元网络小结22“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。目录p 机器学习的基础p 神经元网络p 深层神经元网络p 延伸和应用p 深层学习实现架构p 未来和思考“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。24“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理

12、为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。BP算法在深层神经元网络中的问题 依赖于标注的训练数据 目前大量数据为非标注数据 训练时间长， 很难规模化 多层神经元网络训练很慢 会停驻在性能较差的本地优化点 浅层网络，该问题不明显 深层网络，问题显著25“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。支持向量基 （SVM) 一个特殊的神经元网络 Still Perceptron 一个特殊的单隐含层网络 每个训练案例用于构造一个特征，该特征用于测量改训练案例和

13、测试案例的距离 SVM训练选择自由特征集以及特征的权重 1990-2010 很多让放弃NN, 选择 SVMnon-adaptivehand-codedfeaturesoutput units e.g. class labelsinput units e.g. pixelsSketch of a typical perceptron from the 1960sBombToy“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。深层信任网络（Deep Belief Net，DBN) 是

14、部分解决了以上问题的神经元网络27“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。28“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。谁重新激活了神经元网络？ Geoffrey Hinton 出生于： 1947 专业： 学士，心理学，1970，博士，人工智能，1978 多伦多大学教授 Google 研究中心 1986： 神经元网络BP算法发明人之一 深度学习主要

15、贡献人I GET VERY EXCITED WHEN WE DISCOVER A WAY OF MAKING NEURAL NETWORKS BETTER AND WHEN THATS CLOSELY RELATED TO HOW THE BRAIN WORKS.29“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。谁重新激活了神经元网络？ NCAP: 神经计算和自适应感知项目 2004 NCAP ResearchersYoshua BengioYann Lecun (FaceB

16、ook)Andrew Ng (Baidu)20 OthersCore Team 30“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。深度学习的 2006年，Geoffery Hinton Science发表DBN文章。 2012年，Hinton, ImageNet, 26%-15%。 2012年，Andrew Ng和分布式系统顶级专家Jeff Dean，Google Brain项目，16000个CPU核的并行, 10亿个神经元的深度神经网络 2012年，微软首席研究官Rick

17、Rashid在21世纪的计算大会上演示了一套自动同声传译系统 2013年，Hinton-Google; Yann LeCun -Facebook; 用户图片信息提取2013年，百度成立了百度研究院及下属的深度学习研究所（IDL）， 2014年，Andrew Ng -Badidu31“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。32“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众

18、性治安防控工程”。可信任网络 Belief Nets （BN） 一个BN 是一个由随机变量组成的有向非循环图一部分变量为可观察已知变量如何由已知变量推断出非观察变量的状态调整变量之间连接的参数优化：最大可能重新生成观察变量stochastichidden causevisible effectWe will use nets composed of layers of stochastic binary variables with weighted connections. Later, we will generalize to other types of variable.可信任， 信

19、任什么？“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。随机的二元单元(Bernoulli variables) 隐含层的神经元的状态为0或1 该神经元激活的概率为输入层加权和的 sigmoid 函数001jjijiiwsbsp)exp(1)(11jjijiwsb)(1isp34“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。Restricted Boltzma

20、nn Machines （RBM) 限制神经元之间的链接以简化参数学习. 只包含一个隐含层. 多隐含层后期引入 隐含层单元之间无链接. 给定输入可观察矢量， 隐含层单元之间独立 隐含层和输入层之间为无向链接hiddenijvisible35“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。RBM 训练训练0jihvjihvijijijijt = 0 t = 1 t = 2 t = infinityjijiijijhvhvwvp0)(log从可观察训练矢量开始，交替更新隐含层和可观

21、察矢量层单元 a fantasy36“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。小结一个基础的DBN网络p 决定DBN的隐含层数以及隐含层的神经元数p 每两层之间依据RBM单独依次训练参数p 训练完的两层网络简单叠加起来成为深层网络p 利用BP算法对叠加后的网络连接参数进一步优化p RBM Pseudo 代码p For t=0 to n: p Vt - Ht 基于sigmoid函数 和Gibbs 采样p Ht - Vt+1 基于sigmoid函数 和Gibbs 采样p Vt

22、+1 - Ht+1 基于sigmoid函数 和Gibbs 采样p 更新参数W:pRBM Code 37“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。目录p 机器学习的基础p 神经元网络p 深层神经元网络p 延伸和应用p 深层学习实现架构p 未来和思考38“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。 深度学习目前常用的架构 深度神经元全连网络 DNN (De

23、ep Neural Nets), Tensor-DNN 卷积神经元网络 CNN (Convolutional Neural Nets) 深度叠拼神经元网络 DSN (Deep Stacking Nets); Kernel-DSN, Tensor-DSN 循环神经元网络 RNNs (Recurrent and recursive Neural Nets) 39“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。DNN在语音识别中的应用40“雪亮工程是以区（县）、乡（镇）、村（社区）三

24、级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。DNN在语音识别中的应用41“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。语音识别中的BottleNeck 特征42“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。图像识别中的神经元网络应用 卷积神经元网络 Convolution Neura

25、l Network (CNN)输入层可以使多元的， 也可以是一元的43“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。图像识别中的神经元网络应用 ：卷积层p 输入： 维度的矩阵 X p 输出： 维度的矩阵 p 连接输入和输出的参数： 维度的矩阵 WNN ) 1() 1(MNMNMM )(1010bjaiMaMbabcijxwxcX44“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群

26、众性治安防控工程”。图像识别中的神经元网络应用 ：Pooling 层p 输入： region， 矩阵p 输出： A single value ， p 连接输入输出层参数：无p 最大值 poolingp 均值poolingkk) 1() 1(MNMN)1()1(kMNkMN45“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。图像识别中的神经元网络应用 ：全连层p 同DNN46“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础

27、、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。卷积神经元网络的架构47“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。ImageNet 2012年 竞赛48“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。ImageNet 2013年 竞赛目前图像中物体识别性能49“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑

28、、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。语音识别中CNN的使用 （2013，Sainath IEEE)50“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。循环神经元网络 RNN51“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。RNN 同 DNN 的比较52“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台

29、、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。Back Propagation Through Time (BPTT)p 三类参数p 训练方式可等同于前向网络在时域的组合53“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。双向RNN 实现训练算法： u RBM 初始化每个时间点t的 网络u BPTT , BP算法的扩展优化参数训练54“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网

30、格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。神经元网络在自然语言处理中的应用 语言模型 信息分类 信息聚类 信息提取 搜索 翻译 词向量语义表示55“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。一批关键的文章Yoshua Bengio, Rejean Ducharme, Pascal Vincent, and Christian Jauvin. A neural probabilistic language model. Journal of M

31、achine Learning Research (JMLR), 3:11371155, 2003. PDFRonan Collobert, Jason Weston, Lon Bottou, Michael Karlen, Koray Kavukcuoglu and Pavel Kuksa.Natural Language Processing (Almost) from Scratch. Journal of Machine Learning Research (JMLR), 12:2493-2537, 2011. PDFAndriy Mnih & Geoffrey Hinton. Thr

32、ee new graphical models for statistical language modelling. International Conference on Machine Learning (ICML). 2007. PDFAndriy Mnih & Geoffrey Hinton. A scalable hierarchical distributed language model. The Conference on Neural Information Processing Systems (NIPS) (pp. 10811088). 2008. PDFMikolov

33、 Tom. Statistical Language Models based on Neural Networks. PhD thesis, Brno University of Technology. 2012. PDFTurian Joseph, Lev Ratinov, and Yoshua Bengio. Word representations: a simple and general method for semi-supervised learning. Proceedings of the 48th Annual Meeting of the Association for

34、 Computational Linguistics (ACL). 2010. PDFEric Huang, Richard Socher, Christopher Manning and Andrew Ng. Improving word representations via global context and multiple word prototypes. Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics: Long Papers-Volume 1. 201

35、2. PDFMikolov, Tomas, Wen-tau Yih, and Geoffrey Zweig. Linguistic regularities in continuous space word representations. Proceedings of NAACL-HLT. 2013. PDF56“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。DNN 语言模型57“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管

36、理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。RNN 语言模型u没有必要定义上下文长度u没有投影层（No Word Embedding)u前一层的隐含链接下一个词的隐含层58“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。其他的深度学习架构： Deep Stacking Network (DSN)特点 u 线性和非线性层交替u 训练更容易并行u优化目标凸函数（convex)59“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化

37、为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。目录p 机器学习的基础p 神经元网络p 深层神经元网络p 延伸和应用p 深层学习实现架构p 未来和思考60“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。深度学习实现的物理架构挑战：u训练数据规模庞大u 计算开销大u训练过程收敛难u训练用时久解决方案：uGPU 计算资源并行uCPU 集群几万神经元， 几千万参数61“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化

38、为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。工业界深度学习平台架构百度百度FacebookGoogle腾讯腾讯平台名称PaddleN/ADisbliefCotsMariana应用模型&数据CPU/GPU GPUGPUCPUGPUGPU & CPU硬件规模1.6W3台GPU服务器参数规模Downpour SGD和L-BFGS10亿主要应用人脸识别和提取语音识别图形语音识别， 图像粗粒62“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。深度

39、学习开源软件KaldiCuda-CovnetCaffeTheanoTorch7OverFeat领域语音识别图像分类Matlab 免费版图像识别及特征提取GPU/CPUGPUGPUGPUGPU/CPUGPU算法SGDSGD设计者Uni John HopkinsUiv of Toronto纽约大学功能 GPUGPUCPUGPU & CPUGPU实现语言C+CudaC+ CudaPython63“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。腾讯深度学习平台 Mariana DNN的

40、GPU数据并行框架 CNN的GPU数据并行和模型并行框架 DNN CPU集群框架GPU服务器为主4-6 Nvidia Tesla GPU Cards (系列高端科学计算用)2000流处理器 / GPU card并行计算64“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。深度学习并行策略 模型并行 将训练数据划分为多份，每份数据有一个模型实例进行训练，再将多个模型实例产生的梯度合并后更新模型 数据并行 模型并行指将模型划分为多个分片，每个分片在一台服务器，全部分片协同对一份训练数

41、据进行训练 流式控制65“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。DNN GPU 的并行架构 DNN的数据并行框架通过同步随机梯度下降进行训练。 每个GPU卡各自训练，并各自产生一份梯度值，然后进行参数交换。 自适应学习率算法，使得支持自适应学习率所需交换的数据量降低了一个数量级。 参数交换的成本66“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。CNN-

42、GPU并行架构 - 腾讯u模型拆分u数据拆分u流式控制 GPU卡分组 组内两个GPU卡做模型并行， 组间做数据并行67“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。CNN-GPU并行架构 - 腾讯u模型拆分u数据拆分u流式控制 GPU卡分组 组内两个GPU卡做模型并行， 组间做数据并行68“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。DNN CPU并行架构6

43、9“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。目录p 机器学习的基础p 神经元网络p 深层神经元网络p 延伸和应用p 深层学习实现架构p 未来和思考70“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。IBM Synapse 自适应塑料可伸缩电子神经形态系统自适应塑料可伸缩电子神经形态系统SyNAPSE is a DARPA-funded program to

44、 develop electronic neuromorphic machine technology that scales to biological levels. More simply stated, it is an attempt to build a new kind of computer with similar form and function to the mammalian brain. Such artificial brains would be used to build robots whose intelligence matches that of mi

45、ce and cats.SyNAPSE is a backronym standing for Systems of Neuromorphic Adaptive Plastic Scalable Electronics. It started in 2008 and as of January 2013 has received $102.6 million in funding. It is scheduled to run until around 2016. The project is primarily contracted to IBM and HRL who in turn su

46、bcontract parts of the research to various US universities.71“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。IBM Synapse 自适应塑料可伸缩电子神经形态系统自适应塑料可伸缩电子神经形态系统2007Apr - Todd Hylton joins DARPA to found the project2008Apr - DARPA publishes a solicitation for applications

47、May - Due date for initial proposals Oct - Winning contractors announced Nov - Phase 0 start2009Sep - Phase 1 start Nov - Announcement of cat-scale brain simulation20102011Aug - Announcement of neuromorphic chip implementation Sep - Phase 2 start Dec - Announcement of first memristor chip2012Feb - T

48、odd Hylton leaves DARPA, Gill Pratt takes over as program manager May - Neuromorphic architecture design published Nov - TrueNorth/Compass simulation of 530 billion neurons announced2013Feb - Expected announcement of multi-core neurosynaptic chips (1 million neurons per chip) Mar - Phase 3 to begin

49、(estimated date)2014Oct - Phase 4 to begin (estimated date)20152016Program end72“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。猫脑机 2009 IBM Dawn - the Blue Gene/P supercomputer 150K CPU , 144T Memory 模拟猫脑 Cortical simulations with 109 neurons, 1013 synapses ， 16亿神

50、经元， 8.9万亿链接Criticism of the cat brain simulation claim73“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。 Brain WallSyNAPSE（Systems of Neuromorphic Adaptive Plastic Scalable Electronics)The Brain Wall: A Neural Network Visualization Tool by IBM SyNAPSE Researchers 7