《深度学习技术发展趋势浅析.docx》由会员分享，可在线阅读，更多相关《深度学习技术发展趋势浅析.docx（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、深度学习技术发展趋势浅析当前人工智能开展借助深度学习技术打破得到了全面关注以及助力推动各国政府高度重视、资本热潮仍在加码各界对其成为开展热点也达成了共识。本文旨在分析深度学习技术现状研判深度学习开展趋势并针对我国的技术程度提出开展建议。一、深度学习技术现状深度学习是本轮人工智能爆发的关键技术。人工智能技术在计算机视觉以及自然语言处理等领域获得的打破性进展使得人工智能迎来新一轮爆发式开展。而深度学习是实现这些打破性进展的关键技术。其中基于深度卷积网络的图像分类技术已超过人眼的准确率基于深度神经网络的语音识别技术已到达95%的准确率基于深度神经网络的机器翻译技术已接近人类的平均翻译程度。准确率的大
2、幅提升使得计算机视觉以及自然语言处理进入产业化阶段带来新产业的兴起。深度学习是大数据时代的算法利器成为近几年度的研究热点。以及传统的机器学习算法相比深度学习技术有着两方面的优势。一是深度学习技术可随着数据规模的增加不断提升其性能而传统机器学习算法难以利用海量数据持续提升其性能。二是深度学习技术可以从数据中直接提取特征削减了对每一个问题设计特征提取器的工作而传统机器学习算法需要人工提取特征。因此深度学习成为大数据时代的热点技术学术界以及产业界都对深度学习展开了大量的研究以及理论工作。深度学习各类模型全面赋能根底应用。卷积神经网络以及循环神经网络是两类获得广泛应用的深度神经网络模型。计算机视觉以及
3、自然语言处理是人工智能两大根底应用。卷积神经网络广泛应用于计算机视觉领域在图像分类、目的检测、语义分割等任务上的表现大大超越传统方法。循环神经网络合适解决序列信息相关问题已广泛应用于自然语言处理领域如语音识别、机器翻译、对话系统等。深度学习技术仍不完美有待于进一步提升。一是深度神经网络的模型复杂度高巨量的参数导致模型尺寸大难以部署到挪动终端设备。二是模型训练所需的数据量大而训练数据样本获取、标注本钱高有些场景样本难以获取。三是应用门槛高算法建模及调参经过复杂繁琐、算法设计周期长、系统施行维护困难。四是缺乏因果推理才能图灵奖得主、贝叶斯网络之父JudeaPearl指出当前的深度学习不过只是“曲线
4、拟合。五是存在可解释性问题由于内部的参数分享以及复杂的特征抽取与组合很难解释模型到底学习到了什么但出于平安性考虑和伦理以及法律的需要算法的可解释性又是特别必要的。因此深度学习仍需解决以上问题。二、深度学习开展趋势深度神经网络呈现层数越来越深构造越来越复杂的开展趋势。为了不断提升深度神经网络的性能业界从网络深度以及网络构造两方面持续进展探究。神经网络的层数已扩展到上百层甚至上千层随着网络层数的不断加深其学习效果也越来越好2021年度微软提出的ResNet以152层的网络深度在图像分类任务上准确率首次超过人眼。新的网络设计构造不断被提出使得神经网络的构造越来越复杂。如2021年度谷歌提出了Ince
5、ption网络构造、2021年度微软提出了残差网络构造、2016年度黄高等人提出了密集连接网络构造这些网络构造设计不断提升了深度神经网络的性能。深度神经网络节点功能不断丰富。为了克制目前神经网络存在的局限性业界探究并提出了新型神经网络节点使得神经网络的功能越来越丰富。2017年度杰弗里辛顿提出了胶囊网络的概念采用胶囊作为网络节点理论上更接近人脑的行为旨在克制卷积神经网络没有空间分层以及推理才能等局限性。2018年度DeepMind、谷歌大脑、MIT的学者结合提出了图网络的概念定义了一类新的模块具有关系归纳偏置功能旨在赋予深度学习因果推理的才能。深度神经网络工程化应用技术不断深化。深度神经网络模
6、型大都具有上亿的参数量以及数百兆的占用空间运算量大难以部署到智能手机、摄像头以及可穿戴设备等性能以及资源受限的终端类设备。为解析决这个问题业界采用模型压缩技术降低模型参数量以及尺寸减少运算量。目前采用的模型压缩方法包括对已训练好的模型做修剪如剪枝、权值分享以及量化等以及设计更精细的模型如MobileNet等两类。深度学习算法建模及调参经过繁琐应用门槛高。为了降低深度学习的应用门槛业界提出了自动化机器学习AutoML技术可实现深度神经网络的自动化设计简化使用流程。深度学习与多种机器学习技术不断交融开展。深度学习与强化学习交融开展诞生的深度强化学习技术结合了深度学习的感悟才能以及强化学习的决策才能
7、克制了强化学习只适用于状态为离散且低维的缺陷可直接从高维原始数据学习控制策略。为了降低深度神经网络模型训练所需的数据量业界引入了迁移学习的思想进而诞生了深度迁移学习技术。迁移学习是指利用数据、任务或者模型之间的相似性将在旧领域学习过的模型应用于新领域的一种学习经过。通过将训练好的模型迁移到类似场景实现只需少量的训练数据就可以到达较好的效果。三、将来开展建议加强图网络、深度强化学习和生成式对抗网络等前沿技术研究。由于我国在深度学习领域缺乏重大原创性研究成果根底理论研究奉献缺乏如胶囊网络、图网络等创新性、原创性概念是由美国专家提出我国研究奉献缺乏。在深度强化学习方面目前最新的研究成果大都是由Dee
8、pMind以及OpenAI等国外公司的研究人员提出我国尚没有打破性研究成果。近几年度的研究热点生成式对抗网络GAN是由美国的研究人员Goodfellow提出并且谷歌、facebook、twitter以及苹果等公司纷纷提出了各种改良以及应用模型有力推动了GAN技术的开展而我国在这方面获得的研究成果较少。因此应鼓励科研院所及企业加强深度神经网络与因果推理模型结合、生成式对抗网络和深度强化学习等前沿技术的研究提出更多原创性研究成果增强全球学术研究影响力。加快自动化机器学习、模型压缩等深度学习应用技术研究。依托国内的市场优势以及企业的成长优势针对具有我国特色的个性化应用需求加快对深度学习应用技术的研究。加强对自动化机器学习、模型压缩等技术的研究加快深度学习的工程化落地应用。加强深度学习在计算机视觉领域应用研究进一步提升目的识别等视觉任务的准确率和在实际应用场景中的性能。加强深度学习在自然语言处理领域的应用研究提出性能更优的算法模型提升机器翻译、对话系统等应用的性能。简介赵强工学硕士高级工程师现就职于中国信息通信研究院云计算与大数据研究所人工智能部。主要对人工智能的技术、应用与产业开展研究并进展相关系统软件的设计与研发。研究成果获批国家创造专利4项软件著作权5项。联络方式