《论文开题报告 (4).docx》由会员分享，可在线阅读，更多相关《论文开题报告 (4).docx（8页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、二、浙江外国语学院本科毕业论文(设计)开题报告学 院专业学生姓名学号指导教师职称合作导师职称论文题目基于卷积神经网络的手写数字的图像识别（以下内容不少于3000字，其中“国内外研究现状、发展动态”不少于2000字）一、选题背景和意义 图像识别是将存储的己有信息(记忆单元中的存储信息)与当前的输入信息(感官接收的当时信息)进行比较，利用计算机对图像进行加工处理、上下文分析和理解，识别各种不同物体目标或者物体对象的技术。由于手写数字的图像的获取以及图像本身具有复杂性和特殊性，使得图像识别技术和方法一直以来都是计算机视觉及相关领域的研究热点。目前，图像识别技术己广泛应用到无人驾驶、智慧城市、智能交通
2、、物流管理、搜索引擎、网络通信、虚拟现实、医学卫生、遥感成像和人工智能等多个领域。 图像识别的困难之处在于很难找到一种方法能够从自然环境中抽离出边界、纹理、角点和形状等图像特征概念，并且图像本身极易受到自然环境的影响而出现视角变化、尺度变化、扭曲形变、遮挡干扰、光照影响、背景掺杂和类内差异等困难，使得计算机更加难于得到关于自然手写数字的图像的抽象表示和理解表达。现阶段，多数手写数字的图像识别都是通过“特征提取”和“分类识别”两个步骤来实现的。“特征提取”主要针对特定识别任务完成对图像内容的刻画，通常需要训练特定己标记数据集提取图像特征，特征提取的质量直接影响到最终分类识别的准确率;“分类识别”
3、则通常采用机器学习领域较为成熟的分类算法对未知类标号的实例进行类别预测判定。但是，这类机器学习方法具有高度的任务相关性，往往需要人工设计图像特征，当脱离具体的数据集而面向一般的自然手写数字的图像识别任务时，能否保持原有的性能尚有疑问;另一方面，这类方法的计算成本较高，使用分阶段的人工标记特征实现实时的图像识别仍有困难。故而，部分研究者投身于研究从原始自然图像中“自学习特征”而非事先“人工设计特征”的深度学习(Deep Learning)领域中。深度学习和多数机器学习算法最大的不同在于特征提取。描述的深度学习就像是一个“黑盒子”一样，所有的特征提取依靠深度学习算法自动处理，而且深度学习常采用多层
4、网络结构逐步将手写数字的图像的底层特征组合形成高层特征，从局部信息逐渐抽象到高层语义信息，形成一个多层传递、逐步抽象和迭代细化的过程;整个处理流程无需人工标记特征，不需要额外的人工干预过程，将特征提取与分类识别串联在一起，从而完成端到端的图像识别，这也为昂贵而又耗时的特征设计与提取节约了成本。此外，为了测试图像识别算法的准确率和性能，研究者们建立了一个数据量在千万级别上包含1000多个大类别的图像数据库，并且每年举办大规模计算机视觉挑战赛，这是目前全球最大的图像识别大赛，基本上代表了全球计算机视觉领域的最高水平。而在其后每年的比赛中，获得冠军的识别模型基本上采用的都是基于深度学习的卷积神经网络
5、，这也使得卷积神经网络在手写数字的图像识别任务中受到越来越多研究者们的青睐。二、国内外研究现状、发展动态卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中的一个代表，和别的网络结构不同，它有两处特别的设计:一、卷积层的特殊设计，卷积层采用局部连接和权值共享的方式进行连接，从而大大降低了需要训练的参数数量。二、通过降采样层来降低维度，使网络具有更高的鲁棒性，同时能够有效的防止过拟合。由于以上设计，卷积网络主要用来识别缩放，位移以及其他形式扭曲不变的二维图形，比如应用于手写数字，车牌和门牌号码的识别。如今，在学术领域，卷积网络扮演着重要的角色，是一个
6、重要的研究点。而在工业界，它也经常被使用，尤其是在图像识别的领域中。在模式识别、计算机视觉、人工智能、机器学习以及深度学习等领域，手写数字的图像的处理及识别技术一直是研究者们最早开始尝试和探索的问题。从早期识别图像中的特定物体，到之后的物体类别分类以及到现阶段对图像给予语义层面的分析和理解，手写数字的图像识别任务的核心内容仍在于手写数字的图像的特征提取。因此，不同任务背景下的手写数字的图像识别都是基于特征工程的特征提取方法。一般情况下，常见的卷积神经网络由输入层、卷积层、激活层、池化层、全连接层和最后的输出层构成。从输入到输出，卷积神经网络层与层之间通过不同的计算神经节点建立关系，逐层传递输入
7、信息;连续的卷积一池化结构将原始数据的特征信号解码、演绎、汇聚，映射到隐层特征空间，之后的全连接层根据提取的特征进行分类输出。根据图像本身所蕴含的信息内容，常用的图像特征可以分为全局特征和局部特征两大类。在传统的机器学习中，多数手写数字的图像识别都是深入挖掘这些局部或是全局的特征用于识别，由此也衍生出了基于颜色特征的手写数字的图像识别、基于纹理特征的手写数字的图像识别、基于形状特征的手写数字的图像识别以及基于空间关系特征的手写数字的图像识别等。这些方法需要通过样本学习，提取手写数字的图像的底层特征进行特征编码、融合汇聚，最后使用机器学习中较为成熟的分类算法得到未标记数据的类别，从而完成分类识别
8、任务。2013年，百度成立了深度学习研究院，并取得了不俗的研究成果，推出了百度语音和百度识图等基于深度学习的产品。其构建的深度神经网络在图片检索方面的准确率达到了世界领先的水平。另外，百度还利用深度神经网络构建了百度大脑，相比于之前它的智力只相当于2-3岁的孩子，目前其智力己经有了超前的发展，在某些能力上甚至超过了人类。在语音识别方面，其准确率达到97%,而在人脸识别方面，其准确率高达99.7%，同时，百度大脑还在医疗，交通，金融等领域有所应用。2014年，Christian Szegedy等人设计的GoogIeNet深度卷积神经网络在当年的ILSVRC比赛中，将top-5误差降到6.67%，
9、比2013年的效果好了将近一倍。该模型共有22层，虽然层数相比于Alex-net更深，但参数量却少了12倍，准确率也更高。同年的VGG-Net网络模型，也取得了接近的准确率，只是该模型需要训练的参数量很大，训练时间过长。在2015年，来自微软的何凯明团队，给出了一种前所未有的卷积神经网络:残差神经网络。该网络结构在I mageNet2015的比赛中，将to p-5 error降到3.57%，获得冠军。作者最终提交的模型共有152层，这比以往任何模型都深了5倍以上，而且作者在论文中还实现了1000层以上的残差神经网络，同样到达接近的效果。残差神经网络模型借鉴了highway networks的思
10、想，在此基础上，对于直接加深网络会使误差增大的问题，作者引入了残差的概念，进而构造了残差神经网络。总之，近年来，卷积神经网络在图像识别领域取得了快速的发展，无数的科研工作者为之做出贡献，比如Xavier Glorot在2010年提出了著名的Xavier初始化方法，M. Lin等人提出的Network in Network结构在很多流行的网络中都有使用，Sergey loffe等人提出的Batch Normalization方法极大的方便了训练，有效地防止了梯度爆炸和梯度消失的问题。在国外，Google公司于2011年率先推出了集成深度学习的Google Brain项目，2012年引入神经网络用
11、于语音识别产品，2014年收购了DeepMind并在2016年3月使用其深度强化学习项目A1phaGo击败了围棋世界冠军李世石，这是人工智能领域中的一次里程碑式事件;微软公司于2011年上半年，把深度学习引入到Bing语音搜索、X-Box语音命令等商用语音识别产品，并于2016年9月将语音识别错误率降低到6.3%，这与人类的识别能力相差无几;FaceBook公司于2013年12月聘任法国神经网络创新者Yann LeCun领导其新的AI研究实验室，并利用神经网络每天翻译超过40种语言约20亿个帖子，对整个人工智能领域的发展具有较大的推动作用。在国内，百度公司于2013年宣布成立深度学习研究所,
12、2014年_5月聘任世界著名人工智能科学家Andrew Ng教授主持“百度大脑”的研发，并于2017年3月正式成立“深度学习技术及应用国家工程实验室”，这是首个国家人工智能实验室;Face+旷世科技公司于2013年底在人脸检测任务FDDB评测、人脸关键点定位任务300-W评测和人脸识别任务LFW评测上，接连拿下了三项世界第一，并于201 _5年同阿里巴巴公司合作研发“Smile to Pay”扫脸技术用于支付宝的人脸支付;科大讯飞公司于2014年成功举行智能家庭语音产品发布会，发布讯飞语音云3.0、灵犀3.0，正式启动“讯飞超脑计划”，将中文实时语音转文本的识别率提高到97 070;海康威视研
13、究院在2016年的ILSVRC场景分类任务中斩获世界第一，目标检测和目标定位任务获得第二名，场景分割任务获得第七名，成绩显著。三、研究的内容及可行性分析随着软硬件技术的飞速发展和大数据时代的到来，深度学习技术在越来越多的领域中取得了突破性成果。而其中的卷积神经网络受生物视觉系统启发，将深度学习思想引入到神经网络之中，依靠自身具备的局部感受野、参数共享、降采样和稀疏连接等特点，近年来己成为计算机视觉领域和人工智能领域中相对活跃的研究方向。本文结合手写数字的图像的自身特点，在卷积神经网络理论的基础上，论述了用于图像分类识别任务的卷积神经网络模型的构造方法、迁移训练、优化算法和分类识别性能，其主要的
14、工作内容如下: (1)多数识别方法常将手写数字的图像识别任务分割为特征提取和分类识别两个阶段，识别过程中往往涉及到繁杂的图像预处理和人工标记特征设计，考虑到需要充分保留手写数字的图像的原始特征信息，利用卷积神经网络构建了一个u层端到端的图像分类识别模型。该识别模型可以从原始图像中进行特征自学习，设计的分层结构将传统方法中的特征提取和分类识别两个阶段串联融合在一起，可以进行端到端的分类识别。最后将该模型应用到自然场景下的车牌字符识别任务上，对比实验验证了该卷积模型集特征自学习和高效分类识别于一体的应用性能。 (2)针对深度卷积网络训练过程中常出现的过拟合问题，构造了若干个具有不同特征提取层的深度
15、卷积模型，分析讨论了图像数据增强变换、卷积核的尺寸、梯度下降训练优化算法以及Dropout丢弃层等模型调参方法对过拟合问题的影响，在不同参数的模型训练损失对比实验上，验证了最优识别模型的抗过拟合性。 (3)针对训练数据不足的小样本量图像识别问题，提出了基于卷积神经网络的迁移学习方法。借助大规模数据集上的预训练模型，根据源数据域与目标数据域数据内容的差异，将源数据域中的预训练模型分别迁移到域内同构和域间异构的小规模图像数据集上，冻结不同层的训练参数，微调整个网络，并在部分小样本量的公共数据集和自建小规模车牌字符数据集上验证了提出方法的实验效果。四、论文拟解决的关键问题及难点在己有的手写数字的图像
16、识别基础上，本文主要针对如何避免人工设计特征，将特征提取和分类识别两个阶段串联在一起，利用卷积神经网络算法构造图像分类识别模型这一方向进行了相关的研究与分析，主要旨在解决如下几个问题: (1)针对多数识别方法需要人工标记特征、具有任务高度相关性等特点，如何利用卷积神经网络构造端到端的图像分类识别模型。 (2)依靠卷积神经网络训练数据往往会出现过拟合问题，如何通过修改网络结构、调整模型参数、优化训练算法有效地控制识别模型中的过拟合问题。 (3)卷积神经网络训练往往需要大规模的标记训练数据提供输入，当在训练数据不足的小样本条件下，如何构造卷积模型提高手写数字的图像的识别准确率。 本文围绕以上3个问
17、题对基于卷积神经网络的手写数字的图像识别进行了研究和分析，其主要工作内容如下: (1)阐述了现阶段的卷积神经网络算法，利用分层结构构造了一个11层的基于卷积神经网络的图像分类识别模型，并在自然场景下的车牌字符数据集上实验，对比分析了算法的优缺点。 (2)通过修改提出的卷积神经网络结构、调整网络的卷积核尺寸以及变换不同的梯度下降优化算法，讨论了不同的训练参数对图像分类模型中过拟合问题的影响，并通过实验分析了卷积神经网络的应用性能。 (3)针对训练数据不足的图像识别问题，提出了基于卷积神经网络的小样本手写数字的图像识别。根据源数据域与目标数据域的内容差异，将预训练模型分别迁移到域内同构和域间异构的
18、小样本数据集上，微调卷积网络结构，对比实验验证了提出的方法对于解决训练数据不足的小样本问题的应用性能;并通过梯度上升反向计算可视化方法，可视化卷积神经网络训练过程中的过滤器，从视觉角度分析卷积神经网络的特征表达能力。五、研究方法与技术路线本文基于传统的残差网络，提出了一种改进的多尺度残差网络，我们的网络结构使得卷积层能够从多个不同的尺度“观察”数据，获得更为丰富的输入特征。并且缩减了网络的深度，有效了抑制了梯度消失问题的发生，减小了训练难度。同时增加了可训练参数的数量，使得网络的学习能力变得强。我们通过调整缩放参数，网络深度，每组学习模块的数量，dropout的位置及取值，使得我们的网络结构的
19、准确率比传统的残差神经网络有了明显的提升。最后，我们使用了相对多数投票的集成学习方法，将网络在CI FAR-10上的分类错误率降低到3.49%，相对于原始的残差神经网络，错误率下降了3%。六、 参考文献1孙祥瑜. 机器学习方法在手写数字识别中的应用J. 中国战略新兴产业. 2017(44) 2刘宏兵,柳春华.用于手写数字识别的增量式模糊支持向量机J. 信阳师范学院学报(自然科学版). 2014(03) 3胡辉. ActiveX在手写数字识别系统中的应用J. 华东交通大学学报. 2009(02) 4李怡轩.基于机器学习的手写数字识别系统设计与实现J. 微型电脑应用. 2018(08) 5李天.基
20、于模版匹配的联机手写数字识别系统设计J. 计算机与网络. 2009(21) 6赵锋,薛惠锋,王伟,吴慧欣. 采用多级分类器的手写数字识别技术研究J. 微电子学与计算机. 2006(12) 7樊康. 手写数字识别论述J. 科技风. 2009(03) 8吕知辛. 手写数字识别中的动态字符切分方法J. 计算机系统应用. 2005(11) 9周帅,刘国正,崇瑞. 基于图论存储的手写数字识别研究J. 电子世界. 2014(14) 10吴忠,朱国龙,黄葛峰,吴建国. 基于图像识别技术的手写数字识别方法J. 计算机技术与发展. 2011(12) 11马媛媛,史加荣. 卷积神经网络及其在手写体数字识别中的应用
21、J. 湖北工程学院学报. 2017(06) 12王立中,管声启. 基于深度学习算法的带钢表面缺陷识别J. 西安工程大学学报. 2017(05) 13代贺,陈洪密,李志申. 基于卷积神经网络的数字识别J. 贵州师范大学学报(自然科学版). 2017(05) 14李斯凡,高法钦. 基于卷积神经网络的手写数字识别J. 浙江理工大学学报(自然科学版). 2017(03) 15宋昌统,黄力明,王辉. 基于概率神经网络的手写体数字识别J. 微型电脑应用. 2016(10) 16黄弋石,梁艳.手写识别建模数学方法研究J. 软件. 2013(08) 17钟彩. 边缘检测算法在图像预处理中的应用J. 软件. 2
22、013(01) 18马宁,廖慧惠基于量子门神经网络的手写体数字识别J. 吉林工程技术师范学院学报. 2012(04) 19杜敏,赵全友. 基于动态权值集成的手写数字识别方法J. 计算机工程与应用. 2010(27) 20 Dong Yu,Li Deng. Deep Learning and Its Applications to Signal and Information Processing. IEEE Signal Processing Magazine . 201121 Ameen S,Vadera S.A convolutional neural network to classif
23、y American Sign Language fingerspelling from depth and colour images. Expert Systems . 201722 Ravi Babu,U.Handwritten Digit Recognition Using Structural,Statistical Features and K-nearest Neighbor Classifier. International Jourmnal of Information Engineering&Ele tronic Business . 201423 GORGEVIK D,CAKMAKOV D. Handwitten digit reognition by combining SVM classifiers. The International Conference Computers as a Tool . 2005七、指导教师意见不少于100字，需注明“同意开题”或“不同意开题”。如不同意开题需说明原因和建议。签名： 20 年 月 日八、开题审查小组意见填写审核性意见，“同意开题”或“不同意开题”。如不同意开题需说明原因和建议。开题审查小组组长签名： 20 年 月 日