《基于模板的文字识别结果结构化处理技术.docx》由会员分享，可在线阅读，更多相关《基于模板的文字识别结果结构化处理技术.docx（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、基于模板的文字识别结果结构化处理技术嘉宾|向宇波编辑|suiling来源|AI科技大本营在线公开课出品|AI科技大本营IDrgznai100随着行业的开展以及技术的成熟文字识别OCR目前已经应用到了多个行业中比方物流行业快递包裹的分拣金融行业的支票单据识别输入交通领域中的车牌识别和日常生活中的卡证、票据识别等等。OCR文字识别技术是目前常用的一种AI才能。但一般OCR的识别结果是一种按行输出的半构造化输出。本次公开课我们邀请到了百度高级研发工程师向宇波教师他将在12月20日周四带来一场主题为?基于模板的文字识别结果构造化处理技术?的共享。本课程从百度自定义模板文字识别展开从理论到案例详细介绍O
2、CR构造化的相关技术并理清OCR以及构造化之间的关系以及适用场景。向宇波大众好我是来自百度AI技术生态部的研发工程师我叫向宇波今天给大众带来的共享是基于模板的文字识别结果构造化处理技术我们主要讲的是文字处理结果的构造化。文字识别行业现状我们从一个财税案例的角度出发。大众在公司里肯定都做过报销报销的时候我们都会有出租车票、定额发票等我们需要将各种发票贴到纸上然后提交上去由财务来做后面的事情。通常来讲他们其实做的都非常辛苦要消耗大量的人力来进展人工录入。这样的话不仅本钱很高而且耗时也很长人工录入的话还有可能会出错。我们能不可以通过用文字识别的方式来解决这个问题呢比方把这个流程变成这样我们在中间加一
3、层不是人工录入而是通过一个识别系统首先我们把这些票据通过图像收集设备例如高分辨率扫描、拍照这种方式转换成图像然后通过文字识别技术把图像上的文字识别出来再经过一个数据的构造化最后输入到财务系统。这样能节约大量的人力物力也可以进步效率及准确率。其关键局部是在识别之后做一个构造化处理。我们来看一下多模板的构造化识别。首先来讲我们从刚刚的例子也能看得到哪怕是一个很简单的报销经过也涉及到很多种票据例如火车票、定额发票等等。现实生活中这种票据非常多。所以我们的构造化方案要可以支持多种模板。一般来讲OCR识别出来的结果是单纯的一行一行文字这样业务处理起来会比拟困难keyvalue形式的构造会比拟好处理。我们
4、用一个例子来解释比方我们识别一张火车票这个火车票上面有一行文字是始发站然后是车次、到达站。假如直接处理识别出来的那一行文字相对费事因为需要去切分出各个字段。但是假如我们的识别结果有构造那处理起来就会容易很多。通过keyvalue的形式检索我就可以知道我的始发站北京南然后到达站天津、车次。所以构造化给业务处理带来了极大的便利。接下来我们看一下文字识别分类。通常来讲文字识别分为两个大类一种是通用文字识别另一种就是专用垂类识别。通用文字识别就像刚刚提到的对一个图片来讲识别结果会以行的形式输出同时会有比拟准确的文字坐标这种按行输出的构造可以称之为半构造化它只能告诉你在这一行在这一行从上到下罗列没有真正
5、意义上的keyvalue构造。专用垂类识别的结果有构造比方讲对于身份证其实我们知道所有身份证都长的一样我们可以知道身份证上这个地方是姓名这个地方是性别这个地方是民族所以我们可以返回的时候就告诉你姓名是什么性别是什么生日是什么。常见的专用垂类还覆盖几类常见卡证像身份证、银行卡、增值税发票这些。但是开发一个专用垂类识别通常来讲需要花比拟多的人力物力才可以到达一个比拟高的准确度所以它的开发周期以及人力本钱都比拟高。整个看来业务处理需要不同板式的文字识别并且祈望可以构造化但是假如把它们变成专用的垂类模板来就会面临本钱很高周期很长的情况。基于这些矛盾我们推出了一个基于模板的文字识别结果的构造化方案。给大
6、众做一个例子来演示比方用火车票。我有一个火车票的模板就是就拿我自己的火车票举例大众可以看到我的始发站、终点站都有了。然后我们可以再做一个模板这次可以换一个增值税发票的。首先我们上传一张模板的底图所有的增值税发票都长的差不多。然后我如今来选一些参照字段选这个纳税人、开票日期、税率、开票人、小写、收款人、价税这样就差不多了。比方讲我想要识别这个大写的金额保存。就可以选择另外一张这两张显然是不一样的。我们来看一下应该是这张可以看到这里写的是1000元整这样的话我们可以以多框选一些别的字段就可以像刚刚火车票一样在这边在页面上就可以测试出来我们想要的字段都可以给它构造化按keyvalue的形式找到。基于
7、模板的文字识别构造化流程刚刚讲的看起来操作很简单但其实在它的背后我们做了一系列的操作。这个就是我们对整个文字识别构造化的流程它经历了4个大的步骤4大流程。首先是图片摆正然后是模板匹配、屡次摆正最后是构造化。对于图片的摆正来讲首先我们会进展一次文字识别然后基于文字来寻找参照字段。我们通过参照字段来选择参照字段可以围成的最大面积的四边形根据这个四边形来计算透视投影矩阵并做一系列的图像变换然后再计算所匹配的程度。假如足够匹配了OK那我们构造化假如没有匹配并且没有到达我们的匹配次数上限我们是可以再来一次尝试屡次摆正摆得更好一点。基于深度学习的文字识别我们来讲一讲基于深度学习的文字识别。首先大体上来讲有
8、两种方式一种是单字检测加上单字识别另一种是行检测加上行识别。单字检测就是把文字当做一般的物体检测任务例如可以用faster-rcnn这个网络去做每一个字都可以当做一个小物体。检测出来的单字再用单字识别处理本质上是个多分类任务。行识别就不再是检测一个一个字而是一个文本行。一般来讲文本行的特征有高度不是很高但是可能一行字会比拟长它其实是类似于小竖条然后横着摆过来一个很长条的。对通常的物体检测模型做改造然后去检测其中一个好的例子就是cptn。然后把一行文字导出来之后再来识别就可以当做是一个序列标注的问题了。当然如今也有这种端到端的是大众正在做的一些方向。基于模板的图片摆正我们再回到刚刚的模板。模板可
9、以认为是一个标准的底版定义的构造比方这个定额发票其实我们一开场就知道我们需要识别的局部在模板上的位置在这个票据上我就知道这个发票代码它其实就在这儿发票号码在这儿金额在这儿。假如每张图都长这样其实就很简单。但实际上来识别的图都不像模板一样摆的那么正识别的区域在图片上的位置不是固定的比方有可能我上传的图是这样假如按照固定位置扣取很可能什么都扣不到。所以我们需要有一种方案也就是刚刚讲的摆正那套流程祈望把所有待识别图都摆的跟模板一样正。我们选用的是透视投影方法来做图片的摆正尽可能的把待识别的图跟模板图对齐这样比拟方便后面提取字。透视投影变换的时候需要4组从待识别图到模板图对应的点对。也就是讲像这样比方
10、这个发票的票字它在这儿但是识别图上在这儿模板上在这儿这边一个发票号码然后各种类似这样的对应起来的点对。通过这4组点对可以计算一个透视投影矩阵做透视投影变换。我们通过框选模板上固定字段来做参照字段进而通过文字匹配方式寻找对应点对。通常一个票据它的板式固定那么它就符合我们刚刚讲的那种条件是对应的点对。假如参照字段有多个这个时候可能就会遇到一个问题了。比方讲对于这个票据来讲它固然很简单在上面可以提取的字也只有1、2、3、4、5比方讲我只提取了5个字段作为参照字段但是计算索引的时候只需要4个点此时需要取舍。比方这儿固然只有5个字段但实际组成的点对个数其实是比拟多的比方这个蓝线的可以算一个这个红线这一圈
11、可以以算一个。我们经过一些实验当然从主观上看也可以想到参照字段越分散它摆正的效果越好。可以这么理解越分散的时候每一个点它可以管辖的区域就越存在这个票面的四周那么它摆的时候相当于讲你从一个更高的维度或一个更大的范围去摆那么摆完的效果肯定比在一个小范围内去拉动其他地方来摆的误差小。然后怎么样来衡量这个分散的程度我们选用面积作为衡量四边形分散程度的指标。我们选面积的一个原因是好计算四边形可以当做是两个三角形只要有坐标那么两个三角形的面积很好计算。另一个其实讲分散是很难衡量的假如转化成面积的话其实面积就是一个数比拟好度量比拟。模板匹配我们把待识别图做了透视投影之后接下来要计算它以及模板匹配的程度。因为
12、有的时候比方讲这个时候识别的文字并不是太好我摆了一下然后这个时候我发现我可以识别的字更多了而且第一次摆的时候我能识别得更多但是发现这个时候摆的还不够那我怎么能知道它摆得不够好就需要来计算以及模板的匹配程度。我们在这个地方选择的是用新的透视投影矩阵来计算摆正的程度。用新的透视投影矩阵计算摆正图片四顶点以及模板四顶点的间隔来判断匹配程度。比方刚刚我们摆正之后这个图的四个顶点以及模板底图的四个顶点有三个点都是比拟近的然后这个点相对来讲远一点就可以通过这种间隔的方式来判断它的匹配程度。假如这个点通过摆正之后计算出来它到了这个位置那么间隔的差其实就很小了就可以认为它已经摆的非常好了所以我们选择的是用这种
13、策略来判断它匹配的程度。当然假如摆得很歪这儿离得也很远整个是这样一个倾斜的角度假如以及模板原图的四个点其实间隔比拟远是可以判断出去这个时候匹配得不够好可能还要再去做一次。刚刚讲到了屡次摆正也就是讲我可能会计算多个透视投影矩阵。这个时候我们用到了一种技巧就是透视投影矩阵的一个栈来操作。假如对级联透视矩阵有解析的同学就知道我们通常来讲透视投影的乘法是倒着乘的。比方这里的一个公式M1代表的是透视投影之后的一个结果M_origin表示是原图的矩阵然后乘透视投影矩阵。假如它只有一次摆正的时候只有一个透视投影矩阵这个时候它就等价于那个结果就是用原图乘以这个透视投影矩阵。但有可能中间我们在处理的时候发现没有
14、摆正可能这个时候就会计算出很多个透视投影矩阵我们就会把它们都重复地往透视投影矩阵的栈里面压入。这个时候我们乘以透视投影矩阵栈就等价于原图逆序乘以矩阵栈中每个元素。为什么一定要费力来用这个透视投影矩阵栈我倒着乘它从origin倒着乘M2再乘M1以及乘M2、M1它俩的解读要加一个括号其实是一样的从矩阵上是这样。但是因为我们其实还是对图片做透视投影假如单纯的类似括号的方式处理的话它先乘以M2它可能会把这个角扭到这儿这个角往里收可能会有一些图超出了图片本来的大小。那么在最后的一步处理的时候会进展一个裁剪假如它有超出的局部那么这个局部其实就已经被抛弃了。即使我后面祈望再把它扭回来其实那局部的信息已经永远
15、丧失。所以我们在这个时候有一个透视投影矩阵栈固然它是逆着出来的但其实计算的时候是先把这个矩阵栈里边做了一个相当于加括号的优先计算以保存原图的全部信息。多类型构造化我们经过一系列的摆正操作之后图片就跟模板比拟接近了可以对它进展一个识别结果的构造化处理。从刚刚我们的演示操作能看得到我们的处理通常来讲是有一个固定的识别区就像刚刚火车票的这种始发站、车次号、终点站我们识别出来是每个字有个小方框。我们对于这种固定识别区来讲操作相比照较简单可以根据单字矩形框的待识别区矩形框的交并比来判断是否属于某个字段。就像这样比方讲我们框的北京框是这儿对于北京南这三个字完全处在起点站这个待识别区的内部。OK那就可以确定
16、它俩肯定是起点站这个识别区的内容。对于站这个字固然它也沾了一点但是这个字的矩形框以及整个待识别区矩形框的交并比并不多所以我们就把它抛弃掉。对于车次来讲我们正好把这个全部框住所以它们都是。对天津两个字跟北京南的情况类似。对于这种简单的情况可能就完毕了。对于更复杂的比方讲成段落的比方讲我框了整个这一片的时候我们就需要做纵横双向排序来自动处理跨行文字的拼接。什么意思比方这两行我会先对文字做一个上下的排序所以第一行的字肯定拿出来会在第二行的前面所以需要先对纵向每一个字做比拟然后把它们先分成上下两行。然后再看那两行之后按照左右来排序这样排完之后出来的结果才是顺序的从左到右第一行然后第二行这样的关系。还有
17、一种表格识别区。比方这个地方这个识别区就是某一种体检的结果可以很明显地看到它是一种表格而且它没有线它既没有横线也没有竖线。我们需要把整个表格的构造从文字重新构建出来我们在这个地方采用的是一种自底向上的表格构建方式用先列后行的方式来减少非刚性形变的影响。比方讲我们识别完了之后现有单字的位置比方前白蛋白4个字的坐标我们先从单字的坐标开场来构建组成一个字段关系。比方我们如今有4个字我们根据位置关系把它组合成一个字段这样的话我们就知道它们是一个整体不可拆分。通常来讲表格的这种一个单格的内容确实是不可拆分的。然后我们根据它的横向的位置关系来串成列其实就有点像串冰糖葫芦一样。比方这个我们知道其实所有的字段
18、它的横向位置都在这个区域我们就可以把它们都这样串起来像串糖葫芦一样串成一列。另外的两列可以以做类似的操作但最后读的时候是一行一行读比方糖、5.04。按列之后再每次取列的头部字段来根据高度信息组装成行。比方在这儿就是糖这一列取第一个就是糖第二列取第一个就是5.04第三个就是取这个。这种方式可以一定程度上地减少对于非刚性形变的影响。比方讲什么叫刚性形变什么叫非刚性形变比方像如今是个平铺的就是一个很薄的很平整的一个面片把它做仿射变换都是刚性的但假如是弯曲这种扭过来折痕这种其实就称为非刚性形变。那么它们的相对位置可能会有一些波纹型的变化这种会比拟难以处理。我们如今就把构造化的两个方式讲完了总结一下还是
19、对应到刚刚的4个大的流程一个是图片摆正一个是模板匹配计算以及模板匹配的程度假如匹配的还不错匹配上了OK那我们就进展构造化去提取我们事先定义好的待识别区以及表格识别区。但假如很不幸我们摆的还不够正那可能就会需要去做屡次摆正这样一个操作力求把它跟模板匹配得比拟好最后再做构造化。迁移学习与图像分类下面给大众介绍一下我们这个产品的分类器。为什么需要分类其实根据第一个财税的例子来看可能我们会报很多种票据比方讲出租车票、增值税发票。一般来讲我们传的时候是一张一张传但会聚到财务的时候那就是一堆了财务其实对不同的票据处理方式都不一样所以非常需要把它们区分出来。比方讲对增值税发票有可能你报了那个发票多会对公司有
20、什么减税别的人只是单纯的报销。最近我们也提出了对模板进展分类。其实最简单的一个想法是假如我们是按图片它就是一个简单的图像分类。我们可以采用的方案是基于迁移学习的一个图像分类所谓迁移学习就是在已有的分类任务上效果比拟好的CNN的模型在别的分类任务上面也有不错的效果大众都知道比方ImageNet比赛有很庞大的数据假如在那上面运行的预训练模型的结果不错那么用它提取出来的特征在别的分类上效果也不错。第二就是迁移学习可以极大地减少训练数据需求的量还有训练时长。我们的分类除了基于图像还有关注到它根本都是票据类的图像它其实是包括文字的所以我们也结合了文字的特征来进展一个分类。首先是把整张图过一遍CNN的模型
21、提取出它的图像的特征然后还要结合它的OCR出来的文字提取它的文字特征。最后把两种特征进展一个交融然后再去训练最终的分类器。可以给大众看一个例子。比方在这里有一个分类器管理我们可以看到我如今已经有的三个分类器点编辑进去看一看。我如今能分的就是车牌跟火车票可以在这儿试一试。火车票它就分类到我的火车票了就像刚刚我定的那个模板一样就把那些数据都给构造化出来。就是讲刚刚在这个地方的时候相当于是指定了某一个模板。但是在分类器的时候其实就不需要了随意扔随意把图扔进去然后它就能自动地帮我们分类并且做我们需要的构造化。基于分类的原理就是这样。最后给大众带来一个财税场景上的例子就是木牛盒子这个产品它首先通过批量的
22、票据扫描其实就是这种扫描仪可以把图像比拟明晰地扫描出来然后使用我们刚刚自定义模板的票据分类然后构造化的功能加各种票据进展分类出来就做到了智能识别。然后再把它构造化出来再生成凭证进展输出。以上就是今天我给大众共享的内容谢谢大众。关注AI科技大本营微信公众号回复OCR获取本次公开课演讲PPT。公开课讲师申请请联络微信1092722531本文为AI科技大本营公开课速记转载请微信联络1092722531CTA核心技术及应用峰会5月25-27日由中国IT社区CSDN与数字经济人才开展中心结合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开峰会将围绕人工智能领域邀请技术领航者与开发者共同讨论机器学习以及知识图谱的前沿研究及应用。更多重磅嘉宾请识别海报二维码查看目前会议早鸟票出售中原票价1099元点击浏览原文即刻抢购。添加小助手微信15101014297备注“CTA解析票务和会务详情。推荐浏览他25岁进贝尔实验室32岁提信息论40岁办达特茅斯会议晚年度患上阿兹海默|人物志