《本文用图像处理技术、车牌定位技术、车牌分割技术、字符.doc》由会员分享，可在线阅读，更多相关《本文用图像处理技术、车牌定位技术、车牌分割技术、字符.doc（16页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、车牌识别本文应用图像处理技术、车牌定位技术、车牌分割技术、字符特征提取方法、神经网络识别技术等来解决车辆牌照识别问题，首先将图像进行灰度化、灰度拉伸、中值滤波的预处理方法，很好地消除了图像的噪音，强化了纵向纹理区；通过对车牌特征和定位技术的深入研究，提出了基于水平扫描和垂直投影法的车牌定位方法，能够很准确地搜索到车牌区域；基于车辆牌照的一些结构特点及先验知识，完成了基于投影直方图的车牌字符分割域；最后对神经网络的构成以及相关的理论进行了讨论，着重分析了神经网络的理论原理和在字符识别中的应用方法。例如车辆牌照中省份汉字的识别问题，1988年戴营等利用常见的图像处理技术方法提出汉字识别的分类是在抽
2、取汉字特征的基础上进行的.根据汉字的投影直方图(Projection Histogram)，选取浮动阈值，抽取汉字在y方向的峰值，利用树形查表法进行汉字的粗分类；然后根据汉字在x方向的投影直方图，选取适当阈值，进行量化处理后，形成一个变长链码，再用动态规划法，求出与标准模式链码的最小距离，实现细分类，完成汉字省名的自动识别.车牌字符识别系统的字量小，包括50多个汉字，24个大写英文字母，10个数字，总共仅80多个字符。而且车牌的制作有国家统一的标准，字符的大小一致，字型统一。相对于普通的字符识别，难度降低了。但从实用的角度看，车辆牌照识别系统应该是一个全自动的、实时的系统，因此要求有较高的识别
3、速度和正确率。目前牌照自动识别技术尚未达到很完美的程度，但是在国外由于高速公路和收费停车场发展较早，己经成功地开发了一些类似的自动系统。虽然，国外汽车牌照识别系统的研究工作有一定进展，但并不尽合我国国情，这主要是因为以下五个方面的原因:(1)我国标准汽车牌照是由汉字、英文字母和阿拉伯数字组成，汉字的识别与字母和数字的识别有很大的不同，从而增加了识别的难度;(2)国外许多国家汽车牌照的底色和字符颜色通常只有对比度较强的两种颜色(例如韩国，其车牌底色为红色，车牌上的字符为白色)，而我国汽车牌照仅底色就有蓝、黄、黑、白等多种颜色，字符颜色也有黑、白等若干种颜色:(3)其他国家的汽车牌照格式(如汽车牌
4、照的尺寸大小，牌照上的字符排列等)通常只有一种，而我国则根据不同车辆、车型、用途，规定了多种牌照格式(例如分为军车、警车、普通车等);(4)我国汽车牌照的规范悬挂位置不唯一:(5)由于环境、道路或人为因素造成汽车牌照污染严重，这种情况下，国外发达国家不允许上路，而在我国仍可上路行驶。由于我国汽车车牌识别的特殊性，采用任何一种单一识别技术均难以奏效。车牌识别系统包括车牌的定位与分割和车牌字符的识别。这两部分是相辅相成，缺一不可的。车牌定位与字符分割是为字符的识别做准备，是字符识别精确的前提保证，而字符的识别则是关系到最终输出的识别结果。具体实现方法是:2. 车辆牌照的定位(1)车牌定位与分割采用
5、直方图均衡化算法作灰度拉伸，进行二值化处理，设计一个特征函数，通过对原图片进行特征运算从而求出特征图片，对特征图片进行水平扫描和垂直投影从而确定牌照所在位置。(2)车牌字符分割根据车牌图像中单字符的先验知识和特征并根据垂直方向上的投影特征，对切割后的牌照进行单字符分割。3. 基于神经网络的车牌字符识别(1)字符预处理对字符进行归一化的处理。(2)特征的提取应用字符的外围轮廓法和投影浓度法对字符的特征进行提取。(3)分类器的选取应用神经网络的容错和自适应的特征，结合网孔法和扫描法对所识别的字符进行并行和串行的多识别融合方法识别字符，缩小识别字符集中字符的数量。对BP算法作了改进，使类间距离扩大，
6、类内距离缩小并以此提高识别的速度。1. 车牌图像预处理通过像机拍摄的车牌图像，由于周围环境不同，得到的图像效果也大不一样，而且天气的原因也会造成图像受到噪声干扰，以及引起较大的字符变形和笔划断裂，常常不能直接用于车牌定位等处理，因此在进行车牌定位之前要进行图像预处理，平滑图像、剔除噪声、弱化背景、增强字符区域。从摄像机获得的含车辆的图像一般是彩色图像，车牌识别系统处理的是灰度图像，因此应将图像转换为灰度图；其次，对于雨雾天气拍摄的图像需要进行去噪处理，减少噪声；对于夜间拍摄的图像，除去噪外，还要进行图像增强，凸现灰度值比较高的区域，弱化背景。1.1 图像的灰度化在RGB模型中，如果R=G=B，
7、则颜色表示一种灰度颜色，其中R=G=B的值叫做灰度值，我们用g来表示。由彩色转换为灰度的过程叫做灰度化处理。由于彩色图像的存储往往占用很大的空间，在对图像进行识别等处理中经常将彩色图像转换为灰度图像，以加快后续的处理速度。R、G、B的取值范围是0255，所以灰度的级别是256级。灰度化的处理方法主要有如下三种：a) 最大值法：使g的值等于三值中的最大的一个，即g =max(R,G,B)；b) 平均值法：使g的值等于三值和的平均值，即g = (R+G+B)/3；c) 加权平均值法：根据重要性或其他指标给R、G、B赋予不同的权值，并使g等于它们的值的加权平均值，即g = (WRR+WGG+WBB)
8、/3。其中WR,WG,WB分别为R、G、B的权值。由于人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，所以我们取WR=0.9，WG=1.77，WB=，即g =0.3R+0.59G+0.11B，这时能得到最合理的灰度图像。 图像增强图像增强是数字图像处理过程中经常采用的一种方法。为了改善视觉效果或者便于人和机器对图像的理解和分析，根据图像的特点或存在的问题采取的改善方法或者加强特征的措施称为图像增强。获取和传输图像的过程往往会发生图像失真，所得到图像和原始图像有某种程度的差别。这种差异如果太大，就会影响人和机器对图像的理解。在许多情况下，人们不清楚引起图像降质的具体物理过程及其数
9、学模型，但却能根据经验估计出使图像降质的一些可能原因，针对这些原因采取简便有效的方法，改善图像质量。例如，图像信号变弱会使人们无法看清图像的细节，而采用增强对比度的方法可使图像清晰一些;图像的噪声干扰也容易使图像质量变差，运用平滑技术可以消减噪声;还有一些物理器件或系统工作原理可等效为一积分过程，信号经过这样的器件或系统后要变模糊，这时可使用微分运算突出边界或其他变化的部分，使图像增强。由于所拍摄的车辆图像的质量受天气、光照、观察点等的影响，车牌图像往往会产生对比度不足的弊端，使图像细节分辨不清，影响识别率。因此，需要将牌照图像进行图像灰度扩展，以便改善图像的观察质量，提高字符识别率。可采用对
10、比度增强和灰度均衡等技术。1.2.1 对比度增强基于点操作的增强方法也叫做灰度变换。使用灰度变换的主要目的就是提高图像的对比度，即增强原图像各部分的反差。假定原图像的灰度级范围是ia,b，为了将图像的灰度级拓展为iA,B，所需的线性变换是：为了突出图像中的某些灰度范围，同时又不牺牲其他灰度级上的细节，我们进行分段扩压变换，使需要的细节灰度级拉伸，增加对比度，而将不需要的灰度细节压缩。车牌位于车身的下部，属于低灰度级范围，而车头上部及背景中一些区域一般较亮，属于高灰度级范围。为了突出牌照的灰度细节，抑制高灰度区域，我们对图像进行灰度变换。灰度变换前后的灰度级范围都是0255，其变换如下：式中|a
11、|b-a|，|c-b|=T)=来约束，L为满足条件的连续扫描行数，t为当前扫描行的灰度跳变次数，为经验值。经过上述行扫描后即可确定候选车牌区域的上下边界(见图3-2、图3-3)。(3)垂直投影在水平行扫描处理后，大部分杂散区域已基本滤除，但实验表明：图像经水平行扫描后仍然会存在一些区域具有与车牌区域水平扫描相似的纹理扫描特征，这些区域即所谓的伪车牌区域，需要通过垂直投影法来消除(见图3-4、图3-5)。如图3-4与图3-5所示，车牌区域的投影图具有明显的连续的规律的峰谷峰的特性，并且可能的车牌区域的幅值要远高于其他区域，而伪车牌区域的这个特性则不明显，根据车牌区域的垂直投影图以及车牌长宽比的先
12、验知识则可确定车牌的左右边界(见图3-6)。经过步骤(1)(2)(3)后，基本上能够把车牌图像准确定位出来，但由于在定位过程中设定的条件相对较宽松，定位出来的车牌图像还相对粗糙，不满足下一步的字符分割要求，因此还需要进一步精确定位，定位方法与上述过程类似，具体可参阅文献37中方法。图3-7为精确定位结果。车牌字符的分割由于字符字体存在着多样性，所以在一般的字符识别系统中，字符识别之前先要对图像进行阈值化。文字图像经过阈值化之后得到的是一个整体，其中包含了字与字、行与行之间的空白，这就需要采用一定的处理技术将文本中的一个个字符切分出来，形成单个字符的图像阵列，以进行单字识别处理。这就需要两个步骤
13、来完成，即行切分和字切分。为什么要进行行切分？车牌不是只有一行字符的吗？具体方法为：首先对整幅汉字图像在水平方向进行投影，分析投影图像，找到投影波峰所对应的文本行的位置，从而可以计算出每行的行距；其次对所有行的行距累加求和后，求出文本图像的标准行距，以标准行距对汉字图像进行行的粗切分；最后在每一个粗切分的行附近上下扫描，进行细微调整，选取最合适的分割位置。具体实现步骤为：根据汉字的行切分，可以获得汉字的高度信息，从而可以估计出汉字的基本宽度；对粗切分出的每个汉字，以此宽度信息进行衡量，以粗切分的起始位置为出发点，向左右两方向进行搜索，对起始位置进行细微的调整，从而使得字的切分更准确。这种方法不
14、仅可以保证单个汉字的内部结构不被分离，而且还避免了切除汉字的边缘，其切分结果基本提取出了完整的汉字，消除了笔划的误切除。牌照的倾斜校正由于牌照的上下沿是两条明显的平行直线，因此，一般都采用霍夫(Hough)变换，检测出这两条直线，然后对牌照进行校正。霍夫变换原理霍夫变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法。在预先知道区域形状的条件下，利用霍夫变换可以方便地得到边界曲线而将不连续的边缘像素点连接起来。霍夫变换的主要优点是受噪声和曲线间断的影响较小。利用霍夫变换还可以直接检测某些已知形状的目标，并有可能确定边界到亚像素精度。由此可知在图像空间中共线的点对应在参数空间里相
15、交的线。反过来，在参数空间中相交于同一个点的所有直线在图像空间里都有共线的点与之对应。这就是点线的对偶性。霍夫变换根据这些关系把在图像空间中的检测问题转换到参数空间里，通过在参数空间里进行简单的累加统计完成检测任务。预期的斜率和截距的取值范围。开始时置数组A为零，然后对每一个图像空间中的给定点，让p取遍P轴上所有可能的值，并根据式(4.2)算出对应的q。再根据p和q的值(设都已取整)对A累加：A(p,q)=A(p,q)+1。累加结束后，根据A(p,q)的值就可知道有多少点是共线的，即A(p,q)的值就是在(p,q)处共线点的个数。同时(p,q)的值也给出了直线方程的参数，使得我们得到了点所在的
16、线。牌照在水平和垂直两个方向上都会有不同程度的倾斜。但由于牌照在水平方向上的尺寸要比垂直方向上的尺寸大很多，因此，垂直方向的倾斜并不很明显，一般小于3度。实际系统中，我们只对水平方向上的牌照倾斜进行校正。本文中采用Hough变换检测出这两条平行直线，从而得到牌照的倾斜角度以及锁定车牌的一个最佳的平行四边形区域。根据水平边的斜率对像素位置进行校正，取平行四边形底边最低像素为基准点，作一条水平直线为基准底边，将平行四边形底边上的像素垂直下移到基准边上，其他像素依次下移。设车牌下边沿上最左侧端点像素的坐标为(x1,y1)，那么对于车牌中任一像素(x,y)，校正后的坐标为(x,y)，坐标变换满足：校正
17、前后坐标对应关系对于文本图像，经过二值化、行切分、字切分之后，就可以得到一个个字符图像，然后进行单字识别。车牌图像也是如此，在识别之前，也需要经过上述步骤，只是我们经过前面的工作后，现在已经得到了车牌的精定位图像，而且我们研究的也只是单排字的车牌，因此我们在这里主要研究字切分技术就够了。由于字符块在竖直方向上的投影不仅在字符间取得局部最小值，而且在字符内的间隙处也能取得局部最小值，因此字符的正确分割位置应该是在上述局部最小值的附近，并且这个位置应满足车牌字符的书写格式、字符的尺寸限制等其他一些条件。这样，利用垂直投影法对断裂字符进行分割具有较好效果，可适用于复杂环境下拍摄的汽车图像。标准的车辆
18、牌照(军车、警车、教练车、领事馆车除外)上有七个字符(不包括小圆点)，首位为省名缩写(汉字)，次位为英文字母，末五位为英文大写字母或阿拉伯数字，字符总长度为409mm，其中单个字符统一宽度为45mm，高90mm，第二、三个字符间间隔为34mm(中间小圆点宽l0mm，小圆点与第二、三个字符间间隔分别为12mm)，其余字符间隔为12mm。充分利用这些先验知识有助于单一字符边框的精确切分。本文介绍一种利用垂直投影信息结合先验知识约束的垂直分割方法。步骤如下：选水平分割线。利用霍夫变换求取水平分割线；2.求取候选垂直分割线。寻找图像垂直投影的谷底，作为候选垂直分割线位置；3.估算车牌尺寸。根据水平分割
19、线和候选垂直分割线提供的位置信息，利用车牌尺寸的先验知识，估算出整个车牌的宽度和每个字符的宽度；4.确定大间隔的位置。车牌的前两个字符和后面5个字符之间有一个较大的间隔。估算出车牌尺寸以后，利用车牌尺寸的先验知识，估算出大间隔的位置。根据垂直投影以及方差信息，在估算出的位置附近搜索，确定大间隔的左右边界，同时去掉了间隔符；5.求取垂直分割线。根据大间隔的位置，利用先验知识估算出垂直分割线的位置，然后在估算出的位置附近，根据垂直投影以及方差信息，从候选垂直分割线中确定垂直分割线。确定垂直分割线时，左右边框和内侧的字符之间的间隔较小，而且通常该处的噪声较大，而左右边框和外侧的背景之间往往有较大的间
20、隔。很多情况下，只根据投影信息和方差信息很难将左右边框与其临近的字符分开。我们通过强化先验知识的约束，有效地解决了这个问题。大间隔的检测一般是较准确的，同时除了首尾两个字符以外，别的字符的分割也是比较准确的。这样，根据大间隔的位置和其余字符的宽度能比较准确地计算出首尾两个字符的分割位置。以计算出的位置为中心，在其较小的邻域内搜索，确定垂直分割线。实验表明，这种方法能获得很好的分割效果。结合先验知识的垂直分割算法分割准确，能去除间隔符和左右边框的影响，见图4-4。3. 车牌字符的识别字符预处理为了消除字符的大小、位置对字符特征提取、识别的影响，需要对字符图像进行规范化处理，使它们变成统一尺寸的图
21、像。归一化一般分为位置归一化、大小归一化、笔划粗细归一化。这里我们主要介绍采用大小归一化对字符进行处理。大小归一化对不同大小的字符字号的变化引起字符尺寸相差接近十倍，对于字号不同的字符识别，需要有效地对对字符大小进行归一化。常用的大小归一化的方法也有两种。一种是将字符的外边框按比例进行线性放大或缩小成为规定尺寸的字符。显然，这个方法受到外围边框的确定影响很大。另一种方法是根据水平和垂直两个方向字符像素的分布进行归一化，但是对于有些字，如“目”、“且”，归一化后会使得它们形状更相似而难以区别，因此我们利用插值法来进行字符的大小归一化。本方法是通过归一化图像中的像素对应在原图像中的点的位置来决定归
22、一化图像中像素点的灰度值，设f(x,y)为原图像，为归一化后的图像，设为g()中的任意一点，对应于f(x,y)中的点(a,b)，根据(a,b)的具体情况来表示中各点的值。归一化的图像中像素点和原图像中的像素点的映射公式为：其中wid是原图像的宽度，wid1是归一化后图像的宽度；dep是原图像的高度，dep1是归一化图像的高度。归一化的图像中的点映射到原图像中的点(a,b)未必是整数，也就是在该点可能没有定义，那么当(a,b)不是整数时要进行像素内插变换。如果(a,b)是整数，表明x,y对应在原图像的网格点上，不必进行内插运算，直接令的灰度值等于位置(a,b)的灰度值如果(a,b)不是整数，一般
23、有三种内插变换方法来决定g(x0,y0)的值：邻近插值法、线性插值法、三次插值法。(1)邻近插值法邻近插值法中归一化的图像g(x0,y0)的灰度值是用(a,b)邻接的四个网格点(i,j)，(i +1,j)，(i,j+1)，(i+1,j+1)中最接近它的点的灰度值来近似(2)双线性插值法双线性插值中的g(x0,y0)的灰度值是用(a,b)邻接的四个网格点(i,j)，(i +1,j)，(i,j+1)，(i+1,j+1)，按照下面的公式来近似：其中，i,j为(a,b)取整的值，=a-i,=b-j。(3)双三次插值双三次插值方法是表面拟合方法的一种，这种方法会产生更加光滑的图像。使用立方插值函数形式的双三次插值方法，利用图5-8所示的邻近44=16个点的值构造一个连续曲面。在这三种插值方法中，双三次插值法的精度最高，但是运算速度也最慢，采用双线性插值法已经能满足精度要求，因此我们采用双线性插值法将字符图像归一化为3020。归一化后图像见图5-9所示。特征的提取各简单识别器采用了3种提取特征值的方法:外围轮廓法；投影法；外围轮廓和投影法。外围轮廓匹配法：外围轮廓描述数组，记录字符边框上各点到达框内字符像点的最短距离。识别时