《基于多特征组合的球形果蔬智能分选方法-朱黎辉.pdf》由会员分享，可在线阅读，更多相关《基于多特征组合的球形果蔬智能分选方法-朱黎辉.pdf（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、ComputerEngineeringandApplications计算机工程与应用 2016，52(5) 173基于多特征组合的球形果蔬智能分选方法朱黎辉，李晓宁ZHU Lihui，LI Xiaoning四川师范大学计算机科学学院，成都610101College of Computer Science，Sichuan Normal University,Chengdu 6 1 0 1 0 1，ChinaZHU Lihui，LI XiaoningIntelligent sorting method for spherical fru its and vegetables based on co
2、mbined charac-teristicsComputer Engineering and Applications，2016，52(5)：173-178Abstract：To improve the efficiency of the spherical fruits and vegetablessorting and reduce the cost of sorting，a newspherical fruits and vegetablessorting method based on multiple feature combination under the machine vi
3、sion technologyis proposedFor single feature describe image is uncomprehensive，a combinative feature model of color moments，Zernike moments and gray level CO-occurrence matrix is established，it is used to determine the comprehensive characteri-stics of fruits and vegetablesBefore the calculation of
4、Zernike moment，binary image edge extraction based on the Hcomponent threshold is carried outUsing BP neural network and support vector classifier for sorting the experimentalsamples respectively，by simulation experiments，the algorithm of multiple features combinationS feasibility and effectiveness i
5、s verifiedThe BP neural network and support vector machine classifierS sorting effect is contrasted and ana-lyzed，sorting rate both reaches more than 95Key words：color moments；Zernike moments；gray level COoccurrence matrix；support vector machine；fruits and vegetablessorting摘要：为提高球形果蔬分选效率以及降低分选成本，提出了
6、一种在机器视觉技术下球形果蔬多特征组合的智能分选方法。针对单一特征刻画图像特征不全面的问题，建立了颜色矩、Zernike矩、灰度共生矩阵三种特征的组合特征模型，用以确定果蔬的综合特征。Zernike矩在计算前进行了基于H分量阈值二值化图像边缘提取。利用BP神经网络和支持向量机构造分类器，分别对实验样本进行分选。通过仿真实验，验证了多特征组合算法的可行性和有效性，对比分析了BP神经网络和支持向量机分类器对分选效果的影响，分选率均达到了95以上。关键词：颜色矩；Zernike矩；灰度共生矩阵；支持向量机；果蔬分选文献标志码：A 中图分类号：TP39141 doi：103778jissn100283
7、31140302801 引言传统的水果分选，完全由人工来完成。现在采用的自动选果机，能在水果全自动传送过程中对水果进行称重分选，但这没有考虑到水果表面缺陷、形状怪异、颜色异常等情况，缺乏科学整体性的评判。运用机器视觉技术，模拟人工分选，可保证果蔬分选的准确性和客观性。基于机器视觉的果蔬分选技术，研究者们已开展了很多工作。Unay等提取苹果的结构和几何特征，使用统计分类器进行训练并分级，能达到935识别率Yimyam在计算机视觉基础上采用遗传规划技术对农产品进行分级n，。现有基于机器视觉的识别研究集中在对特定类别果蔬分级3-51或不同类别的水果分类6-Sl上，分类及分级同时实现的分选技术寥寥无几
8、。本文结合实际项目，利用基于机器视觉技术对球形果蔬进行分类与分级的分选识别。分选关键在于提取图像有效特征和分类器的设计。本文采用颜色矩p，、Zernike矩”町和灰度共生矩阵”特征，将所提取到的特征进行线性组合，构成组合特征向量。分别采用BP神经基金项11：四川省应用基础计JElJ(No2013JY0086)；四川省科技创新苗子工程(No20132033)。作者简介：朱黎辉(1990一)，女，硕士研究生，研究领域为图像处理与模式识别；李晓宁(1972一)，男，博士，副教授，研究领域为图像处和模式识别，E-mail：lxnsicnueducn。收稿13期：20140320 修回日期：201405
9、13 文章编号：10028331(2016)05017306CNKI网络优先出版：2014-0815，http：wwwcnkinetkcmsdoi103778jissn1002833114030280html万方数据Computer Engineering andApplications计算机工程与应用网络”2I和支持向量机”进行果蔬分类器的设计。本文提出的方法解决了球形果蔬分类和分级同时处理的问题。2材料与分选流程21 材料获取由于目前尚无开放的水果图像数据库供研究人员使用，本文自行设计了果蔬拍摄装置采集果蔬图像，建立球形果蔬图像数据库。球形果蔬拍摄装置，如图1所示。其中相机机型为Canon
10、 EOS 60D，分辨率3 456x2 304，白平衡6500K，感光度400，像素800万。光源的光照强度保持在3000LUX，保障拍摄样本图像光照均匀，PC机上安装了管理采集图像的应用程序，拍摄图像经USB接口直接输入PC机。数码相机r 幽像采集箱光源一样本 lP(二j支撑装置I网l 球形果蔬I警I像拍摄装置首先由有经验的果农将统一采购来的苹果、番茄、江西天草柑进行分级，分别分为一等、二等、三等，每类每个等级分别由人工分选出10枚样本。然后采用上述拍摄装置获取图像。拍摄时，每个样本摆放角度方向有5个，分别为：蒂部正朝上、脐部正朝上、蒂部朝上左或右倾斜约30。、脐部朝上左或右倾斜约300、任
11、选侧面朝上，每个角度采集一张彩色图像。按此采集方案，采集苹果一、二、三等(APl，AP2AP3)，番茄一、二、三等(TMl，TM2，TM3)，天草一、二、三等(ORl，OR2，OR3)各50幅，共450幅图像。图像大小统一处理为1281283，JPG格式。图2给出部分采集到的水果彩色图像。删 艘 棚训TM： TM，删 眦 。R，图2部分球形果蔬图像22 分选流程图3为球形果蔬分选流程框架。对于训练图像，分别提取颜色矩，Zemike矩，灰度共生矩阵特征，然后进行特征组合，将组合特征放入果蔬特征数据库，利用分类器进行训练；对于测试图像，提取同样的组合特征，通过分类器分类，得到分选类别。I警I 3
12、球彤果蔬分选流程框架3图像特征提取31颜色矩特征提取图像颜色特征能对图像色彩信息进行有效的表达。颜色矩(Color Moments，CMs)因其不需要量化颜色空间及特征向量维数低，被广泛地用于图像颜色特征提取。本文使用图像的RGB空间。首先提取图像的R，G，B通道强度值，并对每个通道分别运用公式(1)求取该通道均值(Mean，Mn)以及标准方差(Standard deviation，Sd)。每张果蔬图像有3个颜色分量，每个分量有2个颜色矩，组合6个矩，得到图像的一个6维颜色矩特征。N Mn。=古，。，Sdi=(-拉(11一Mnf)2)l胆(i)一J=l J=I式中i为R。G，B，代表某个通道。
13、，表示图像第i颜色通道中第，像素点的灰度值，它的取值范围是0，255，是像素总个数。32 Zernike矩特征提取为对图像集进行精确分类，需提取图像旋转和尺度不变性的形状特征，且特征应有足够的辨别能力和噪声敏感度。因Zemike矩(Zemike Moments，ZMs)特征具有期望的属性，如旋转不变性，噪音鲁棒性，并能高效描述图像多层次的形状特征，所以本文使用ZMs视觉特征来表示果蔬图像的形状特征。基本操作步骤如图4所示。黼H嚣卜z。兰乏矩H篡勰i量ke图4 Zemike矩特征提取步骤(1)二值化图像。对待处理图像进行二值化，使前景区域像素值为l，背景区域像素值为0。直接对原图5(a)进行灰度
14、处理，再以灰度均值作为阈值进行全局二值化处理，结果如图5(b)所示。提取原图H(Hue)分量，并以其中位数作为阈值，进行二值化处理，效果如图5(C)所示。显然，第一种方法处理后图像的部分边缘信息丢失，不利于后期Zemike矩形状特征提取，因此本文采用第二种方法进行二值化。(2)计算Zemike矩。首先，根据式(2)的数学定义计算径向多项式，其中一是一个非负整数，代表径向多项式的阶数；m为正整数或负整数，代表方位角度的重万方数据朱黎辉，李晓宁：基于多特征组合的球形果蔬智能分选方法口口图5(a)原图 图5(b)灰度均 图5(c)H分量中值为阈值的二值 位数为阈值的二值化图像 化图像数。m和n需满足
15、nImI=even(偶数)，ImI甩；k是一个计数值；f(x，Y)为图像的数字化矩阵形式，P为原点到(x，Y)点长度的矢量。艮。=如-荟ImV2(-1)砾而丽篙器丽户饱)其次，根据式(3)计算一个单位圆内的复数二维Zemike基函数。其中m、以及P同上；0为矢量P与z轴的夹角；R为式(2)计算所得；j取值为仃；e是自然对数函数的底数。Vn,m(p，臼)=尺(p)e“，Lol1 (3)“_，知棚(圳肿班杰肛肚肛q(4) 10，其他复数Zemike多项式满足如式(4)的正交性条件，其中表示共轭，正交性意味着不同阶数和重数的矩没有冗余或重叠信息，这属性对于图像来说，可保证每个矩的贡献是独立的。再次，
16、计算图像的Zemike矩。一个图像的r阶m重的Zemike矩在一个单位圆上，定义为式(5)。对数字图像，式(5)中的积分用求和代替。f(P，0)为目标图像f(x，Y)转换到极坐标下的单位圆内的采样矩阵。此步骤是将目标的重心作为极坐标的圆心，以圆心到目标区域内最外像素点的距离为半径。直角坐标到极坐标的转换为：x=pcosO，y=psinO。图6为图像从直角坐标系转换到极坐标系的直观图。z=睾rI：f(P，臼)叼，。(p，o)pdo (5)z=半几，y)。()=N一1N一1 一半f(x，y)R(p叫)eJm8xy (6)图6直角坐标系转换到极坐标系图最后，一幅像素为NxN图像的Zernike矩离散
17、表示为式(6)，其中P。为原点到(x，y)点的长度矢量；为矢量P，与工轴的夹角；P旷0，的数学定义为式(7)和式(8)。J(2x-N+1)+(一12y)2p掣2矿一 (7)0N=tan-1(等等) (8)(3)组合Zernike矩特征向量。一幅二值化图像的形状特征可以用一组Zemike矩特征向量表示，低阶矩特征向量描述图像整体形状，高阶矩特征向量描述图像细节。为了兼顾高、低阶的矩，因此本文选择表l所列的Zernike矩来表示一幅果蔬图像的形状特征。表l 使用的Zemike矩特征Z 矩个数Z22Z3，z4：Z5 3计算表1所列的12个Zernike矩特征，然后将它们进行线性合并，组合成一个行向量
18、，得到了整幅图的Zernike矩形状特征向量。33灰度共生矩阵统计特征提取灰度共生矩阵(The GrayLevel Cooccurrence Matrix，GLCM)能表达图像的局部不规则但宏观有规律的特性，可作为纹理特征提取的一种方法。本文使用灰度共生矩阵的部分二次统计量来对水果图像纹理进行刻画，主要步骤如图7。1黼H苕H冀萎歪蓬H繁蓄H蓥箍1图7 GLCM纹理统计特征提取步骤(1)压缩灰度级。对一幅像素为MNx 3的RGB的水果图像，首先将其灰度化为MXN的灰度图像，此时灰度级为256级。级数太多将导致计算量及灰度共生矩阵都大的问题，因此求灰度共生矩阵之前，将灰度级均匀分段压缩为8级的图像
19、，。(2)计算灰度共生矩阵。GLCM获取的是两个位置像素共生灰度的矩阵，能保留空间信息。式(9)是一幅大小为MN灰度图像的GLCM数学定义。c=x兰=ly龇=l Iv,妊卜波“H瓴圳叫(9)其中C。出是图像I偏移量为(缸，Ay)的灰度共生矩阵，因进行灰度级的压缩，所以最后获得大小为88的矩阵；1i8；1，8。共生矩阵对旋转较敏感，因此使用如图8所示的不同偏移量，即角度西分别取00，450，90。，135。，距离d统一取为1，最后得到4个不同方向上ll223345乙乏000磊五磊磊厉及Ol2345、1|一I|，一一，rL1J卜【万方数据万方数据朱黎辉，李晓宁：基于多特征组合的球形果蔬智能分选方法
20、每类果蔬图像随机抽取25幅作为训练集，剩下的25幅图像作为测试集。一次分选实验中，共测试225幅图像。51不同分类器的对比分选实验为判断图像特征向量以及分类器的选取对分选实验的影响，因此对9类水果一起做实验，主要完成两个实验。实验l是BPNN分类器下单一特征和组合特征的分选实验，实验2是SVM分类器下单一特征和组合特征的分选实验。实验l和实验2得到的分选实验结果如表2所示。表2实验l和实验2的分选实验结果表2中时间表示提取一幅图像特征所耗时间，分选准确率代表9类果蔬共225幅测试图像进行10次分选实验的平均分选准确率。如下分别从特征角度和分类器角度对实验结果进行分析：(1)从特征角度出发。表中
21、单一特征和组合特征共7个特征的特征维数均不高，相比原始图像维数上降低约1 200倍；特征提取算法上，组合特征所用时间稍高于单一特征提取时间；本数据库中图像的CMs特征区分度最高，ZMs次之，GLCM最低，由区分度权重考虑2个特征的组合应属CMs+ZMs特征较CMs+GLCM和ZMs+GLCM效果好，表2数据正好验证了此理论；CMs+ZMs+GLCM特征在满足特征维数、时间耗费较小前提下，分选效果比其他6种特征好。(2)从分类器角度出发。BPNN分类器中输入层节点数等于对应的特征提取算法的维数，输出层为节点数是4个。BPNN分类器采用“取7测3”原则”进行训练，因此在总的225幅训练图像中，15
22、7幅用于训练，其余的一分为二用于验证和测试，因BPNN是以最小分类错误为目标，实验将误差控制在03以内，训练结果在这个范围内就保存训练网络。针对提供的225幅测试图像，在选择不同特征向量的基础上，分别进行10次分选统计结果如表2，可看出使用BPNN分类器进行果蔬分选，效率与提取到的特征向量区分度大小有关，使用CMs+ZMs+GLCM特征向量分选率能达到9722。一对一的SVM分类器在每种特征提取基础上进行分选，分选效果也是CMs+ZMs+GLCM组合特征最佳，lo次平均分选率能达到9511。其余特征向量得到的分选效率相对较低。总体上看，BPNN分类器和SVM分类器分选准确率差距较小，但因SVM
23、不用反复训练达到误差允许范围内，所以SVM分类器比BPNN分类器更符合实际应用的需要，因此本文优先选择SVM分类器。52基于SVM分类器多特征分选实验分析本节重点分析基于SVM分类器下的多特征分选实验。表3为9类别球形果蔬采用CMs+ZMs+GLCM组合特征，通过一对一SVM分类器做分选实验得到的一次分选结果混淆矩阵，行代表一个实际类的实例，列代表一个预测类的实例。从表3可见，每一类取25张进行测试。其中25张苹果一等图像，只有22张分选正确，2张被预测为苹果二等，l张预测为天草三等，导致分类的准确率为880。从整体上观察，苹果类不容易分入番茄类、番茄类不容易分入天草类，即不同种类之间误分基本
24、不存在；同类但不同等级因图像相似度较大，容易出现误分现象，如25幅番茄二等中有2幅分入番茄三等，25幅番茄三等中有4幅分入番茄二等，1幅分入番茄一等。6结束语本文提出了基于多特征组合的球形果蔬智能分选方法，能对不同种类不同类别的球形果蔬进行分选，即实现了果蔬的分类和分级工作。在特征提取上，对表3分选结果混淆矩阵万方数据178 2016，52(5) ComputerEngineeringandApplications计算机工程与应用CMs、ZMs、GLCM特征进行线性组合，并实验验证了组合特征的适用性。在分类器的选择上，通过对比分析BPNN分类器和SVM分类器对果蔬分选的影响，综合考虑不用控制B
25、PNN训练误差因素，优先选择SVM分类器。本文提出的多特征组合的球形果蔬智能分选方法实验结果有效，具有很好的分选性能。下一步将在此基础上，扩大实验数据库，重点研究基于大数据集的果蔬图像的分选技术，实现扩容条件下算法和系统的普适性。参考文献：1Unay D，Gosselin B，Kleynen O，et a1Automatic gradingof bicolored apples by multispectral machine visionJComputers and Electronics in Agriculture，20 1 1，75(1)：204212【2】2 Yimyam P，Cla
26、rk A FAgricultural produce grading bycomputer vision using genetic programmingC20 1 2IEEE International Conference on Robotics and Biomimetics(ROBIO)，2012：458463【3】3崔永杰，李平平，丁宪，等猕猴桃分级果实表面缺陷的检测方法J】农机化研究，2012(10)：1391424】4 Roseleena J，Nursuriati J，Ahmed J，et a1Assessment ofpalm oil fresh fruit bunches
27、using photogrammetric grading systemJInternational Food Research Journal，20 1 1，18(3)：99910055】Alipasandi A，Ghaffari H，Alibeyglu S ZClassificationof three varieties of peach fruit using artificial neuralnetwork assisted with image processing techniques【J】、International Journal of Agronomy and Plant
28、Production，2013，4(9)：21792186【6王水平，唐振民，范春年，等基于SVM的水果分类算法研究【J武汉理工大学学报，2010，32(16)：44。477】Zhang Y，Wu LClassification of fruits using computervision and a multiclass support vector machineJSen-sors，2012，12(9)：12489125058】Rocha A，Hauagge D C，Wainer J，et a1Automatic fruitand vegetable classification from
29、 imagesJ】Computers andElectronics in Agriculture，2010，70(1)：961049】Bhuravarjula H K，Kumar V N S VA novel contentbased image retrieval using variance color momentJIJCER，2012，1(3)：939810】Ryu S J，Kirchner M，Lee M J，et a1Rotation invafiantlocalization of duplicated image regions based on ZemikemomentsJI
30、EEE Transactions on Information Forensics and Security，2013，8(8)：1355137011Reddy R，Reddy B E，Reddy E KClassifying similarityand defect fabric textures based on GLCM and binarypattern schemesJInternational Journal of InformationEngineering&Electronic Business，2013。5(5)：25-33【12】Ye Jihua，Hu Dan，Xia Gu
31、omiao，et a1An advancedBPNN face recognition based oil curvelet transform and2DPCAC20 1 3 8th International Conference on Cornputer Science&Education(ICCSE)，2013：10191022【1 3】Salazar D A，V61ez J I，Salazar J CComparison betweenSVM and logistic regression：which one is beRer todiscriminate?JRevista Colo
32、mbiana de Estadistica，20 1 2，35(SPE2)：223237【14】缪新颖，褚金奎，杜小文LMBJ)神经网络在大坝变形预测中的应用【J】计算机工程与应用，201l，47(1)：22022215】Hsu C W，Chang C C，Lin C JA practical guide tosuppoa vector classification【EBOL】2013-1221】http：11wwwcsientuedutwcjlinpapersguideguidepdf16】刘昊，方雯逸基于BP神经网络的人脸朝向分类的新思路J】计算机科学，2012，39(1 1A)：3663
33、74(上接121页)【4】中华人民共和国招标投标法实施条例J】建筑市场与招标投标，2012(1)：10-19【5Marsaglia G，Zaman AA new class of random numbersgeneratorsJAnn Appl Prob。1991，1(3)：4624806Marsaglia G，A current view of random number generatorsCl 6th Symposium on the Interface between Computer Science and StatisticsNorth-Holland，Amsterdam：Els
34、evier Science Publishers，1985：310【7沈华韵，张鹏，王侃改进线性同余法随机数发生器J】清华大学学报：自然科学版，2009(2)：1911938】肖旭韬，张雪锋基于线性反馈移位寄存器和组合猫映射的伪随机序列生成方法【J】计算机应用研究，2013(1)：161164【9】杨自强，魏公毅常见随机数发生器的缺陷及组合随机数发生器的理论与实践【J】数理统计与管理，2001(1)：455 I【10】孟陶然评标专家均衡随机抽取模型【J中国管理信息化，2009(15)：50531 l】Caves C MInformation and entropyJPhysical ReviewE，1993，47(6)：4010401712】Kuipers L，Niederreiter HUniform distribution of sequencesMIS1：John Wiley&Sons Inc，1974：98112【1 3Nag P KEngineering thermodynamicsMIS1】：Tata Mc-Graw Hill，2005：374814】吴造林拉格朗日乘子法在信息论中的应用【J】科技情报开发与经济，2008(23)：10810915秦穆云南省科技奖励工作改革创新探索和实践【J】中国科技奖励，2012(1)：9t93万方数据