《基于密集特征匹配的胸片肺野自动分割-佘广南.pdf》由会员分享，可在线阅读，更多相关《基于密集特征匹配的胸片肺野自动分割-佘广南.pdf（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、J South Med uni v，2016，36(1)：61-66 doi 103969jissn1673425420160111 61技术方法基于密集特征匹配的胸片肺野自动分割余广南，陈莹胤，钟丽明，阳维，冯前进南方医科大学生物医学工程学院，广东广州510515摘要：目的x线胸片中肺野的准确分割是胸片图像自动分析的必要步骤。本文采用局部特征的密集匹配和标号融合进行胸片肺野的自动分割。方法对于输入的待分割胸片，基于每个像素点提取密集sIFT描述子和图像块作为局部特征，采用密集匹配直接在整个参考图像特征集合中快速搜索近邻；密集匹配分为受限的随机初始化、近邻场传播和受限的随机搜索三步，并数次迭代
2、后两步。利用匹配得到的近邻场，提取标号图像块并进行加权，权重为匹配的相似度，最后重组为肺野的概率图，经阈值化处理即可得到肺野的分割。结果在公开的JsRT胸片图像数据集上进行测试，本文方法的Jaccard指标可达955。结论利用局部特征的密集匹配和标号融合能取得准确性高且稳定的胸片肺野分割效果，并且优于当前最好的胸片肺野分割方法。关键词：局部特征；密集匹配；标号融合；肺野分割；胸片Automatic segmentation of lung fields in chest radiographs based on dense matching oflocal featllressHG“册gM肼，
3、CHEN九gyiH，zHoNG Li卅i竹髟1，ANG w萌FENG Q谊可i九schooz可Biomed妇f E增加卵rm每so“fkrH MPd泐f uHi口Prs嘞G“口九gz伽5m51 5，Chi玎4Ab8tra吐objective Accurate segmentation of lung fields in chestradiograPhs(CxR)is very useful for automa丘c analysis ofC烁Inthis work，we PmPo鸵to use dense mat出ing of 10cal features锄d label fIlsion to
4、 automaHcaUygment the lungfields in C烁MetlIod8 For an input o，me dense Scale Invariant Feature Transfo珊(SIFD descriptors矾d raw inlagepathes were exhaded ashe local features for ea c：h pi)(el_The nearest neighbors of the local features were t11朗quickly鸵arChed by den鸵matchinZ direc廿y from me whole fea
5、ture datat of the reference hagesThe den靶mat曲g induded雌e steps：Umited random iniHazabon，propagation of nearest nei霉灿or field，andmjted random searh，witll iteraHon ofthe 1ast Mo steps for鸵veral岫esThe label inlaZe patches for eadh pi)(el were extracted accordin异to the nearest neighborfield and weighted
6、 by me matchi】唱siIrIilari哆Finall弦the weighted label Patdles were rearranged as廿屺1abel d拈s Probabilit)rinlage of龀input C)a艮from which mresholds were 0_btai】舱d for鸵肿entation of the lung fieldsReslllb The，accard index 0fme proposed me廿帕d reached 955on the pubUc ISRT datasetConclu8ion A hi异h accuracy an
7、d rcd，us恤ess can be dbtainedby adoP廿ng d肌se mat c：hing of local features矾d label fusion to Segment山e lung雠lds in C碌，arId the result iS better manthat of current靶gmentaHon memodKey wordl8：local feature；den5e mat曲g；l矗bel fusio珥lunggmentadon；c：hest radiograPhx线胸片是目前临床上广泛使用的医学成像技术，对于肺部疾病的分析与诊断具有重要的临床意义。
8、对胸片中肺野的准确分割是对疾病的分析与诊断的重要前提。目前，随着计算机辅助诊断的普及，已经有很多肺野自动分割算法被提出来了，分割准确度与速度也越来越高，但仍存在一些难点：锁骨和肋骨窗的强边界，容易导致局部极小值；极小的胸膈角难以准确分割等。收稿日期：20150913基金项目：国家自然科学基金(6147118761471188)；广东省自然科学基金(20 l 5A0303 1 3280)Supponed by National Natml Science Foundation ofChina(61471187，614711881作者简介：佘广南，硕士研究生，Email：911shefoxmail
9、com通信作者：阳维，博士，副教授，博士生导师，Email：weiy锄ggmgmailC0m目前胸片肺野分割算法主要有基于规则的分割、像素分类、活动形状模型等。基于规则的肺野分割，通常只得到较为粗糙的肺野轮廓，可用做活动形状模型等的初始解。基于像素分类的分割取决于分类器预测性能，一般难以准确定位肺野边界。形变模型瞳。31由于具有灵活的形变特f生而广泛应用于医学图像分割3，但也存在一些不足：(1)对初始解敏感，易陷人局部极小值点；(2)对算法参数敏感，造成性能不稳定。为实现准确、可靠的肺野分割，本文提出了一种基于图像特征密集匹配和标号融合的肺野分割方法。提取待分割胸片图像的局部特征，将像素点的局
10、部特征与肺野已知的参考图像集中的局部特征进行匹配，确定特征在参考图像集中的最近邻，并由此将参考图像中的肺野标号信息通过标号融合迁移至待分割的胸片图像，以实现肺野的自动分割。万方数据62 J south Med uni2016，36(1)：6177 http：ww、_jsmucoml材料和方法11材料实验数据采用公开的JSRT胸片图像数据集b1，包括1 54幅肺结节图像和93幅无结节图像，其中每幅胸片均有专家手工勾画的肺野轮廓。JSRT数据集中胸片原始图像大小为20482048，像素大小O175 mm，灰度深度为12比特。为了与文献结果比较和减少运算时间，原始胸片图像降采样为256256大小进行
11、实验和性能评价。本文中算法采用Matlab编程实现。图l本文方法基本流程Fig1 Flow chart of me PropoSed method12方法121方法的基本流程本文方法分为两部分实现：构建参考图像特征集合和通过密集特征匹配分割肺野。算法基本流程见图1。给定参考图像集合及其对应的分割标号图集合，参考图像特征集合构建过程如下：将所有参考图像进行灰度归一化处理；取所有图像中肺野外接矩形内的区域，将其长宽变换为固定之后叠加平均，形成模板图像T；将所有参考图像与模板图像T进行对齐，对参考图像标号图像作相应的空间变换，提取局部特征描述子并降维，得到参考图像特征集合以及对应的分割标号图像集合。
12、在构建参考图像特征几何完成后，对一给定的胸片图像I，对其进行分割的基本过程如下：对输入图像I进行灰度归一化处理；将图像I与模板图像T进行对齐；提取图像I的局部描述子并降维；进行K次密集局部特征匹配，得到K个近邻场；利用步骤4得到的近邻场和局部特征的相似性进行标号融合；将标号融合结果进行空间逆变换，使得标号融合结果与原始输入图像在空间上一致；将标号融合结果进行阈值化处理得到肺野分割结果，阈值可设为O5。122灰度归一化和空问对齐为减小胸片之间对比度差异对特征匹配造成的影响，对胸片灰度进行归一化处理。设胸片灰度直方图中的最后一个和第一个峰值对应的灰度分别为p和P胁，归一化处理后的图像灰度为胁=0，
13、-pIIlin)Q一-pIIlin)，其中p，表示像素i的灰度值。为了将特征匹配的搜索范围限制在较小区域内，需将胸片图像与模板进行空间对齐，使得对齐后的胸片中肺野位于大致相同的位置。本文采用仿射变换作为形变模型，通过最大化增强相关系数进行胸片与模板的对齐。123图像块匹配图像块匹配是指对图像块在图像中搜索其最相似的图像块(最近邻)，图像块与其近邻之间的位移关系由最近邻场表达。PatchMatc“71是一种高效的图像块匹配算法。由于图像的一致性，相邻的块与它们的最近邻可能具有同样的位移向量，因此PatchMatch算法可以将最近邻场传播到相邻的区域。PatchMatch算法分为三步：随机初始化、
14、近邻场传播、随机搜索。随机初始化指的是对图像A中的每一个图像块都在图像8中随机地指定一个最近邻，得到初始最近邻场；近邻场传播可以把好的位移关系传到周围的区域，从而逐步优化最近邻场。以像素点p佤i，为例，设j，是图A中以像素点_p(ij，为中心取的一个小块，当传播到点p(i_i)时，设块Bc。，是块A(ij)的最近邻，且与A(i；湘邻的块钒，、)都已经得到了更新的最近邻，分别设为鼠川、风山则B。虬。、风r。有可胄魄鼬胸最近邻，分别计算与瓯小鼠扎。、瓯川，这三个块的欧式距离，其中距离最小的则作为Ai，j，传播后的最近邻，这里假设B。州，。为氐j)传播后的最近邻；随机搜索指的是在以块B。吼。的中心像
15、素点p。吼。为中心的搜索窗内随机选出个块Bh山然后再从中择优选出一个作为氐。的最近邻，搜索窗的大小依次为形=m玎(14)1，m和n分别表示图像A的高、宽，是随机搜索次数，直到w=l；最后多次迭代近邻场传播和随机搜索的这两步，最近邻场会逐渐收敛。由于随机初始化后，图像A中至少有一个块得到了较好的最近邻的这种可能性很大，所以，经过多次迭代的传播和随机搜索，最后A中绝大部分的块都能找到合理的最近邻。PatchMatch算法可以高效求解两图像间图像块的近邻场。但当参考图像数量较多时，逐一将输人图像与参考图像进行块匹配是不实际的。为了解决这一问题，GollaIld8】提出了优化的块匹配标号融合算法，用于
16、解剖结构的分割。值得注意的是，块匹配算法的复杂度取决于图像A的大小而不是B，优化的块匹配算法是从参考图像集中搜索K个近邻，而不是只从与图像A相似的图像B中找个近邻。标号融合的时候，每个近邻的标号的权重取决于匹配对之间的相似度，跟块匹配算法一样，不是只取中心像素点的标号，而是基于中心点取了个块。另外，随机初始化和随机搜索都被限制于一个固定大小的搜索窗内。由于不用预先检索出相似图像B，这个优化算法效率更高，而且由于有搜索窗的限制，减小了误匹配率，实现了更高的准确率。124特征密集匹配与标号融合对于胸片图像，由于图像采集条件和病人个体差异，不同胸片肺野灰度和对_i一弋、I谗r一_弦C11)，驯谤呐万
17、方数据http：www-j-smucom J South Med Univ，2016，36(1)：6166 63比度差异较大。直接通过图像块匹配和标号融合，难以得到可靠的分割结果。为了解决这个问题，本文采用原始图像块和密集尺度不变特征转换描述子(SIFT)冉3作为图像的局部特征。原始像素块是一种具有较强区分能力的描述子，但对噪声和形变很敏感，为了平衡描述子的不变陛和区分能力，原始图像块的尺寸不能过大。sIFT描述子在计算机视觉有着广泛的应用，具有很好的旋转不变性，通常用于描述局部区域的形状特征，对于图像的形变和对比度能够保证一定的不变性。本文中，原始图像块的大小取99，ST描述子的维度是128
18、，局部特征的维数为209。为了减小计算复杂度，采用了主成分分析“们对特征向量进行了降维。本文中，局部特征的维数降为40，保持总方差的95。特征匹配与块匹配不同，对于输入图像的每一局部特征，直接在所有参考图像的局部特征中搜索其对应的K个近邻。设共有N幅参考图像，参考图像大小为mn，局部特征的维数为D，则参考图像特征集合可用大小为DNmn的四阶张量表达，参考图像特征集合可通过离线方式提取并保存。特征匹配搜索近邻的步骤与PatchMatch算法相似，分3步进行迭代：受限随机初始化、近邻场传播、受限随机搜索，其中近邻场传播仅在图像平面内进行。如图2所示，右边的大长方体表示特征向量集，圆点代表该点对应的
19、特征，浅蓝色方框表示固定大小的搜索窗，表示参考图像序号，范围是1到N。随机初始化时，输入图像特征在参考图像特征集合中随机指定个近邻。比如图2所示，输入图像相邻点的近邻可以位于不同参考图像中。近邻场传播的方法与PatchMatch算法类似，仅在参考图像的图像平面内进行传播，即近邻场传播时，近邻场对应的参考图像序号保持不变。随机搜索时，对输入图像任一点随机选择参考图像序号，在以当前近邻为中心的搜索窗内随机选取一点，如果随机选取的特征比当前近邻与输入图像特征之间的距离小，则将随机选取的近邻作为更新后的近邻。特征之间距离采用欧式距离。重复特征匹配过程K次，对于输入图像可以得到K个近邻场(凡忉，记录了输
20、入图像中像素点特征在参考图像特征集合中K个近邻的空间位置和参考图像序号信息。在标号融合过程中，本文采用基于图像块的标号融合方法“1。131。设标号图像中像素值为0或者1，其中1表示像素点为肺野。对于输入图像的任一像素点(戈，y)，在标号图像中取以其近邻为中心的小块(如55大小的图像块)，并以点(为)，)的特征v“，订与其近邻的特征v(。加。、)的相似度作为标号块的权重，由K近邻加权得到的标号块为羔 点，。wf，j矾枷)wf (1)其中(玎矾，(训)滚示以点(戈，y)在第i个近邻场n研对应的近邻，2顽m，n为中心取的标号块，权重w，一pI竺垫塑趔l，删儿V2)=wf 2expll，6)L凡Vl，
21、VzJ2 I o J只1dv2d)2表示两个D维向量的欧式距离的平方，另雨外，s的取值要适中，过大则权重都约为1，过小则权重都约为O，实验中可取为待分割图像中所有像素点与其近邻的距离的均值。最后，将加权的标号块进行重排和叠加为输入图像对应的标号图，并进行归化处理。为了得到与原始输入胸片空间位置对应的分割，还需将标号融合结果用模板匹配的空间变换进行逆变换。标号融的结果可以看缁唰壁陆懈图，刘宴j斩阈值化或使用图割方法“引进行处理即可得到肺野的分割。-麓图2密集特征匹配示意图Fig2 General、，iew of dense mat出ing of 10caI featuresLeft：mput I
22、mage，mght：Features Databa鸵of reference images2实验和结果21实验实验中，将JsRT胸片数据集分为大小相同的两个子集，分别用作训练集和测试集。肺野分割性能指标包括Jaccard指标(JI)和平均边界距离(MBD)，Jaccard值越大、MBD值越小则表明分割的性能越好，其中： 觑c删：熙(2)叩c删2面而 ozJ脚(G扭，黝= 挲+挲N。 NR 这里GT、SM分别表示手动分割的和自动分割的标号图，1为肺野，0为背景，公式(2)计算的是这两个标号图的肺野区域的重叠率，重叠率越高表示分割效果越好；公式(3)计算的是GT、SM中肺野的边界GTB、SMB之间
23、的欧式距离的平均值，当手动分割的肺野区域与自动分割的完全重叠，Jacc砌值为1，MBD值为0，重叠率Jaccard越高时，D值越小，表示分割效果越好，万方数据64 J South Med Univ，2016，36(1)：6177 http：ww、Ljsmucom图3近邻数不同的标号融合结果Fi昏3 ReSult of l渊fusion诵m d雌rent nhbers of nearest nei甜morsD嘛，孓2呼Ib一刚表示GTB上的任意点昏到SB的最短距离，他、脱分别表示GTB、SMB上像素点的总个数。22结果图3反映了特征匹配近邻数K对Jaccard指标的影响，cd分别是近邻数K等于l
24、、2、5、7、10时的分割结果。图4显示的是不同近邻数时标号融合后的结果，左中至右近邻数分别是1、5、10。可以看出近邻数增加时，分割得到的肺野轮廓更平滑、分割结果更准确。图4近邻数K对分割结果的影响F唔4 E恤ct of K(nu快r of nearest neighbors)on鸵gIentaHon re妯ts图5主要反映了密集匹配过程中迭代次数对分割性能的影响，横轴表示近邻数。图中可见Jaccard值在第二次迭代后明显提高，迭代次数大于3且近邻数大于6时，Jaccard值逐渐趋于稳定。由于迭代次数与近邻数越大，需要的运算时间会增加，平衡效率和分割性能，本文选取的迭代次数为3，近邻数为10
25、。图6反映的是权重系数s对Jaccard指标的影响。当s很小，比如01时，对Jaccard的影响较大，尤其是近邻数较小的时候；当s为所有像素点与其近邻的欧式距离的均值(即图中舢口n(D越)，约为95)，和s等于10或100时，Jacc莉值几乎完全相等；所以，为省去计算s的时间，本文直接选取s为10。图7是JsI盯数据集中部分图像自动分割的结果与手工分割结果的对比。图中红线和绿线分别为手工勾画和本文方法得到的肺野轮廓；第1行是容易分割且效果很好的例子，第2行是较难分割且分割效果不太理想的例子。JI代表Jaccard指标。表1列出了本文方法和其他肺野分割方法在JSRT数据集上的分割性能，本文方法对
26、应的Jacc莉指标优于其他方法。表2列出了各算法用相应的编程语言实现时运行时间的比较。万方数据J south Med uni2016，36(1)：6166O960O9550 950鼍O 945呈o940O935O930O9250920 LL_-LLLJL上_J。_JI 2 3 4 5 6 7 8 9 10 11 12Number of nearest nei曲bors图5密集匹配迭代次数的影响Fig5 Effect of iterations of dense matching097O95q O93o91引lII：二：=：=二：=譬=：=：二：二二：Si哪a=O1一Si肿a=1一Si2ma=1
27、0一Si肿a=100一Sigma2mean(Dist)J l一一I2 3 4 5 6 7 8 9 lO 11 12Number ofnearest nejghbors图6权重系数s的影响Fig6 Effect of weight factorp二写矿。可严孽-P写图8数字胸片自动分割实例Fig8 Instances of automatic segmentation in DR3讨论胸片中细小的胸膈角和受锁骨影响的肺肩区域的准确分割比较困难，并且肋骨窗的强对比度会影响分割结果的准确性。从实验结果看，本文方法在一定程度较好解决了这些问题。从图8中分割结果较差的图像来看，严重胀气的结肠或周围组织被
28、错分为肺野区域，而万方数据66 J South Med uni v，2016，36(1)：6177 http：www_j-smucom表1肺野分割算法性能比较rab1 ComParison of Performances of lung field segmentationalgorimms表2肺野分割运行时间的比较T曲2 Comparison of execution time on lung fields segmentation由于大量液体存在而模糊的肺野区域被错分为非肺野，这些问题尚需进一步解决。4结论本文提出了一种采用图像特征密集匹配和标号融合的胸片肺野分割方法。与一般的两图像间块匹
29、配方法不同，本文采用密集sIFT和原始图像块作为图像的局部特征，直接将输入图像特征与参考图像集合的特征进行匹配，避免了参考图像子集的选择问题，有效利用所有参考图像及其标号的信息。在JSRT胸片图像数据集上，本文方法得到了目前为止最高的分割精度。此外，实验结果还表明本文方法具有很好的推广能力。在进一步的工作中，我们将对特征匹配方法进行推广应用，如用于胸片中结节的自动检测和肋骨的抑制。参考文献：1Amlato sG，Gigcr ML，MacmahonL Automted lutlg segrnentatjonin digitized postemanterior chest mdiogmphsJA
30、cad Radi011998，5(4)：245-552cootes TF，Gj E，7raylor cJActive印pearance models lJjIEEETrans Pattem Anal Mach Intell，1998，23(6)：68153Vhn GiImeken B，Fran百AF，staal JJ，et a1Active shape modelsegmentation with optimal featurcsJJIEEE 1Yans Med Imaging，2002，21(8)：924334xu T，Mandal M，Long R，et al_An e旭e-region
31、force guided actiVeshape 印proach for automatic lllIlg field detection in chestradio鲫hsJcomput Med Imaging Graph，2012，36(6)：452635Shhishi J，KatsIlragawa S，Ikezoe J，et a1DeVel叩ment of a digitalimage database for chest radiogr印hs with and wimout a 1ungnodule：receiver operating characteristic analysis o
32、f radi0109istsdetection of pulmonary nodulesJAJR Am J Roentgenol，2000，174(1)：7146 Evangelidis GD，Psamkis EZPammetric image aligment usinge11hanced coelation coe伍cient maximizationJIEEE TransPanemAnal Mach Intell，2008，30(10)：1858657B锄es c，Shechtman E，Finkelstein A，et al PatchMatch：A砌domized co仃espond
33、ence algorithm for stnlctural image editingJAcM Tralls Graph，2009，28(3)：3415281a VT，Giraud R，collins DL，et al_Optimized patchmatch for nearreal time卸d accurate label fIlsionMMed Image ComputCompuAssist，2014，17Qt3)：105-129 Lowe DG0bject recognition疔om 10cal scaleinvariant featuresc The Proceedings of
34、 the Seventh IEEE IntemationalConference onIEEE1999：1150-71 OHenr6 A，willi锄s LJP血cipal component analysisJwileyIntcrdiscip RcV Comput S诅t，2010，2(4)：433-591 1Coup6 P，Manj6n JV；Fonov V；et a1Patchbased segmentationusing expert priors：application to hippocarnpus and VentriclesegmentationJNeuroimage，2011
35、，54(2)：940-5412Rousseau FHabas PA，stIldh01me cA supervised patch_based印proach for h啪atl braill labeliIlgJJ IEEE Trans Med Imaging，201130(10)：1852-6213wu G，wang Q，zhang D，et al A generative proba埘lit)r model ofjoint 1abel fIlsion for multiatlas based bmin segmentationJMedImageAnal，2014，18(6)：8819014c
36、ente S，Kolmogorov V Rother cGraph cut based imagesegmentation with collnectivity priorsc2008 cVPR IEEEConference2008：1-81 5candemir s，Jaeger s，Palaniappan K，et a1Lung segmentation inchest mdiogmphs using a11atomical atlases witll no埘gid registIationJIEEE Tralls Med Imaging，2014，33(2)：577901 6Van GiI
37、lIleken B，stegma皿MB，Loog M segmentation of锄atomical s仃1lctllres in chest mdio铲aphs using supervisedmethods：a comparative stlldy on a public databasel副Med ImageAnal，2006，10(1)：194017shao Y，Gao Y Guo Y，et a1Hierarchical lung field segmentationwi廿l joint shape and appeamce sparse 1eanling LJjIEEE TransMed Imaging，2014，33(9)：176180(编辑：孙昌朋)万方数据