《基于移动激光点云的交通标志牌提取(共10页).docx》由会员分享，可在线阅读，更多相关《基于移动激光点云的交通标志牌提取(共10页).docx（10页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、精选优质文档-倾情为你奉上基于移动激光点云的交通标志牌特征提取瓮升霞，陈一平收稿日期：2015-12-18录用日期：2016-02-23基金项目：重点实验室科技基金项目（9140CC80339）*通信作者：ypchenhk*(厦门大学信息科学与技术学院,福建 厦门,)摘要：针对有效采集到的道路两旁高密度点云数据，本文提出了一种基于移动激光测量技术进行户外交通标志牌的自动检测方法。首先阐述基于交通标志牌反射率的检测方法，利用交通标志牌在点云中的反射强度与其他地物目标区别较为明显的特性进行目标提取。再结合基于交通标志牌的形状特征检测方法，通过提取杆状物并分析杆状物中非杆状部分的维度特征，提取出具有
2、面状维度特征的目标物作为所要检测的交通标志牌。最后综合检测结果，有效检测到点云数据中的交通标志牌，且召回率优于常用的基于反射率的方法，实验表明该方法能够取得好的提取结果。关键词：移动激光扫描；交通标志牌检测；主成分分析交通标志牌作为一种重要的交通基础设施，可以为驾驶员和行人提供道路指引信息，规范驾驶员行为的同时也起到了便利交通、保障安全的作用。鉴于此，交通部门定期对交通标志牌的测绘数据进行更新和维护。传统的测绘技术效率低，且受天气地形等因素影响。采用现代移动测量技术，移动激光车载系统沿道路行驶，可有效获得高精度点云数据和动态影像，极大的削减了人工成本，减少了人为误差。对于获得的点云数据，人工检
3、测显得尤为繁琐，自动化提取越来越成为未来的发展方向，但是需要高效的检测率才能真正应用于实际场景中。基于视频图像的交通标志牌检测已经进行了十多年的研究1,2,3，图像的采集需要较好的天气和光照条件对目标物的位置进行正确的识别。然而，点云数据获取即使在恶劣的天气条件下也能完成。与在交通工程中普遍应用的人工视觉系统相比，激光扫描对点云的采集更加准确，密度也更高4,5，例如，RIEGL VMX-450移动激光扫描系统每平方米可以采集到高达7000-8000多个点的三维点云数据。移动激光雷达系统可以完全捕获道路环境，包括真实的地理空间信息和回波反射能量，其中回波反射可以反映物体表面的材料特性。因此，利用
4、移动激光雷达技术对城市道路目标进行采集是非常理想的。近年来，基于移动激光雷达技术的道路目标提取也取得了一定的进展。Yokoyama等6提出了一种基于拉普拉斯算子平滑和主成分分析的杆状物提取算法。在该方法中，拉普拉斯算子用来对数据进行平滑处理，以消除数据中的噪声点和数据点的分布偏差。而主成分分析过程则用于对平滑后的数据分段进行特征分析，并从中检测柱状结构目标。Shi Pu7等利用形状先验知识和拓扑结构来识别道路结构。董震8等通过从原始点云中生成多尺度超体素，在进行体素分割后根据分割区域的显著性进行邻域聚类，最后结合聚类区域的几何特性来判断目标所属类别。由于交通标识牌一般由高反射材料制成，具有清晰
5、可见性，因此点云数据中的反射强度信息可以有效的将标志牌与道路其他目标区别开来，从而广泛的应用于交通标志牌检测中9,10。另外，基于模板驱动的方法也用于检测交通标志牌11,12，利用交通标志牌的高反射强度、对称性等特征来实现检测。交通标志牌的检测依然存在着一些待解决的难点，主要在于：交通标志牌往往会被其他目标遮挡，如树枝，路灯等，导致检测难度增大；标志牌长期在户外，难免会有损毁老化，致使它的反射率达不到标准水平；杆部可能倾斜变形；在采集数据的过程中，一些离扫描设备比较远的标志牌在点云中的密度较低，影响检测效果。因此，一个鲁棒的检测算法应该克服这些难点，得到精确的检测结果。目前基于三维点云进行交通
6、标志牌提取的研究主要分为基于分割和特征识别的方法和基于反射强度的方法，前者主要受限于分割算法，由于自然场景的复杂性，重叠在一起的目标很难被分割开。因此，对标志牌检测的算法性能产生一定的影响。另一方面，基于反射强度的方法也有其缺陷，由于该方法主要通过标志牌在点云中的高强度值与其他道路目标区分开来，如果交通牌因老化而褪色，或是数据采集时由标志牌的反面扫描，会导致点云中标志牌的反射强度缺乏明显的区分度，基于反射强度的检测方法就会发生漏检。基于以上分析，本文综合运用两种方法进行交通标志牌检测，既可以弥补基于反射率的检测算法在交通牌的强度值与其他地物目标未明显区分时导致漏检的缺陷，又可以对两种方法的检测
7、结果相互验证。1方法本文提出了基于反射强度和形状特征相结合进行交通标志牌检测的方法。基于反射强度的检测方法利用交通标志牌在点云中的高强度特性进行检测，并在后续聚类过程中定义规则以获得含有交通标志牌的聚类。基于形状特征的检测方法首先从点云中识别杆状物，通过分析杆状物中非杆状部分的维度特征，提取出具有面状维度特征的目标物作为所要检测的交通标志牌。最后将两次检测结果进行叠加和合并形成最终的检测成果。工作流程如下：图 1 交通标志牌检测流程图Fig.1The flowchart of traffic sign detection1.1基于反射率的检测1.1.1 反射强度滤波扫描得到的点云数据一般包含空
8、间坐标、反射强度以及颜色信息，其反射强度受扫描距离、扫描角度、目标材质及传播介质等因素影响。为了行车安全，交通标志牌使用高反射率的材料进行喷刷，反射率的值必须达到国家安全生产标准的规定值。理论上，激光回波强度与地物目标的反射率成正比关系，即反射率越大，点云反射强度值越高。因此在点云中，交通标志牌的反射强度比其他目标都要高。尽管点云的反射强度也会受大气衰减、激光入射角度等多种因素的影响，还是能够区分介质属性区别较明显的目标。通过将反射强度的阈值设定为超出某一值，道路场景中的大部分非目标物都将被滤除10。阈值的大小需要经过实验进行调整以获得最佳滤波效果。滤波后的点云仍包括除交通标志牌之外的其他高强
9、度目标，如汽车牌照、路锥等，需要进行进一步处理。1.1.2 欧式距离聚类聚类的目的在于将离散、无组织的数据划分成一系列具有一定空间拓扑结构的三维语义目标，使每个目标中的数据“相似”或“相近”，而不同目标中的数据差异尽可能大。欧式距离聚类是一种根据相邻点之间的欧式距离关系进行划分的方法，其原理是：对于含有n个数据点的集合，随机选取1个点，并标记为已聚类点，将为球心，为半径的球形区域内的所有未聚类点标记为已聚类状态，并且给以相同的类别标识。接着，对于每一个被标记的点，重复上述过程，直到已无法再吸收新的点，在数据集合的未标记点中再次进行随机选取。当数据集中所有的点都已经被标记，该递归聚类过程结束。初
10、始聚类之后，部分聚类中包含感兴趣的目标，为了判断每个聚类是否包含交通标志牌，本文中定义了以下三种规则：1) 点云数量滤波结合交通标志牌的尺寸限制以及车载移动激光扫描点云的密度，应该至少包含70个点，少于这个数量的聚类不足以构成交通标志牌。2) 海拔滤波依据交通标志牌的高度标准，的z轴最小值与地面点的距离至少应为2m。这一规则可以过滤掉海拔较低的聚类目标，如汽车牌照，路锥，临时标志牌等。3) 高度滤波依据交通标志牌尺寸标准，的z轴最大值与最小值之差至少应为0.4m。根据上述的三个规则，不符合条件的聚类将被滤除。点云中剩下的聚类目标即为交通标志牌目标物。1. 2 基于形状的检测基于反射率的方法会遗
11、漏因老化或被损坏等因素致使反射率变低的交通标志牌，以及背面相对于扫描仪的交通标志牌。因此，结合基于形状的方法，以确保检测的完整性。首先，采用基于体素的向上生长方法将地面点从原始三维场景中滤除。其次，采用欧氏距离聚类方法对非地面点进行聚类，分离出空间上相互独立的目标聚类，从这些聚类中识别出杆状物目标。最后，采用主成分分析（PCA）方法对杆状目标的非杆状部分点的维度特征进行分析，从而检测到交通标志牌目标。1.2.1 地面点去除车载移动激光扫描系统采集到的被测场景的三维点云数据中包含大量、高密度的地面点。由于我们的检测目标为非地面点，这些地面点无疑会增加检测算法的时间和空间复杂度，因此对点云数据进行
12、地面点预处理将有效提高后续的检测效率。采用基于体素向上增长的方法进行地面点滤除，步骤如下：1)将整个三维点云场景在XY平面内按一定的宽度垂直切分成一系列局部点云块其中，为生成的局部点云块的总数。这些局部点云块将被单独地进行地面点滤除处理。2)对于每个局部点云块利用八叉树（Octree）索引结构划分，按一定的宽度将其划分成一系列空间上连续的点云体素，其中，Nv为生成的点云体素的总数。3)点云体素的上9个邻域定义为与Vj相邻接并且在空间上位于Vj上方的9个点云体素。接下来，向上生长过程以点云体素Vj的上9个邻域（L1, L2, , L9）为起点，按同样的方式，分别沿着L1, L2, , L9的上9
13、个邻域继续向上生长。以此类推，当所有已生长到的点云体素再无上9个邻域可生长时，该递归式向上生长过程结束。从已生长的区域中计算出具有最大局部高度值的点云体素Vh，即：该生长区域的至高点。4)定义高度Hg为地面高度临界值。如果Vh小于Hg，那么，点云体素Vh将被标记为地面体素。同时，滤除包含点云体素Vh的局部点云块中的所有点。如果点云体素Vh的高度值大于Hg，点云体素Vh将被标记为非地面体素。同时，保留包含点云体素Vh的局部点云块中的所有点。1.2.2基于比例的杆状物检测首先采用欧式距离聚类方法，将非地面点划分成一系列三维目标聚类。欧氏聚类的具体过程已在方法1.1.2中介绍。对于初始分割得到的每个
14、聚类Ci，为判断Ci是否为杆状物，对每个聚类Ci作如下处理：1)根据z坐标的值将Ci中的点分为4等分，从下至上编号为03。接着，取编号为1的部分，等距离分割成N个水平截面，并将每一个点都映射到相应的平面上（如图2）。2)这样，对于每一个平面，易得包含所有点的最小外接圆。计算其最小外接圆的半径长度，并记录它与相邻平面外接圆半径的差值rdif。规定若Ci为杆状物，相邻半径的差值应不超过dneigh。当一次迭代完成后，计算rdif超过了dneigh的比例，如果x超过了预设阈值，则认为聚类Ci不是杆状物。选择编号为1的部分作为判断杆状物的依据，既避免了草丛等物体附着在杆状物上所造成的干扰，也避免涉及到
15、杆状物上部不同的非杆状部分，如路灯的灯头，树木的树冠等。为了进一步对杆状物进行区分，对于杆状物聚类Ci作如下处理:1)取Ci中编号为2、3的部分，等距离分割为水平截面，并将每一个点都映射到相应的平面上。2)从Ci编号为2的部分开始，从下至上遍历每一个平面，拟合其平面上所映射的点的最小外接圆并计算其半径。当圆的半径长度大于某一个设定的最小值时停止。这时，在这个平面以上的部分即为杆状物的非杆状部分。图3中展示了部分提取出的杆状物，红色点为非杆状部分，绿色点为杆状部分。图2杆状物检测Fig.2Percentile based pole recognition图3杆状物的非杆状部分提取Fig.3 No
16、n-pole parts extraction1.2.3交通标志牌检测常见道路两旁的杆状物可分为树木，电线杆，路灯，交通标志牌几大类。这几类目标物的非杆状部分的构成如下表所示：表1：道路两旁杆状物组成Tab.1 pole-like objects composition on the roadside线状球状平面线状+平面线状+球状平面+球状线状+球状+平面树木电线杆路灯交通标志牌在组成类别中，只有交通标志牌是含有且大量含有平面元素的。因此，采用主成分分析(PCA)算法，通过分析维数特征，可以将交通标志牌与其他非研究目标区别开来。主成分分析(PCA)13,14是一种有效的降维方法，它在减少数据
17、维数的同时保留对方差贡献最大的特征。对于目标聚类中的每个数据x，求取x的协方差矩阵，矩阵的特征向量即为点集的主方向，矩阵的特征值,()为对应的3个主方向上的分量大小。并进一步定义维数特征13:(1)根据扫描点的维数特征，依据公式(2)把扫描点粗分类为线性 (D=1),平面(D=2), 离散 (D=3)3类。(2)如果目标聚类中维数特征为平面的点超过预设阈值，那么可以认为这个目标聚类为交通标志牌。2实验结果本文的测试数据采用RIEGL VMX-450移动激光扫描系统进行采集，如图4所示，VMX-450由扫描仪、惯导系统、测距仪和四个高分辨率数码相机组成，扫描仪的激光脉冲发射率可达550kHz,
18、测距精度可达1cm。被测场景为实时交通下的厦门环岛路，数据覆盖范围约5260m, 包含127个交通标志牌。被测数据中包含常见的道路场景目标，包括建筑物，树木，路灯，交通标志牌，车辆，行人，草坪等等。测试设备为个人台式机，配置为英特尔酷睿(TM)i5-3470，CPU主频3.2 GHz，内存8.0 GB。图4RIEGL VMX-450移动激光扫描系统Fig.4 RIEGL VMX-450 system依据本文所提出的方法对数据进行处理，由基于特征选择的方法和基于反射率的方法分别实现交通标志牌检测，最后将两次检测结果进行叠加和合并形成最终的检测成果。Fig.5分别显示的是(a)部分环岛路的点云显示
19、，(b)基于反射强度的交通标志牌检测结果，(c)基于形状的交通标志牌检测结果，以及(d)基于本文方法的交通标志牌检测结果。在Fig.5(b)中，基于反射强度的方法漏检了反射率不突出的交通标志牌，在Fig.5(c)中，基于形状的方法漏检了被树木遮挡的交通标志牌，而基于本文的方法结果没有漏检。Fig.6展示了另外一个场景的检测结果。部分检测结果如图5和图6，可以看出，本文方法不仅能准确地检测到独立的交通标志牌,而且当它与树木等目标交错甚至被部分遮挡时，以及在点云中反射率未明显高出其他地物目标时，该方法仍然可以得到正确的检测结果。但是,在某些情况下仍然存在检测错误, 漏检主要集中在标志牌被树枝等物体
20、完全阻挡时，误检主要是由于户外广告牌可能被当作是交通标志牌。为检验本文方法对于检测点云场景中交通标志牌的有效性，基于手工标记实验数据为参考数据，对本文所提出方法的召回率、假正、假负数量进行计算（表2）。从表2可以看出标志牌检测的召回率可以达到95.2%。同时对本文方法与文献10方法的正确率、召回率2个方面进行了对比,比较结果如表3所示。对于图5所示场景，大约710万个点，计算时间为1095s，文献10为1021s。召回率为检测到的交通标志牌与场景中交通标志牌总数的比率，本文综合两种方法检测交通标志牌，发挥了两种方法的优势，并使得两种方法中导致漏检的缺陷相互弥补，因而召回率较文献10方法提高了1
21、.2%。实验结果表明,所提出的算法适用于道路交通标志牌的自动提取。图5交通标志牌检测结果：(a)环岛路点云显示， (b)基于反射强度的交通标志牌检测结果，(c)基于形状的交通标志牌检测结果，(d)基于本文方法的交通标志牌检测结果Fig.5 traffic sign detection results：(a) demonstrate images of an urban transportation scene in point clouds visualized using intensity, (b)traffic sign detection by intensity, (c)traffi
22、c signs detection by shape featureand (d)traffic signs detectionby our proposed method.图6交通标志牌检测结果：(a)环岛路点云显示，(b)基于反射强度的交通标志牌检测结果，(c)基于形状的交通标志牌检测结果，(d)基于本文方法的交通标志牌检测结果Fig.5 traffic sign detection results：(a) demonstrate images of an urban transportation scene in point clouds visualized using intensi
23、ty, (b)traffic sign detection by intensity, (c)traffic signs detection by shape feature and (d)traffic signs detectionby our proposed method.表2：环岛路上交通标志牌检测结果Tab.2Traffic sign detection results on HuanDao Road厦门环岛路交通标志牌数量召回率假负（FN）假正（FP）12795.2%67表3：方法对比Tab.3Compare with other method文献10方法本文方法召回率94.0%
24、95.2%正确率94.6%94.6%3结论本文以车载激光扫描数据为研究对象，提出了一种适合复杂城市环境的交通标志牌检测方法。综合运用基于形状特征和基于反射率两种方法进行交通标志牌检测，既可以弥补基于反射率的检测方法无法检测到从反面扫描或是老化褪色的标志牌的缺陷，又可以对两种方法的检测结果相互验证, 从根本上提高了道路场景中检测交通标志牌的精度，达到优势互补的效果。应用结果表明，该系统在复杂场景下可以有效检测到交通标志牌，从而为交通部门掌握道路标志牌情况，有针对性的进行维护奠定基础。同时，该检测技术也可在智能交通系统中推广应用。但是该方法仍然存在一些漏检或误检，主要为当目标物被大比例遮挡时导致的
25、漏检；以及户外广告牌可能引起的误检。本文下一步的研究将把点云与图像融合，使我们真正的可以“看到”交通标志牌上的内容。参考文献1 Brenner C. Extraction of features from mobile laser scanning data for future driver assistance systemsM. Advances in GIScience. Springer Berlin Heidelberg, 2009: 25-42.2 Piccioli G, De Micheli E, Parodi P, et al. Robust method for road
26、sign detection and recognitionJ. Image and Vision Computing, 1996, 14(3): 209-223.3 Landa J, Prochazka D. Automatic Road Inventory Using LiDARJ. Procedia Economics and Finance, 2014, 12: 363-370.4 Chehata N, Guo L, Mallet C. Airborne lidar feature selection for urban classification using random fore
27、stsJ. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2009, 39(Part 3/W8): 207-212.5 Haala N, Peter M, Cefalu A, et al. Mobile lidar mapping for urban data captureC/Proceedings of the 14th International Conference on Virtual Systems and Multimedia, Lima
28、ssol, Cyprus. 2008, 2025: 95100.6 Yokoyama H, Date H, Kanai S, et al. Pole-like objects recognition from mobile laser scanning data using smoothing and principal component analysisC/ISPRS Workshop, Laser Scanning 2011. 2011, 38: 115-120.7 Pu S, Rutzinger M, Vosselman G, et al. Recognizing basic stru
29、ctures from mobile laser scanning data for road inventory studiesJ. ISPRS Journal of Photogrammetry and Remote Sensing, 2011, 66(6): S28-S39.8 董震,杨必胜.车载激光扫描数据中多类目标的层次化提取方法J.测绘学报,2015,44(9):980-987.9 Laflamme C. Automatic asset detection, location measurement and recognition: U.S. Patent 7,623,248P.
30、2009-11-24.10 Ai C, Tsai Y C J. Critical Assessment of an Enhanced Traffic Sign Detection Method Using Mobile LiDAR and INS TechnologiesJ. Journal of Transportation Engineering, 2014, 141(5): .11 Yu Y, Li J, Guan H, et al. Three-Dimensional Object Matching in Mobile Laser Scanning Point CloudsJ. Geo
31、science and Remote Sensing Letters, IEEE, 2015, 12(3): 492-496.12 Vu A, Yang Q, Farrell J, et al. Traffic sign detection, state estimation, and identification using onboard sensorsC/Intelligent Transportation Systems-(ITSC), 2013 16th International IEEE Conference on. IEEE, 2013: 875-880.13 Demantk
32、J, Mallet C, David N, et al. Dimensionality based scale selection in 3D lidar point cloudsJ. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, Laser Scanning, 2011, 38(Part 5/W12): 97-102.14 Lalonde J, Vandapel N, Huber D F, et al. Natural terrain classificat
33、ion using threedimensional ladar data for ground robot mobilityJ. Journal of Field Robotics, 2006, 23(10):839-861.Road Traffic Sign Detection from Mobile LiDAR Point CloudsWENG Shengxia, CHEN Yiping*(School of Information Science and Technology, Xiamen University, FujianXiamen )Abstract: The demand
34、for automated road traffic sign extraction is driven by the importance of maintaining and updating the fundamental geographic data of transportation systems for road engineering. Mobile laser scanning (MLS) is a promising technology for the rapid 3-D mapping of roads, provides a good means to captur
35、e details along the road. This paper presents automated method to detect road traffic sign in outdoor environments using mobile light detection and ranging (LiDAR) and inertial navigation technologies. First, traffic signs are detected based on the intensity attributes, as traffic sign intensity has
36、 significant difference with other objects in point cloud. Second, a traffic sign detection method based on shape feature is applied, which recognizes pole-like objects (PLOs) from raw point clouds and extracted by Principal Component Analysis. Finally, the two detection methods are combined to form the final detection result. Experiments demonstrate the feasibility and effectiveness of the proposed method in detecting traffic signs from mobile LiDAR point clouds.Key words: Mobile LiDAR; Traffic sign detection; Principal Component Analysis专心-专注-专业