基于数据挖掘技术的交通信息处理与分析系统_贾琨.docx

《基于数据挖掘技术的交通信息处理与分析系统_贾琨.docx》由会员分享，可在线阅读，更多相关《基于数据挖掘技术的交通信息处理与分析系统_贾琨.docx（69页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、单位代码 1 0 4 4 5 学 号 2 0 0 2 1 4 4 8 分类号 TP3 9 3 硕士学位论文 论文题目基于数据挖掘技术的交通信息处 理与分析系统 计算机软件与理论 贾琨 刘弘 2005年 4月 20日 学科专业名称 申请人姓名 导师姓名 论文提交时间 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成 果，也不包含为获得 _ (注：如没有其他需要特别声 明的，本栏可空）或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了

2、明确的说明并表示谢意。 学位论文作者签名 : 导师签字 : 学位论文版权使用授权书 本学位论文作者完全了解 学校 有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权 3 t可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或扫描等复制手段保存、汇编学位论文。（保密的学益论文在解密后适用本授权书） 学位论文作者签名 : 导师签字 : 签字日期 ： 200 g r月 7曰 签字日期： 200 年月日 Abstract III 第一章前言 . i i.i研究背景及其意义 . 1 l.i.i信息及其定义 . 1

3、1.1.1.1信息的基本特征 . 2 1.1.1.2信息的地位和作用 . 3 1.1.2交通管理信息化建设 . 3 1.2本文的主要内容 . 4 第二章数据挖掘技术介绍 . 6 2.1数据挖掘技术发展概况 . 6 2.2数据挖掘的重要性 . 6 2.3数据挖掘的方法 . 8 2.4模式的分类 . 10 2.5数据挖掘的过程 . 11 2.6数据库与数据仓库 . 13 第三章时序分析与回归分析 . 15 3.1统计学预测方法 . 15 3.1.1时间序列分析模型 . 15 3.1.2回归分析模型 . 16 3.2时间序列预测系统的设计 . 16 3.3序列数据的预处理及预测结果的显示 . 17

4、3.3.1序列数据的预处理 . 17 3.3.2预测结果显示 . 19 山东师范大学硕上学位论文 3.4时间序列分析方法 . 20 3.4.1移动算术平均法 . 20 3.4.2 AR 模型 . 21 3.4.3指数平滑 . 24 3.4.4 Holt-Winters 方法 . 25 3.5回归分析方法及其应用 . 27 3.5.1 元线性回归分析 . 28 3.5.2多元回归分析的原理 . 29 3.5.3逐步回归 . 37 3.6人工神经网络简介 . 39 第四章系统的基本结构与实现 . 40 4.1系统的基本结构 . 40 4.2序列分析预测方法的实现 . 44 4.3回归分析预测方法的

5、实现 . 48 4.4传统的预测方法与神经网络方法比较 . 49 第五章机动车号牌管理系统的设计与实现 . 50 5.1机动车号牌管理系统简介 . 50 5.1.1号牌管理系统的业务需求 . 50 5.1.2机动车号牌管理系统主要流程图 . 51 5.2机动车号牌管理系统建设主要采用的技术 . 52 5.2.1系统开发中采用的相关技术 . 52 5.2.2机动车号牌发放过程中的并发控制 . 52 5.2.3系统的安全性控制 . 54 触 i吾 . 56 参考文献 . 58 攻读硕士学位期间的主要成果 . 60 致谢 . 61 IV 山东师范大学硕士学位论文 摘要 随着互联网和计算机科学技术的迅

6、速发展，信息在人类社会中的作用愈发明 显。信息技术是二十世纪的重大技术创新和技术进步。它代表了人类先进生产力 发展的新成就和新水平，对当今世界政治、经济、科技、军事和文化等领域产生 了深刻的影响。世界各国实践表明，信息技术正在成为经济和社会发展的重要推 动力量。 然而，对于我们来说，信息也不是越多越好。早在上世纪八十年代，全球信 息量每隔 20个月就增加近一倍。进入上世纪九十年代，各类机构所有数据库中 的数据量增长更快。信息爆炸时代带来了急剧的市场变化。展现在人们面前的已 不是局 限于本部门，本单位和本行业的庞大数据库，而是浩瀚无垠的信息海洋。 因此，如何从海量信息中得到有用信息的问题自然的就

7、来到了人们的面前。 计算机和信息技术发展的过程，也是数据和信息加工手段不断更新和改善的 过程。随着数据量的增长，多渠道数据源带来了各种数据格式的不相容性。为了 便于获取决策所需信息，就有必要将整个机构内的数据以统一形式集成存储在一 起，这就是所谓数据仓库。而由于数据仓库及联网界面上的数据来源于多种信息 源，因此其中埋藏着丰富的不为用户所知的有用信息和知识，而要使各种组织机 构能及时迅速准确地做出决策，以适应变化迅速的市场环境，就需要有一种基于 计算机与信息技术的智能化自动工具，来发掘埋藏在数据中的各类知识。 要达到上述要求，只借助于一般数学分析和算法是无能为力的。为了有效的 从这些海量的数据中

8、获得知识，数据挖掘方法应运而主。也正是由于实际工作的 需要以及相关技术的发展，将机器学习应用于大型数据库中的知识发现技术逐渐 发展起来。数据挖掘，是在数据库或数据仓库中提取隐含的、先前未知的、潜在 有用的知识或信息模式的决策支持方法。 由于国民经济的快速发展，机动车的保有量和驾驶员数量都在以极快的速度 增长，每年在该领域都会产生许多有价值的数据。对这些数据进行分析，能够发 现许多有价值的规律。而这些规律对于有关部门的正确决策具有一定意义。比如， 山东师范大学硕士学位论文 我们可以通过分析每年机动车的增长速度及数量，来预测未来几年内的汽车保有 情况。而机动车的数量及增长速度对于我们的城市规划、交

9、通基础设施的建设以 及具体到每一个小区中停车位的建设数量都具有很重要的借鉴意义。 本文主要致力数据挖掘的应用研究，从多个角度对相关数据作了分析处理， 主要工作如下： 1. 对数据挖掘的基础理论进行了分析。 分析了当前数据挖掘理论的发展情况和应用研究，重点对回归分析和时序分 析领域作了研究工作。在此基础之上，分析了涉及的相关数学模型的性能及使用 情况并对此进行了一定比较。 2. 数据的整理及转换工作 由于本文中数据来源多样化，各种数据的格式不尽相同，能否做到数据的格 式化对于分析结果的准确性是至关重要的，因而我们根据数据挖掘的要求，在这 方面按照系统的标准进行了数据的整理归纳工作。 3. 将数据

10、挖掘及分析预测的相关理论用于交通信息的分析处理。 在分析了自适应回归算法和时间序列分析算法的基础 上，利用相关技术对各 种有关信息进行处理。在数据的分析与处理部分中，主要采用 AR模型和多元线 性回归模型等数学模型作为基本的数据处理工具。各种分析结果以图表的形式表 示出来，以便能够达到简洁、明了、直观的效果。 4. 分析了一种交通管理信息系统的开发过程和工作流程。 在本文中还基于管理信息系统和数据挖掘的理论，分析了交通管理工作中信 息化与系统化的重要性，从整体上研究了机动车号牌管理系统的设计和开发过 程，利用数据挖掘和数据分析处理对具体工作进行了合理的规划与控制，同时对 系统开发中的难点部分作

11、了详细介绍。 关键 词：信息，数据挖掘，数据仓库，回归分析，时序分析，分析预测 分类号： TP393 山东师范大学硕士学位论文 ABSTRACT With the rapid development of network and computer science, information technology plays a more and more important role in many fields of the human being, such as politics, economy, military, technology and culture. Information

12、 technology is an important innovation and progress during last century. It represents the latest achievement and level of science and technology. Accompanying the rapid development of network all over the world, more and more information mediums such as database and information system are entering

13、in human society, which has made Internet become the most abundant and sweeping database of the world. However， the information isnt all of good to us for it s large quantity. In the 1990s ， the amount of data of many kinds of organization has grown quickly. So how to retrieve useful knowledge from

14、the large amount of data becomes an urgent issue for many scientists. Recently, data mining technology has abstracted the interest of many researchers. This paper explores data mining from the IT perspective, providing a quick overview of data mining technology, technical challenges and solutions fo

15、r implementing successful data mining projects. The paper includes sections on: what exactly is data mining; data mining in the business world; what data mining can do for your business; the difference between OLAP and data mining; how data mining works; the data mining process; the relationship bet

16、ween data mining and data warehousing; data mining challenges; how to get started with data mining. To solve this problem, marketers and business analysts use data-mining techniques. These are machine learning algorithms that find buried patterns in databases, and report or act on those findings. Th

17、ere are many data-mining techniques, and its difficult for one person to understand the entire field. The best we can do in one article is to provide an introduction to the problems that data-mining techniques can solve, mention the techniques usually applied to those problems, and give some HI 山东师范

18、大学硕士学位论文 insight into vendors offering solutions. In this paper, we focus on the application research of data mining. The related data in the field of traffic and transportation is important for our analysis and research and analysis. The main research work is： 1) The necessary knowledge of data min

19、ing, data warehouse, artificial neural network， recursive analysis and time serial analysis is discussed, and how to calculate with that knowledge is another important section of this paper. 2) The related data is obtained from multi resources, so the formation of the data is very important to our r

20、esearch work. We develop a system to transform and classify the data we used. 3) On the basis of the discussion of recursive algorithm and time serial algorithm, the related data is used to obtain the analysis result of our research work. The AR model and the multi-variable linear recursive model ar

21、e the key tools. 4) On the basis of the theory of MIS and Data mining, we introduce the principal and development experience of vehicle plate management system, which is oriented to the real application. Also, the rational plan and control which is good for the real application is provided on accoun

22、t of the work done before. It also gives the new method of solving the question below: plate selection for the two times, concurrent access to the database and a new access control method. Key words: information, data mining, data warehouse, recursive analysis, time serial analysis， analysis and for

23、ecast Classification: TP393 IV 山东师范大学硕士学位论文 第一章 前言 1. 1研究背景及其意乂 随着计算机科学技术的迅速发展，信息在人类社会中的作用愈发明显。信息 技术是二十世纪的重大技术创新和技术进步 1:。它代表了人类先进生产力发展的 新成就和新水平，对当今世界政治、经济、科技、军事和文化等领域产生了深刻 的影响。世界各国实践表明，信息技术正在成为经济和社会发展的重要推动力量。 当今社会正处于网络化、信息化时代，网络的出现正改变着人类的生活，互 联网技术正在把世界变成地球村，网络电话、视频点播、电子邮件等使我们越来 越感觉到网络的无处不在。互联网已成为全球经

24、济发展的动力引擎，广泛应用在 社会的各个行业 2。 早在上世纪八十年代，全球信息量每隔 20个月就增加近一倍。进入上世纪 九十年代，各类机构所有数据库数据量增长更快。一个不大的企业每天要产生 loom以上来自各方面的营业数据。面对极度膨胀的信息量，人们受到 “ 信息爆 炸 ” 、 “ 混沌信息空间 ” 和 “ 数据过剩 ” 的巨大压力。信息爆炸时代带来了急剧的 市场变化。展现在人们面前的已不是局限于本部门，本单位和本行业的庞大数据 库，而是浩瀚无垠的信息海洋。因此，如何从海量信息中得到有用信息的问题自 然的就来到了人们的面前。 1.1.1信息及其定义 50多年来，科学界一直在对信息的定义进行积

25、极的探索。有关信息的定义 很多 4，但由于其本身内涵的全面性和科学性，目前尚无一个令大家都接受的定 义。如： 信息是使人们促进知识更新和认识事务的客观存在。 信息是维系事物内部结构和外部联系，感知、表达并反映其属性和差异的状 态和方式。 山东师范大学硕士学位论文 信息是指应用文字、数据或信号等形式通过一定的传递和处理，来表现各种 相互联系的客观事务在运动变化中所具有特征性内容的总称。 信息是减少不确定性的一种客观存在和能动过程。 它们都从不同的侧面反映了信息的某些特性，而且随着时间的推移，时代将 赋予信息新的含义，是一个动态的概念。现代 “ 信息 ” 的概念，已经与半导体技 术、微电子技术、计

26、算机技术、通讯技术、网络技术、多媒体技术、信息服务业、 信息产业、信息经济、信息化社会、信息管理、信息论等含义紧密地联系在一起。 总之，可以认为，信息是对客观世界中各种事物的变化和特征的反映；是客 观事物之间相互作用和联系的表征；是客观事物经过感知或认识后的再现。 1.1.1.1信息的基本特征 (1) 客观性信息反映客观事物的属性。信息必须真实、准确，必须如实 地反映客观实际。 (2) 主观性对于信息和信息处理的任何研究与讨论，都离不开主体的目 的或目标 （ 即人们的目的或需求）。 (3) 抽象性即二重性。必须区分信息的载体与内容，使信息有可能在不 同的载体之间转化与传递。这里需要强调的是，人

27、们往往将主要注意力集中在信 息的载体（例如计算机网络的建设）或技术手段上，而忽略了信息的内容，这种 本末倒置现象的产生就源于对信息的抽象性缺乏明确的认识。 (4) 整体性即系统性。信息必须作为表达客观事物（或系统）的完整描 述中的一环，脱离了全局，零碎的信息将毫无意义。 (5) 时效性客观事物（或系统）都是在不断发展变化的，信息只有及时、 新颖，才能发挥巨大的作用，才有价值。 (6) 层次性信息及其处理与客观事物（或系统）的层 次密切相关，只有 合理地确定层次，才能正确地确定信息需求的范围和信息的价值，并有效地进行 信息处理。 (7) 不完全性信息与不确定性是对立统一的整体，客观事物的无限复杂

28、 与动态变化，决定了信息的无限性。因而信息的完全性只能是相对的，而其不完 全性则是绝对的。因此，我们在信息的处理过程中，要能在信息不完全的情况下， 山东师范大学硕士学位论文 以各种可能的方法，力图降低其不确定性，提供比较合理的信息服务与支持，避 免僵化。 1.1.1.2信息的地位和作用 (1) 信息是联系客观事物（或系统）各部分的纽带一个企业，正是通过 其物流（原料、半成品、成品等）、能量流（水、电、汽、风等 ） 和信息流（物 流、能量流的量、质及控制信息等）三者的紧密联系，才构成一个有机的整体。 (2) 信息是客观事物（或系统）的表征企业的生产、经营情况正是通过 其产品结构、产值产量、经营总

29、额、利税总额等信息来体现的。 (3) 信息是客观事物（或系统）管理与控制的依据及实现手段企业领导 者正是通过掌握企业生产、经营的有关信息，来判断目前生产、经营状态是否正 常，从而做出有关调整的决策并加以实施，以便使生产、经营活动 正常进行。 (4) 信息是科学技术转化为生产力的桥梁与工具科学研究的成果，实验 中的发明，技术上的创新作为推动社会前进的直接生产力是需要转化的，而转化 的桥梁工具则是人们所要把握的信息和其他一些因素。 (5) 信息是经济发展的保证信息是很重要的资源，这一点已得到了国际 社会的广泛承认，这也是 “ 信息是现代经济发展的保证 ” 这一论断的理论和实践 的依据。 1. 1.

30、 2交通管理信息化建设 近年来，随着我国经济的快速发展，交通事业也取得了长足的发展。特别 是 20世纪 90年代以来，随着我国国民经济快速、健康的发展，城市道路基础设 施建设日益完善，机动车拥有量不断增长，拥有驾驶证的人数也在快速增长，这 使得人民群众的出行变得越来越方便。 但与此同时，我国的交通特别是城市交通变得越来越拥挤，人们的出行速 度变得十分缓慢，道路交通事故及死亡人数增多，车辆行驶秩序和城市环境呈恶 化的趋势，道路供给与交通需求的矛盾十分突出。为了解决交通拥挤问题，虽然 各有关部门大力增加科技投入，努力完善道路交通设施，积极探索改善城市道路 交通状况的方法及策略，但是距离目标还有比较

31、大的差距。甚至形成了修路越多 山东师 范大学硕士学位论文 就越拥堵的恶性循环。在这种情况之下，交通信息化的重要性就日益显现出来了。 交通信息化是在国民经济和社会信息化大背景下的行业信息化，主要包括以 下五个领域：一是交通政务信息化；二是交通基础设施建设与管理信息化；三是 交通运输生产管理信息化；四是交通产品营销信息化 ;五是交通科学技术信息化。 交通信息化建设通过将计算机技术、现代通信技术和现代控制技术与 3S技 术等高新电子技术的有效集成，采用信息技术、通信技术、控制技术等对传统交 通运输系统的改造，将从以下几个方面提高系统的运行效率： 通过交通发展战略决策支持系统、规划决策支持系统等实现对

32、科学决策的 有效支持，使得有限的资金和资源最大限度地发挥其效益。 通过先进交通监控系统、交通事故信息分析系统、交通仿真实验系统、交 通紧急状态应急管制系统等保障交通运输系统的有序运行。 通过公众信息发布系统、交通诱导系统、营运车辆管理系统等实现对交通 消费方式及交通行为的合理引导，以充分发挥系统的潜力。 通过信息化公共交通系统、综合物流信息服务系统引导向合理的交通运 输模式的转变。 这种交通运输信息化系统的本质，是通过高新技术的有效应用，使得对 各种决策（包括交通战略决策、交通管理决策、交通方式及交通路线选择决 策等）起到支持作用的信息和知识在系统中有效流通，提高决策的科学性， 引导合理的交通

33、行为，达到最大限度地发挥已有交通设施的潜力的目的。 但是在目前的情况下，许多有价值的数据和信息还没有得到有效的利用， 很多情况下，人们还只是凭借着经验进行工作，没有充分发挥各种先进技术 和已有设备的作用。 1.2本文的主要内容 由于国民经济的快速发展，机动车的保有量和驾驶员数量都在以极快的速度 增长，每年在该领域都会产生许多有价值的数据。对这些数据进行分析，能够发 现许多有价值的规律。而这些规律对于有关部门的正确决策具有一定意义。比如， 我们可以通过分析每年机动车的增长速度及数量，来预测未来几年内的汽车保有 山东师范大学硕士学位论文 情况。而机动车的数量及增长速度对于我们的城市规划、交通基础设

34、施的建设以 及具体到每一个小区中停车位的建设数量都具有很重要的借鉴意义；我们还可以 分析机动车增长速度是否与社会的经济发展速度有某种联系。 本文各章研究内容组织如下 第二章探讨了数据挖掘、数据仓库等相关几个方面的知识。 第三章和第四章介绍了回归分析、时序分析、人工神经网络等方面的知识， 特别是对涉及其中的许多数学模型作了详细介绍。 第五章中利用相关技术对各种有用信息进行处理。在数据的分析与处理部 分，采用各种数学模型作为基本的数据处理工具。各种结果以图表的形式表示出 来，并对各种模型的有效性作了 一定的比较。 第六章介绍了一个面向实际应用的机动车号牌管理系统实现过程中的原则 和成功经验，并尝试

35、用前面分析的数据挖掘技术与该系统建立一定的联系，以指 导我们的实际工作，特别 就该系统中的关键点：二次选号、并发控制和安全性控 制，给出了一个面向行业应用的系统开发方案。 山东师范大学硕士学位论文 第二章数据挖掘技术介绍 2.1数据挖掘技术发展概况 知识发现与数据开采是人工智能、机器学习与数据库技术相结合的产物。机 器学习 （ Machine Learning)是用计算机模拟人类学习的一门科学，始于 60年 代末，真正的发展是在 70年代末。由于在专家系统开发中存在知识获取脑 “ 瓶 颈 ” 现象，所以就用机器学习来完成知识的自动获取。 1980年，在美国召开了 第一届国际机器学习研讨会；19

36、84年，机器学习杂志问世。我国很快跟上了 国际步伐，于 1987年召开了第一届全国机器学习研讨会； 1989年成立了以中国 科技大学蔡庆生教授为理事长的理事会；1995年在国防科技大学召开了第五届 机器学习研讨会。从数据库中发现知识 （ Knowledge discovery In Database, H)D)是从 80年代末开始的。 KDD 词是在 1989年 8月于美国底特律市召开的第一届 H)D国际学术会议 上正式形成的。国际 H)D学术会议起初每两年召开一次， 1993年后每年召开一 次。在几次国际 KDD学术会议上讨论的问题有； a.定性知识和定量知识的发现； b.数据汇总； c.知

37、识发现方法； d.数据依赖关系的发现和分析； e.发现过程中知 识的应用： f.集成的交互式的知识发现系统； g.知识发现的应用。 1995年，在加拿大召开了第一届知识发现和数据开采 （ Data Mining)国际 学术会议。由于数据库中的数据被形象地喻为矿床，困此数据开采一词很快流传 开来。 1995年以来，国外在数据开采知识发现方面的论文非常多，己形成了热 门研究方向。 智能和数据库技术在广电、交通、电信和公司经营管理等方面得以广泛应用， 并取得了长足的发展。若干年来，随着计算机技术的发展，特别是数据库技术的 应用和普及，数据挖掘技术也在不断的发展进步。 2. 2数据挖掘的重要性 其实计

38、算机和信息技术发展的过程，也是数据和信息加工手段不断更新和改 山东师范大学硕士学位论文 善的过程。随着数据量的增长，多渠道数据源带来了各种数据格式的不相容性。 为了便于获取决策所需信息，就有必要将整个机构内的数据以统一形式集成存储 在一起，这就是所谓数据仓库 （ Data Warehousing)。 它不同于只适用于日常工 作的数据库，它是为了便于分析针对面向主题的 （ Subject-oriented)、 集成化 的、时变的、非破坏性的（即只是容易输入和访问而不容许更新和改变）的数据 集中场所。数据仓库的出现，为更深入地对数据进行分析提供了条件，针对市场 变化的加速，各种新的需求层出不穷，人

39、们提出了能实时分析和报表的在线分析 处理 OLAP (On Line Analytical Processing)技术，它是一种友好而灵活的工具， 它能允许用户以交互方式浏览数据仓库对其中数据进行多维分析，能及时地从变 化和不太完整的数据中提出与企业经营动作有关的信息。例如能对数据中的异常 和变化行为进行了解。 0LAP是数据分析手段的一大进步，以往的分析工具所得 到的报告结果能回答 “ 什么 ” ，而 0LAP的分析结果能回答 “ 为什么 ” 。但上 述分析手段是建立在用户对深藏在数据中的某种知识有预感和假设的前提下。而 由于数据仓库（通常数据贮藏量以 TB计）及联网界面上的数据来源于多种信

40、息 源，因此其中埋藏 着丰富的不为用户所知的有用信息和知识，而要使企业能及时 迅速准确地做出经营动作的决策，以适应变化迅速的市场环境，就需要有一种基 于计算机与信息技术的智能化自动工具，来发掘埋藏在数据中的各类知识。这种 手段不应再基干用户假设，而应能自身生成多种假设，再用数据仓库或联网的数 据进行检验和验证，然后返回对用户最有用的结果。同时这种工具还应能适应现 实世界中数据的多种特性。要达到上述要求，只借助于一般数学分析和算法是无 能为力的。为了有效的从这些海量的数据中获得知识，数据挖掘方法应运而主。 也正是由于实际工作的需要 以及相关技术的发展，将机器学习应用于大型数据库 的数据库中的知识发现技术逐渐发展起来。 数据挖掘，是在数据库或数据仓库中提取隐含的、先前未知的、潜在有用的 知识或信息模式的决策支持方法 3。 应用数据挖掘的方法解决了一般数学分析和算法难以从复杂数据中提取知 识的问题。能够高效、准确的从备种复杂数据中提取知识。 若干年来，随着计算机技术的发展，特别是数据库技术的应用和普及，在工 业企业中，积累了海量的数据，它们以流水的形式、汇总形式及其它各种形式存 山东师范大学硕士学位论文 储在生产数据库中，