《新数据挖掘的国内外应用.doc》由会员分享，可在线阅读，更多相关《新数据挖掘的国内外应用.doc（11页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、【精品文档】如有侵权，请联系网站删除，仅供学习与交流新数据挖掘的国内外应用.精品文档.数据挖掘的国内外应用一、 概述数据挖掘作为近年来新兴的一门计算机边缘学科，其在国内外引起了越来越多的关注。并且随着数据挖掘技术的不断改进和数据挖掘工具的不断完善，数据挖掘必将在各行各业中得到广泛的应用。数据挖掘从大量的数据中通过算法搜索隐藏于其中信息的过程。这项以数据库技术、统计分析、人工智能等为依托的综合性运用技术的出现有其必然性和可行性。首先，信息社会的到来对数据的筛选和利用提出了更高的要求，而少量数据的出现又使得基于传统数据处理方法的人们面对大量数据无从下手，此时必然要求有更为先进的数据处理技术；其次，
2、计算机性价比的提升和磁盘存储器价格的大幅度降低，使得人们借助计算机来完成数据的分析和处理成为可能。城市是生存繁衍最好的地方、是社会交往的地方、是文化享受的地方，按照城市的职能，我们让它智能化，比如智慧安防、智慧环保、智慧能源、智慧城管、智慧养老、智慧国土规划、智慧交通等都是让人有更好的环境来生存繁衍。在经济发展方面，可以推动智慧制造、工业互联网、物联网。在文化享受方面，可以考虑智慧户外流媒体、智慧教育、智慧旅游等等。李德仁院士将智慧城市定义为“智慧城市=数字城市+物联网+云计算”。其中，数字城市技术把基础地理数据、正射影像、街景影像数据、全景影像数据、三维模型数据结合在一起，这产生了大量的地图
3、数据，而在智慧城市的建设和应用中，将产生从TB到PB级越来越多的数据，从而进入大数据时代。而对于这些大数据来说，传统的数据分析工作已经不适合对现有数据进行合理的分析，导致了一种“数据爆炸但知识贫乏”的现象。目前在智慧城市中的各种应用如智慧交通，智慧国土等应用中的数据库系统主要局限于实现数据的录入、查询、统计等功能，但无法有效地发现数据中存在的关系和规则，很难把握数据背后隐藏的知识，无法根据现有的数据预测未来的趋势。这在一定程度上阻碍了智慧城市的应用与普及。而数据挖掘技术恰恰是解决这一难题的最佳方法。应用数据挖掘技术，可以从GIS数据库中发现更多的地理知识和地理规律、对专题数据进行有效、合理的分
4、析，从而达到城市的智能运行、政府的科学决策、公众的便捷生活及企业的高效运营。二、数据挖掘的国内相关应用1、智慧交通目前各中心城市用地布局已经基本确定，在中心道路不允许大规模扩建和改造的前提下，唯有依靠智能交通系统（ITS），对城市交通进行更有效的控制和管理，提高交通的机动性、安全性，最大限度地发挥现有道路资源的效率。应用数据挖掘在交通领域中的具体应用为：可以用来识别道路通行的能力并可用作未来车流量的预测依据，把抽样的数据进行类比分析得出隐藏在数据中的发展趋势，预测道路车辆流量的发展，并根据预测的结论来管理交通。另一方面可以研究各种与交通存在潜在关系的对象的数据，来识别这些影响道路运营的因素，同
5、时演算测出各个因素的影响度，最终的目的是利用这些挖掘出来的高价值信息，精确地指导交通，为城市服务。智慧交通系统中，应用数据挖掘技术较为突出的为“故障预警系统和紧急事故处理系统”。系统根据车流的排队情况预测事故，提醒闭路电视监控系统进行跟踪。在计算机中建立专家库以提供4500个应急方案，根据事故发生的情况选择应急方案，通知并指导有关部门和人员进行事故处理，快速排除事故恢复交通。计算机系统记录事故情况，并且以事故发生地为圆心在周边相关可变情报板上显示信息，调度交通。在事故解决后会自动调整可变情报板，恢复正常的交通。整个事故的处理无需进行过多的人工干预。国内的智慧城市建设虽然起步较晚，但经过政府的大
6、力支持，也取得了一定的成就。北京、杭州、上海、青岛等城市均建成了较为完善的应用系统，青岛的智慧交通建设中，应用数据挖掘技术的主要为“交通信号控制系统”及“交通执法系统”两大子系统。其中，“交通信号控制系统”不仅实现全市交通信号控制路口的集中控制、配时自动调整、协调联动、将信号灯联网，以保证各路口之间的协调控制，通过对路口的信号进行远程干预和实时、集中控制，以到达提高道路承载力和通行能力，而且通过数据挖掘技术使系统也有“自主”意识，能够自动判断单个路口前方交通拥堵情况，对路口信号灯进行缩短绿灯时间或者停止绿灯放行，避免路口发生堵死现象，同时通过自动调整各区域内各个路口信号配时方案，减少进入区域内
7、的车流量，避免拥堵的加剧。2、城市规划规划管理信息管理系统的数据挖掘基于一般的数据挖掘，是基于空间知识库、图象数据库的空间数据挖掘（SDMKD），是为规划编制、电子政务服务的数据挖掘。是基于城市规划管理信息系统。其数据特点，不仅包含城市地理信息（数字地形图、影象图等）的数据，还包含城市规划管理的数据，依据这些数据，可以发现在城市发展、城市规划管理过程中一些有用的知识，为城市规划的编制、电子政务提供服务。规划管理对数据挖掘的需求是多方面的。如：在规划编制方面，规划编制需要大量的资料收集与整理，全面了解地形、地貌、土地利用、建筑、交通、环境、市政公用设施等方面的实际情况，并在调查基础上绘制包括土地
8、利用、道路交通、市政公用设施等内容的现状图，全面收集规划范围内的社会经济资料、各类图纸及历次编制的规划文件等相关资料。面对大量的资料，特别是近年来电子图纸和电子文档占这些资料的比重不断增加，数据挖掘的作用将愈来愈大。通过空间数据挖掘、对文档的数据挖掘、对Web的数据挖掘发现的知识对规划的编制、避免规划失误将起到很大的作用。在电子政务方面，政府部门的政务公开、政府上网工程的实施，民众对政府行为监督的要求，市领导对全市城市发展、经济发展、人口分布、交通状况等情况的了解，都需要在市政府各部门的数据库中挖掘出有用、潜在的知识，支持领导的决策和满足群众的要求。在规划管理方面，如对即将进行建设的建筑周围建
9、筑各种参数的数据挖掘，可以预见该建筑建成后，对其他建筑、自身的日照、通风等影响，便于规划方案的审查。审查地下管线的路由时，对地下管线历史数据的数据挖掘，可以避开有关管线。在违法建设监察方面，城市建设必须服从城市规划，违法建设监察是城市建设和发展的重要保障。现阶段，仍依靠群众举报和监察人员的实地察看来防止违法建设的发生，依据建设规划许可证的办理情况数据和全市影像图的数据挖掘，发现违法建设的分布，指导违法监察工作的进行。3、智慧城管数据挖掘技术在智慧城管中的主要应用包括：“特种车辆管理系统”、“视频监控预警分析系统”。其中，“特种车辆管理系统”主要是利用 GPS定位、RFID、图像识别、无线通信等
10、技术，对特种车辆进行智能识别和管理，不仅提高了工作效率，也加强了管理范围和力度。通过对运行数据进行数据挖掘及分析工作，宏观地掌握车辆运输的安全状况，为管理部门制定决策提供科学依据；通过以预防为主、事前监督来降低行车事故发生率；通过信息共享，强化车辆管理手段和市场秩序，提供行业宏观调控和监管力度。“视频监控预警分析系统”通过视频监控手段，可以实现非法停车检测、无证摊贩检测、出店经营检测等。非法停车检测为监控场景中的指定区域出现车辆，并静止超过预定时间，将自动检测出这种行为，触发告警并上传路视频及快照；无证摊贩检测为：当有摊贩（一般同时包含有人和相关物体，并超过一定大小）在指定区域停留的时间过长，
11、超过了预定义的时间长度就被认为尺无证摊贩；这些应用中均应用到了视频数据挖掘技术，把安全行为进行智能分析，视频数据自动理解，从而实现视频数据自动压缩，把PB级数据压缩下来。如果计算机能做到对目标进行跟踪，这就是我们需要的，自动地对物体中的运动目标进行检测、分离、跟踪，对其行为进行有效识别，如果有了这个软件，视频数据就能充分利用，正常人的活动可以删去，只把可疑的数据留下来。4、智慧环保目前，环境形势十分严峻，环保部门存在人员缺乏、监管能力不足等问题，利用现代科学技术提高环境监管能力迫在眉睫。综合运用数字挖掘、模型技术、人工智能等先进技术实现智慧型的环保决策成为迫切需求。省环保厅数据资源的综合利用多
12、停留在查询检索和统计功能上，并未全面有效地转化为环保工作人员和管理人员所需要的具有分析和决策功能的数据。我们以数据挖掘技术为径，提升综合决策能力，通过环境时空数据挖掘分析，开展环境经济形势联合诊断与预警分析，以及基于“社会经济发展-污染减排-环境质量改善”的环境预测模式，开展环境形势分析与预测，识别经济社会发展中的重大环境问题，开展环境规划政策模拟分析，探索建立各类政策模拟分析模型系统，实现环境税、排污收费、排污权交易、生态补偿、价格补贴等手段对经济社会的影响的预测，开展环境经济政策实施的成本分析；开展环境风险源分类分级评估、环境风险区划等工作，支撑环境风险源分类分级分区管理政策的制定。5、智
13、慧安防对于“安防”行业来讲，在平安城市、智能交通管理、环境保护、危化品运输监控、食品安全监控，包括政府机构、大企业工作场所等的与网络连接的设备系统将最有可能成为最大的数据资源。随着智慧城市等工程的推进，监控摄像头已经遍布大街小巷，安防监控对高清化、智能化、网络化、数字化的要求越来越高，数据量自然也不断地迅速增加。那么，数据挖掘技术在面对“安防”行业所长生的大量非机构化数据所急需解决的核心技术为：视频浓缩检索技术，主要是利用图像处理(包括视频浓缩、摘要、复原等)、模式识别、海量数据分类存储以及搜索等技术，对海量的存储录像等原始信息进行分析和挖掘，对于目标特征、目标行为、目标间关联关系这三大类信息
14、内容，形成各种分类的特征信息库、元数据和索引等，并提供统一接口供外部应用进行搜索，以期通过有限的线索，达到案件快速关联和定位。视频图像信息库建设，目前应用比较广泛的是卡口和电警的应用。由于车牌识别技术的日趋成熟，通过车牌、车牌颜色、车身、车身颜色、车辆类型等特征识别，把车辆图片、车辆信息、车主信息、盗抢车辆库等结合起来，可以有效的进行车辆的查找、布控和案件线索搜索。而其他如视频监控录像、案件等信息如何形成统一接口查询，如何进行有效数据关联，应用不是特别广泛。为此，国内很多科研单位和智能产品公司进行了多方面探索。如清华大学、中国科学院自动化研究所，上海交通大学、浙江大学等。视频图像信息库建设和海
15、量数据的处理、分析、检索，是提高效率的有力手段。通过视频智能分析技术，把海量的视频数据进行浓缩、提取特征摘要、减少了存储空间。如1小时的视频录像，通过特征值方式的视频浓缩，可以把录像压缩到10分钟左右。同时，视频图像信息库有别于传统的关系数据库模型，针对结构化，半结构化和非结构化数据，通过数据的多个副本分布式保存方式，可以有效节约存储空间，关键数据的二次备份，使系统架构更加稳定、易扩展，并且提供安全的负载均衡和容错机制。视频图像信息库的建设，除了减少人力和搜索时间外，还可以通过搜索接口进行联网布控，对有针对性的特征图片进行匹配和模式识别，增强事前预警的功能。同时，这些系统的应用，将推动“安防”
16、产业技术的进步和推广。6、智慧能源智慧能源是近几年兴起的一个比较新的概念。响应国家节能减排号召，我们要实现能源的安全、稳定、清洁和永续利用，助力政府实现低碳目标。利用数据挖掘可以对节能监测系统运行状态数据监测与分析，运用关联规则挖掘能耗异常数据之间的关联辅助能源管理和调度人员进行评估、节电、安全检修。主要对节能监测系统运行状态数据监测与分析，运用关联规则挖掘能耗异常数据之间的关联，辅助能源管理和调度人员进行评估、节电、安全检修。7、智慧养老中国在养老服务业已经和正在累积了庞大的数据，这些数据包括医疗数据、消费数据、通信数据等，挖掘这些数据中蕴含的价值和趋势，让整个社会的养老服务真正地具有智慧，
17、是智慧养老所要解决的。对于智慧养老项目，我国许多企业均提出了合理、有效的解决方案。如天云科技与民政部社会福利中心共建的社会养老服务和管理综合信息共享平台，其核心为天云SkyForm云平台，围绕国家养老服务体系建设和行业标准化规范管理的需要，整合各种IT及养老信息资源，通过云计算技术对养老服务信息资源进行整合管理，建立跨域信息协同和数据共享机制，研究基于云计算的海量资源存储和调度，为养老服务平台提供坚实的数据和IT支撑，为机构、社区、居家等社会养老服务和管理构建以云计算平台为基础架构的综合信息共享平台。有了这个共享平台，全国的社会福利机构可以共享IT资源、数据资源等，使养老资源分配更清晰有效。例
18、如，透过一个地区老人的医疗数据可以提出预见性的老年人整体疾病趋势，帮助福利机构更合理配置医疗资源。未来的居家养老是一个社会趋势，如何让居家养老更具人性化？通过发掘和分析老年人的消费数据等可以识别并聚合具有共同兴趣的社区老年人，丰富老年人的生活。北京汇晨养老机构管理有限公司简历的智能老年公寓管理系统，通过这个系统，每一位老人在入院时相关的个人信息都会被收集并分类管理，通过对信息的有效挖掘，院方可以掌握老人的身体情况、性格爱好等特点。从而在后续的服务中更为贴合老人的个性化需求。2010年3月，武汉侨亚百老汇信息技术有限公司独立创建了国内最早探索和提倡智能居家新型养老模式的专业化养老服务平台侨亚爱爸
19、妈，自主研发了侨亚智能居家养老平台。通过数字化医疗设备、E脉手表智能终端、移动通信网络、呼叫中心、健康服务管理中心、安全健康服务、亲情关爱服务和生理助理服务，构成了包括“健康服务系统”、“安全管理系统”、“快乐支持系统”和“生活助理系统”在内的中国首个智能化养老体系。其数据挖掘的主要应用为：安全管理服务为老年人提供紧急呼救、走失救助、出行行踪监护、安全活动范围监护、心脑血管异常报警、夜间生理安全监测、运动安全报警、健康风险报警等系列服务。保障老年人居家养老的安全性，发生意外或危险时能够得到及时的帮助和救治。安全管理服务为老年人提供紧急呼救、走失救助、出行行踪监护、安全活动范围监护、心脑血管异常
20、报警、夜间生理安全监测、运动安全报警、健康风险报警等系列服务。保障老年人居家养老的安全性，发生意外或危险时能够得到及时的帮助和救治。三、数据挖掘的国外相关应用近年来，人们对城市发展的关注和探索一直不断向前推进，在探索的进程中，“智慧城市”的概念逐渐被全球越来越多的国家和社会公众所接受。以前由于科技力量不足，城市中的交通、能源、商业、通信、水资源等无法为城市发展提供整合的信息。而现在，信息技术正在给城市发展带来实现巨大变革的条件。“智慧城市”就是主动驾驭这一趋势，借助新一代的物联网、云计算、决策分析优化等信息技术，将人、商业、运输、通信、水和能源等城市运行的各个核心系统整合起来，以一种更智慧的方
21、式运行，进而创造更美好的城市生活。在这样美好的发展愿景驱使下，近十年来，美国、英国、日本等世界各国都在不断加大信息技术在城市管理、服务和运行中的应用，努力打造基于数字技术的“智慧城市”。数据挖掘在国外智慧城市中的应用主要包括智慧经济、智慧治理、智慧医疗、环境等方面。1、智慧经济在智慧经济方面，首先大数据在商业上得到了很好运用，它会分析用户的购物行为，很多公司通过分析找到最佳客户，淘宝数据魔方则是淘宝平台上的大数据应用方案。通过其“数据魔方”平台，商家可以直接获取行业宏观情况、自己品牌的市场状况、消费者行为情况等，并可以据此作出经营决策。美国一家投资公司分析了全球3.4亿微博账户留言，判断民众情
22、绪，依此决定公司股票的买入或卖出，该公司今年第一季度获得7%的收益率。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和诚信的企业，从而无需担保来放贷，目前已放贷300多亿元，坏帐率仅0.3，大大低于商业银行。企业通过信息收集很好的掌握企业的运营状况，分析居民与财务有关的记录，能够得出消费者的个人信用评分，从而推断客户支付意向与支付能力，发现潜在的欺诈。IBM日本公司建立了一个经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算出采购经理人指数PMI预测值。印第安纳大学学者利用Google提供的心情分析工具，对270万用户在2008年312月所张贴的970万条留言，挖掘
23、出用户happiness、kindness、 alertness、sureness、 vitality 和calmness等六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。利用大数据分析可实现对合理库存量的管理，华尔街对冲基金依据购物网站顾客评论分析企业产品销售状况，华尔街银行根据求职网站岗位数量推断就业率。2、智慧治理智慧治理方面，美国纽约的警察分析交通拥堵与犯罪发生地点的关系，有效改进治安。美国纽约的交通部门从交通违规和事故的统计数据中发现规律，改进了道路设计。利用短信、微博、微信和搜索引擎可以收集热点事件与舆情挖掘。电信运营商拥有大量的手机数据，通过对手机数据的挖掘，不针
24、对个人而是着眼于群体行为，可从中分析：实时动态的流动人口的来源及分布情况；出行和实时交通客流信息及拥塞情况。利用手机用户身份和位置的检测可了解突发性事件的聚集情况。MIT的Reality Mining项目，通过对10万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规则性和重复性，进行流行病预警和犯罪预测。3、环境监测对城市的河流进行采样，通过卫星发布，收集采样的数据，这个数据非常大，通过这个数据分析能够判别城市中有没有污染。4、智慧医疗无论是药品的研发还是商业模式的开发运用数据分析都能够得到很好的分析，医院里大量的病例，就对应着大量的数据，传统的普通病例很难挖掘数据，现在变成
25、电子化有利于更高数据挖掘，数据的挖掘有利于发现医疗知识。另外，居家监护很重要，谷歌公司与美国疾病控制和预防中心等机构合作，依据网民搜索内容分析全球范围内流感等病疫传播状况，谷歌的判断与疾控中心的判断是一致的。社交网络为许多慢性病患者提供了临床症状交流和诊治经验分享平台，医院借此也可获得足够多的临床效果统计。5、舆情监测大众传播发展的很快，这里包含着大量的数据，例如微博传播具有裂变性、主动性、即时性、便捷性、交互性，每个微博用户既是“服务器”，也是“受众”。6、精准营销美国信用营销分析专家在大数据分析的应用上，美国政府和大公司领先新兴国家至少20年。15年前，美国的信用卡公司就可以进行数据挖掘实
26、现精准营销：在合适的时间，通过合适渠道，把合适的营销信息投送黑每个客户。7、犯罪预警随着智能电话和电脑网络的普及，美国政府和大公司把自己的触角伸到个人生活的每个方面。美国个人的一切在线行为数据有被收集存储，再加上已被机关掌握的个人信用数据、犯罪记录和人口统计等数据，有关公司和政府结构可以运用数据挖掘的方法，监控和预测个人的行为，并做出相关决策。结束语大数据挖掘是智慧城市建设与管理的无形生产资料。可以看出,随着数据挖掘技术应用范围的不断扩展,人类社会的方方面年几乎都会被数据挖掘涉足。尽管数据挖掘原本是作为一项技术出现的,但由于数据挖掘本身独有的理念给人们处理解决各类问题都提供了一个新的思路和方法,在这一点上数据挖掘一定程度上等同于一种方法论,在未来的一段时期里必将对人类生产生活产生重大影响。