《2022年大数据在智慧城市中的应用 .pdf》由会员分享，可在线阅读，更多相关《2022年大数据在智慧城市中的应用 .pdf（5页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Microcomputer Applications Vol.30,No.12,2014专家论坛微型电脑应用2014 年第 30 卷第 12 期1文章编号：1007-757X(2014)12-0001-04 大数据在智慧城市中的应用李光亚，张敬谊，童庆摘要：伴随智慧城市的发展，多源、异构、冗余的大数据应运而生。利用数据挖掘、决策分析等技术，实现大数据转化为数据资产，必将成为大数据时代智慧城市智能化、互联化的必要手段。阐述了智慧城市概念、智慧城市数据资源及大数据处理技术，分析了智慧城市中的大数据综合应用，阐明了大数据在智慧城市重点行业领域的应用现状，并对其进行展望，为未来智慧城市中大数据的深入应
2、用提供解决方案和思路。关键词：智慧城市；大数据中图分类号：TP311.13 文献标志码：A The Application of Big Data in Smart City Li Guangya,Zhang Jingyi,Tong Qing(Wonders Information Co.,Ltd,Shanghai 201112,China)Abstract:With the rapid development of Smart City,multi-source,different-structured and redundant big data has been well de-velo
3、ped.Technologies such as data excavation and decision analysis provide an opportunity for big data to transfer into data asset which is necessary measures for the intelligence and interconnection of Smart City.Besides,the paper described the concepts,data resource and technologies of data analysis o
4、f Smart City.Furthermore,it claimed the synthetic application of big data of wisdom city.Whats more,it demonstrated the application status of big data in current key industries and an expectation of its future de-velopment.Finally,it provided proposals and ideas for a further application of big data
5、 of Smart City.Key words:Smart City;Big Data 0 引言当前，城市发展面临诸如人口膨胀、环境恶化、公共卫生事件频发、交通拥堵、资源浪费等的挑战，人们的生活也因此受到不利的影响。而且，随着城市化文明进程的推进，人们日益膨胀的需求与城市日益有限的供给之间的矛盾会继续增大，未来人们的生活质量和城市的发展不容乐观。基于和谐发展的智慧地球、智慧城市是未来的发展趋势。智慧城市是指在物联网和互联网结合的基础上，通过各种智能化的应用，提升城市基础设施的运作效率，提升城市运行管理和公共服务水平，让人们的生活更美好。截止 2013年，我国已经有311个城市提出或正在建设智
6、慧城市。大数据是支撑智慧城市发展的重要信息资源，城市运行体征是通过数据进行量化表现出来的，通过大数据技术收集各部门有关城市运行体征的数据，可帮助城市管理者进行数据汇总、分析，最终对城市体征的量化形态即各类数据进行管理。大数据与智慧城市的关系可表述为：大数据的发展源于物联网技术的应用，并用于支撑智慧城市的发展；智慧城市的衡量指标由大数据来体现，大数据促进智慧城市的发展；物联网是大数据产生的催化剂，大数据源于物联网应用1。本文通过分析智慧城市的数据资源组成，综述数据资源管理技术，并在此基础上阐述智慧城市中的大数据综合应用以及在重点领域的行业应用，为后续智慧建设城市中大数据应用及创新提供参考。1 智
7、慧城市概述智慧城市是创新与新信息技术发展、成长于社会创新环境下的新兴城市形态，是传统城市文明与新知识、新技术的创新融合的产物。智慧城市将极大改变城市的管理方式和生活方式，并有效保障城市的可持续发展。建设和发展智慧城市，是经济增长的新动力和经济发展方式转变的重要契机，也是提高城镇化质量，缓解的“大城市病”的重要方式。智慧城市具有以下特征：（1）感知与互联。通过智能传感器，对城市的物理空间进行全面感知，对城市核心的运行系统进行实时监测。通过互联网将智能传感器网络连接起来，实现对数据的智能存储、管理、使用。（2）重视基础建设。通过互联网、物联网、卫星传感器网的融合，以及多源异构数据的整合，为智慧城市
8、的建设提供信息基础设施，从源头上保障智慧城市的良性发展。（3）协同与智能。在建设智慧城市基础设施的基础上，协调智慧城市各要素、单元、系统的高效运行；通过构建新的服务模式与服务体系，对各类数据进行处理、挖掘，提供各种不同层次的智能化服务。（4）鼓励创新。在城市智慧信息基础设施上，鼓励各级各类主体进行各种形式的创新应用，不断为城市经济、文化的可持续发展提供动力。作者简介：李光亚（1973-），男，万达信息股份有限公司，高级工程师（教授级），博士，研究方向：软件工程、大数据管理、云计算、城市智能化，上海，201112 张敬谊（1974-），女，万达信息股份有限公司，高级工程师，博士，研究方向：大数据
9、管理、计算智能、移动医疗，上海，201112 童庆（1977-），男，万达信息股份有限公司，高级工程师，博士，研究方向：大数据管理、电子商务，上海，201112 名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 5 页 -Microcomputer Applications Vol.30,No.12,2014专家论坛微型电脑应用2014 年第 30 卷第 12 期22 智慧城市的数据资源与技术智慧城市的数据来源广泛、结构多样，涵盖智能交通、智能医疗、智能楼宇、智能电网、智能农业、智能安防、智能环保、智慧旅游、智慧教育、智能水务等大数据资源，涉及众多方方面面智慧城市应用范畴2。其多是
10、互联网、传感设备、视频监控、移动设备、智能设备、非传统IT 设备等渠道产生的海量结构化或非结构化数据，并且时时刻刻都在源源不断地渗入城市日常管理和运作的方方面面3。智慧城市的数据资源体量巨大，但有价值的信息密度低，需要进行深度整合和分析，将不同来源、不同格式、不同类型、不同应用的数据进行规范、融合，形成“智慧城市”的数据资源体系，打破各系统间数据不能共享的现状，实现空间信息和非空间信息的统筹管理、统一服务、共享共用4。从智慧城市的业务需求角度来说，一方面，智慧城市管理需要深度整合、分析数据；另一方面，大数据环境下的智慧城市运行体征管理，需要对城市运行状况进行信息的收集和整合。因此，需要从整合现
11、有信息资源并为未来的信息化建设提供统一支撑的角度，打破各个系统间数据不能共享的现状，实现空间信息和非空间信息的统筹管理、统一服务、共享共用。从业务内容角度来看，智慧城市需要有建立在标准规范之上的信息资源体系，它是一个分层的树状结构，包括元数据资源、数据资源、服务资源三大类，如图1 所示：智慧城市信息资源体系元数据资源数据资源服务资源公共服务数据资源特定数据资源共享数据资源基础数据资源管理数据资源政府决策数据资源技术元数据数据元数据业务元数据各种基础服务构件及其上的复合服务功能图 1 智慧城市信息资源体系层次结构从技术实现的角度上来看，对智慧城市数据资源的管理，可采用数据生命周期管理、大数据采集
12、、大数据存储、大数据处理、智慧城市大数据决策分析等技术。（1）数据生命周期管理。主要对智慧城市业务数据的产生、规范、使用和存档的各个阶段进行有效地监控和管理，以保证数据的共享性、完整性、可靠性和有效性等，并以此为基础提供给上层决策分析系统。A.数据共享性。采用主数据管理技术，消除“信息孤岛”，加强各系统间关联性，建立规范、统一的数据源，实现数据共享。B.数据完整性。采用元数据管理技术，从数据格式、源头、服务等方面建立信息资源规范，以确保数据的完整性。C.数据可靠性。采用数据清洗技术，可以有效的清除脏数据、保证数据的质量。D.数据有效性。对数据归类和特征分析，利用在线存储、近线存储、归档存储等技
13、术进行选择存储，保证数据的有效性5。（2）大数据采集。主要通过网络数据获取，媒体流获取，日志信息获取和传统应用数据获取等技术在智慧城市场景中获取大数据。A.网络数据获取。主要利用互联网搜索引擎技术如网络爬虫等实现有针对性、行业性、精准性的数据抓取，按照一定规则和筛选标准进行数据归类，形成数据库文件。B.媒体流数据获取。媒体流接入服务采用集群的方式，为每个接入源动态确定一个存储服务器，实现视频、音频数据以分布式文件方式落地。C.日志信息获取。常通过成熟分布式框架如Chukwa、Flume、Scrib 等，实现日志信息的分布式收集和统一处理。D.传统应用数据获取。主要采用 ETL将分布的、异构的数
14、据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最终按照定义好的数据模型，将数据加载到目标数据库中。（3）大数据存储。主要利用CAP原则，通过对大数据特征分析，选择合适的存储方案。A.数据存储硬件：本地存储、SAN存储和云存储。B.数据存储技术6：关系型数据库、No-SQL数据库、实时数据库、分布式文件存储、列式数据库等。（4）大数据处理。主要是采用基于大数据方案的计算技术、数据挖掘技术和大数据可视化技术实现数据处理。A.计算技术7：轻量级弹性计算平台、Map-Reduce离线计算框架、Spark 内存计算框架、Storm 流式计算框架等。B.数据挖掘技术：大数据下的频繁模
15、式挖掘技术、大数据下的聚类分析方法、大数据下的分类和预测算法、大数据下的序列挖掘算法。C.大数据可视化技术：借助于图形化手段，清晰有效地传达与沟通信息。大规模数据的可视化和绘制主要是基于并行算法设计的技术，合理利用有限的计算资源，高效地处理和分析特定的数据集的特性，主要技术：数据流线化、任务并行化、管道并行化、数据并行化。（5）智慧城市大数据决策分析。主要利用当前成熟的模型技术，对海量冗余的数据源进行抽取转换等操作，以形成高质的智慧城市数据资产，为城市的发展决策提供明确的数据支撑。常见的大数据决策分析技术如下：A.融合多领域信息的数据知识模型。首先，在标准统一的领域数据知识模型的基础上，建立面
16、向不同主题的多领域数据知识模型。然后，在建立面向领域的和面向主题的数据知识模型的基础上，形成多领域多层次数据知识模型结构。B.面向智慧城市决策支持的分布式海量数据的管理技术。通过对智慧城市大数据的进行决策分析，实现海量数据管理和决策分析的双向耦合，为决策支持提供数据管理层面的有效支撑。涉及技术有：分布式大数据的平台、基于云计算的海量异构数据的存储管理技术、分布式决策模型、流数据挖掘技术。C.辅助决策模型的智能组合技术。建立针对模型的规范化描述，使模型分析的结果也可以满足数据知识模型体系的数据标准，从而能够为其它决策分析模型所利用，在此基础上能够建立模型链的实例化应用，扩展辅助决策支持的范围，真
17、正发挥多层级辅助决策支持的能力。包括：决策模型名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 5 页 -Microcomputer Applications Vol.30,No.12,2014专家论坛微型电脑应用2014 年第 30 卷第 12 期3标准化、模型链建立与实例化、模型链评估与优化。D.高性能多用户协同的辅助决策技术。通过可视化技术，以更直观、有效的方式将数据分析结果展示给用户。主要技术有：决策模型的可视化展现技术、可视化动态分析模型、可视化智能决策方案。3 智慧城市中的大数据综合应用智慧城市助推大数据的产生，也给大数据提供了广阔的应用市场。智慧城市数据资源多源、异构
18、、冗余，需要从数据采集、整合、分析的整个流程，进行综合数据管理，将其转变为城市的有效、高质的数据资产，发挥大数据在城市建设发展中的最大效用，如图2 所示：图 2 大数据综合应用（1）大数据采集网络大数据和政府部门数据资源是智慧城市大数据资源的主体，对推动城市智能化、创新化、互联化起着举足轻重的作用。网络大数据采集包含对互联网数据采集、物联网数据采集和个人数据采集。互联网数据的采集涉及页面和后台数据两个层面，页面数据可以通过爬虫程序直接抓取所需的数据，而网站后台数据层次较深、相对较复杂，常通过开放或授权数据接口让各方方便获取数据、开发应用；同时对互联网海量的网页，可以建立大数据抓取集群，实现统一
19、的互联网数据抓取，保证抓取的实时性。物联网数据采集，主要是建设城市统一的数据监测采集系统，实现行业数据如车联网大数据、环境物联网大数据等的统一采集、统一管理，各行业按需调用相应的数据服务即可。个人数据采集，主要是对个人日常活动数据、与政府企业资源设施互动数据等采集，有助于创新社会管理、提升公共服务、建立个性化服务。政府部门数据资源，共享度低，数据采集重复性高，且易形成“信息孤岛”。进行跨部门大数据管理，以城市一体化为目标，建设城市运营数据的统一采集，建立起跨部门的数据共享体系，为各领域的智慧应用提供大数据统一服务。（2）大数据开放服务大数据要发挥巨大价值，开放是关键。智慧城市建立统一的大数据开
20、放服务，有助于打破信息孤岛，并实现数据授权，有助于发展数据产业。智慧城市大数据开放服务的基本思路为：政府数据开放、机器可读；应用云计算等新模式；鼓励社会化的数据再开发；城市一体化而不是部门孤岛。大数据开放服务，将连接居民、政府、社会开放设备和平台，形成一个大数据服务生态环境，将使居民更方便的获取信息、政府实现跨部门数据共享、数据再开发利用使数据增值、数据利用更加安全、城市数据服务一体化等（3）大数据决策分析大数据能提升智慧城市决策支持的能力，形成更智能的趋势分析。建立大数据技术与业务深度融合的模式，简化各领域应用大数据进行分析决策的难度，实现对决策支持的服务。大数据的分析服务，提供大数据分析的
21、工具引擎，包括多源数据关联分析、数据建模、数据仿真、数据报告等共性功能。深入的分析和挖掘，大数据可以为智慧城市的很多领域服务，包括交通运行、医疗卫生、社会管理、农业、商业、金融以及宏观经济等。如对医疗大数据进行分析，可以帮助政府更科学地进行医保预算，实现医保控费，提升医疗机构的疾病诊断能力，提升市民的健康水平；对应用电子商务大数据进行分析，可以一定程度上预测经济状况，按需生产；对公共大数据的分析，可发挥数据的协同作用。总之，在智慧城市中综合应用大数据，可以形成趋势判断、数据共享，将有助于智慧城市的创新社会管理、各行业的互联互通、良性竞争与可持续发展。4 智慧城市中的行业应用充分利用智慧城市大数
22、据潜能，以满足城市各行业发展需求。智慧城市中大数据行业应用重点领域有民生、市场监管、政府服务、基础设施等，涵盖了医药卫生、环境保护、智慧教育、交通物流、市民服务、市场监管、公共安全、国土资源、科技服务、文化创意、电子政务等方方面面。（1）民生领域智慧城市中采集的人口数据、环境数据、交通数据、健康数据、监控数据、经济数据等是民生大数据的重要组成部分。同时，互联网上用户相关的民生大数据的采集是在用户参与下，由运营商、服务方分别采集完成的。通过民生大数据的开放和共享，构建民生大数据集市，需求方可按需获取数据。民生大数据将在民生领域的舆情、预测、决策、调控等方面发挥巨大的作用。大数据技术对于把握民生民
23、情民意具有重要意义，可以提炼广大市民的需求，使民生服务领先一步，比市民本人知道得更多、了解得更细、发现得更早，可以分析社会现象本质，揭露潜在的民生问题，还可预测趋势，指导民生决策，使立法、监管先行，防患于未然。（2）市场监管领域市场实时数据、历史数据、其他数据源等共同构成市场监管领域大数据集8。通过大数据智能分析算法和数据挖掘技术，实时分析市场数据，以对市场变化及时做出反应。分析历史数据，提取出被监管对象的行为模式、消费者的行为模式以及他们行为模式的趋势，并结合实时数据分析，可对非正常的活动提出预警。将新的数据源整合至监管领域大数据集，可提高对非正常事件进行预警的准确度。对不同行业大数据分析，
24、可支持多行业的监管。（3）政府服务领域运用大数据，通过多渠道数据采集、快速综合的数据处理技术，增强社会管理能力，实现政府公共服务的管理创新、名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 5 页 -Microcomputer Applications Vol.30,No.12,2014专家论坛微型电脑应用2014 年第 30 卷第 12 期4技术创新和服务模式的创新。首先，大数据在政府服务领域的应用。一方面，通过大数据共享性应用，实现政府各部门之间、政府与市民之间的信息共享，提高政府各机构协同办公效率和为民办事效率9。另一方面，大数据价值应用，通过大数据决策分析，展示给人们关注信
25、息之间的关联度，实现信息价值的放大。其次，应用大数据和云计算等新技术，构建实体社会管理与虚拟社会管理相结合的社会管理一体化模式，实现智慧城市的创新社会管理。A.动态感知：对现实社会和虚拟社会中的人员、场所、设备设施、活动、舆论等信息进行动态采集。B.互联互通：实现区、街道镇、居委、商务楼宇等社会综合管理部门的信息共享，并与市级公安、司法、住房等社会管理相关部门信息整合。C.应用智能：构建社会管理业务模型，对采集的海量大数据信息进行分析处理，形成趋势判断，为社会综合治理提供预警和处理的智能化手段。D.管理创新：形成虚拟社会管理的综合应用，并对实体社会管理提供支撑。（4）基础设施领域城市基础设施是
26、对城市生存、发展所必须具备的社会性基础设施和工程性基础设施的总称10。运用大数据，通过对各基础设施如轨道交通、电力设施等数据采集、分析，将有助于促进城市基础设施建设的完善。如在轨道交通领域，通过采集客流信息、轨交数据、监测数据等，形成轨道交通大数据集。通过对大数据的数据挖掘和决策分析，进行大客流预测、事件预警、推送出行路线等，为规划新的路线提供决策支持，为安全畅通提供保证，也将有利于城市综合交通的优化。（5）医药卫生领域在医疗改革的国家政策背景下，大数据在医药卫生行业的应用也日显重要。医药卫生领域，病人个人信息、诊疗信息、处方医嘱、检查报告等共同构成医药卫生的大数据资源。可通过对这些数据源的采
27、集、抽取、转换，形成医疗信息资源库，为居民个人、医生、卫生管理部门提供数据支持。面向居民，医疗信息资源库为居民提供个性化健康管理，如智能导诊、健康记录、健康问答、个性化保健建议、健康咨询、健康预警、个性化健康教育等。面向医生，医疗信息资源库为医生诊断提供个性化临床决策支持。如，基于医疗大数据分析提炼病种的关键特征指标，形成糖尿病、高血压、肿瘤几个病种的诊疗模型。面向卫生管理，医疗信息资源库将有助于精细化卫生管理。如，采用特异群组挖掘技术，针对就医行为大数据，并结合持卡人的多元信息，设计异常就医行为检测算法。5 总结大数据的使用已经成为一个国家各领域提高生产力、创新能力以及竞争力的关键要素。虽然
28、我国在智慧城市建设、在大数据的开发和利用方面取得了一定的成绩，但是我们要清楚地认识到，在智慧城市的现今阶段大数据的开发和利用所面临的困难：政府各个部门之间的数据共享程度低；政府数据开放刚刚起步；大数据生态环境中各个角色的权利义务不清；数据资产所有权的界定和保护；数据利用中的安全和隐私保护问题；处理大数据能力的技术和平台；大数据相关的人才匮乏。面向未来，在智慧城市的建设过程中如何更好的利用大数据，需要进一步的思考、解决和实践：（1）建立政府数据开放的机制：参考国外政府大数据开放所遵循的原则，完整性、原始性、及时性、可获取性、可处理性、非歧视性、非专有性、非许可性等；鼓励政府部门共享和开放，建立数
29、据质量评估机制，鼓励第三方挖掘政府信息资源的积极性，出台相关的奖励措施。（2）加强对数据隐私、安全、知识产权、法律法规、标准规范的研究与制定：建立相关标准规范、法律法规；研究个人数据保护的法律瓶颈；明确拥有者、使用者、第三方社会资源、最终用户等各方的责任、权利和义务；加强对数据主权研究；加强对数据跨境流动监管；加强数据风险分级管理。（3）加强大数据人才（分析、管理、技术）培养与培育：尤其注重培育跨界复合型人才，既要熟悉政府业务，又要熟悉大数据技术；加强对政府信息化和管理决策部门、对大数据技术人才的相关培训，技术与业务的结合点。（4）推动技术、产品与服务的加速融合与创新：鼓励多种形式的服务模式的
30、探索和创新；鼓励政府部门购买大数据相关的产品和服务；鼓励社会第三方基于大数据的运营模式探索和创新；支持大数据公共服务平台、专业大数据公共平台、产学研联盟以及相关基础设施的建设。（5）大数据时代真的已经来临，智慧城市的建设更加离不开大数据相关技术和产品的应用、服务和管理模式的创新、融合业务和运营模式的探索，大数据不仅是引领新一轮城市经济社会发展的重要驱动因素，一定意义上也将是人类社会发展进程中的划时代变革。参考文献1陈素梅.PACS 存储系统的设计与实现D.深圳：厦门大学,2013.2Fay Chang,Jeffrey Dean,et al.Bigtable:A Distributed Stor
31、age System for Structured DataJ.ACM Trans Comput.Syst.,2008,Vol.26.3Jeffrey Dean,Sanjay Ghemawat Commun.MapReduce:Simplified Data Processing on Large ClustersJ.ACM 2008.4宋杰.面向多类型数据源的数据仓库构建及ETL 关键技术的研究 D.沈阳：东北大学,2008.5李 明 高.“大 数 据”之 于“电 子 政 务”J.信 息 化 建设,2013(1):18-19.6庞拥军.城市基础设施建设评价研究D.天津：天津大学,2008.（
32、收稿日期：2014.11.12）名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 5 页 -大数据在智慧城市中的应用作者：李光亚，张敬谊，童庆，Li Guangya，Zhang Jingyi，Tong Qing作者单位：万达信息股份有限公司 上海,201112刊名：微型电脑应用英文刊名：Microcomputer Applications年，卷(期)：2014(12)参考文献(6条)1.陈素梅 PACS存储系统的设计与实现学位论文 20132.Fay Chang;Jeffrey DeanBigtable:A Distributed Storage System for Struct
33、ured Data 20083.Jeffrey Dean;Sanjay Ghemawat Commun MapReduce：Simplified Data Processing on Large Clusters 20084.宋杰 面向多类型数据源的数据仓库构建及 ETL 关键技术的研究学位论文 20085.李明高“大数据”之于“电子政务”期刊论文-信息化建设 2013(1)6.庞拥军 城市基础设施建设评价研究学位论文 2008引用本文格式：李光亚.张敬谊.童庆.Li Guangya.Zhang Jingyi.Tong Qing 大数据在智慧城市中的应用期刊论文-微型电脑应用2014(12)名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 5 页 -