《大数据的认识与思考16132.docx》由会员分享，可在线阅读，更多相关《大数据的认识与思考16132.docx（29页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、“大数据”的认识与思考 刘姝姝祎目录1“大数据”的的时代背景41.1“大数据据”的概念41.2“大数数据”产生的背景景41.3“大数据据”的特征51.4“大数据据”的发展阶段段51.5“大数据据”带来的机遇遇62“大数据”的的关键技术92.1“大数据据”的采集和预预处理92.2“大数据据”存储技术102.3“大数据据”分析技术102.4“大数据据”与云计算113大数据产业的的应用123.1大数据产产业123.2“大数据据”在典型领域域中的应用133.3智慧城市市：立体的大大数据生态系系统143.3.1智慧慧城市的产生生143.3.2全球球智慧城市的的实践153.3.3.中中国智慧城市市164问
2、题与挑战战184.1数据质量量184.2数据安全全184.3用户隐私私与便利性的的冲突184.4庞大能耗耗184.5数据分析析与管理人才才紧缺194.6跟风现象象较为严重194.7缺少技术术创新水平较较高的互联网网公司195对大数据产业业发展的建议议205.1政府方面面205.2企业方面面215.3公众方面面221“大数据”的的时代背景1.1“大数据据”的概念纽约时报在20012年宣布布“大数据时代”已经降临，“大数据”成为了时下下最火热的词汇汇。顾名思义，大大数据是“无法任意时时间内用常规规软件工具对对其内容进行行抓取、管理理和处理的大大量而复杂的的数据集合”。Garttner认为为大数据是
3、“需要新处理理模式才能具具有更强的决决策力、洞察察发现力和流流程优化能力力的海量、高高增长率和多多样化的信息息资产”。“大数据”的要义是尽可可能地收集众众多可以相互互叠加补充的的信息，据以以完成对“未来”的预测。这这些数据可能能有些混乱，甚甚至会出现纰纰漏，但数据据量的“多“和时间的“即刻”可以弥补数数据质量的瑕瑕疵，“大数据”将以最快的的速度“预测”出最“可靠”的答案，指指引人们迅速速采取行动。1.2“大数据据”产生的背景景大数据的应用和和技术是在互互联网快速发发展中诞生的的，起点可追追溯到 20000 年前前后。当时互互联网网页爆爆发式增长，每每天新增约 700 万万个网页，到到 2000
4、0 年底全球球网页数达到到 40 亿亿，用户检索索信息越来越越不方便。谷谷歌等公司率率先建立了覆覆盖数十亿网网页的索引库库，开始提供供较为精确的的搜索服务，大大大提升了人人们使用互联联网的效率，这这是大数据应应用的起点。当当时搜索引擎擎要存储和处处理的数据，不不仅数量之大大前所未有，而而且以非结构构化数据为主主，传统技术术无法应对。为为此，谷歌提提出了一套以以分布式为特特征的全新技技术体系，即即后来陆续公公开的分布式式文件系统(GFS， Googlle Fille Sysstem)、分分布式并行计计算(MappReducce)和分布布式数据库(BigTaable)等等技术，以较较低的成本实实现
5、了之前技技术无法达到到的规模。这这些技术奠定定了当前大数数据技术的基基础，可以认认为是大数据据技术的源头头。伴随着互联网产产业的崛起，这这种创新的海海量数据处理理技术在电子子商务、定向向广告、智能能推荐、社交交网络等方面面得到应用，取取得巨大的商商业成功。这这启发全社会会开始重新审审视数据的巨巨大价值，于于是金融、电电信等拥有大大量数据的行行业开始尝试试这种新的理理念和技术，取取得初步成效效。与此同时时，业界也在在不断对谷歌歌提出的技术术体系进行扩扩展，使之能能在更多的场场景下使用。22011 年年，麦肯锡、世世界经济论坛坛等知名机构构对这种数据据驱动的创新新进行了研究究总结，随即即在全世界兴
6、兴起了一股大大数据热潮。2012年3月月，美国政府府发布大数数据研究和发发展计划，同同时组建大数数据高级指导导小组，以协协调政府在数数据领域的两两亿多美元投投资。根据这这一计划，美美国希望利用用大数据技术术再多个领域域实现突破，包包括科研教学学、环境保护护、国土安全全等，此举标标志着，美国国把应对大数数据技术革命命带来的机遇遇和挑战，提提高到国家战战略层面，形形成了全体动动员格局。随随后，英国、法法国、日本等等各国都相继继将大数据计计划作为国家家战略型计划划提上日程。值得一提的的是，由中国国各级政府主主导的大数据据计划也已经经全面展开，“大数据”已成为推动我国经济和科技发展的重要力量。1.3“
7、大数据据”的特征“大数据”具有有4V的特点点：一是数据据容量巨大（VVolumee）。国际数据公公司（IDCC）的研究报报告称，20011年全球球被创建和被被复制的数据据总量为1.8ZB（22的70次方方），并预测测到20200年，全球将将拥有35ZZB的数据量量。二是数据类类型众多（Varietty）。相对于过往往以文本形式式为主的结构构化数据，大大数据时代的的数据类型涵涵盖了图片、音频、视频、网络日志和地理位置信信息等种类繁繁多的半结构构化和非结构构化数据。 三是数据据价值密度低低（Valuue）。举例而言，在在一个连续监监控三个小时时的视频中，能能够提供有效效信息帮助刑刑侦人员破案案的画
8、面可能能只有三五秒秒。四是处理数数据的速度要要求非常快（VVelociity）。一方面，面面对如此巨大大的数据量，处处理效率至关关重要，另一方面，越越来越多的处处理需要在瞬瞬间完成以便便做出及时的的反应。在此基础上上，阿里巴巴巴延伸至3个个维度可实时性、可可解释性、数数据准确性稳稳定性，这三个维度度是决定数据据是否有价值值的关键。 1.4“大数据据”的发展阶段段每种技术都有自自己的生命周周期，Garrtner曾曾经指出新技技术生命周期期的5个阶段段，即技术萌萌芽期（teechnollogy ttriggeer）、期望膨胀期期（Peakk of IInflatted Exxpectaations
9、s）、泡沫化的谷谷底期 （TThrouggh of Disilllusioonmentt）、稳步爬升的的光明期 （SSlope of Ennlighttementt），最后才才能进入成熟熟使用期 （PPlateaau of Produuctiviity）。如如下图1-11所示图1-1大数据据生命周期图图而大数据正是出出于期望膨胀胀期，预计通通过近两年的的发展，大数数据将会在22016年达达到泡沫化的的低谷期，之之后在5-110年的时间间内经历稳步步爬上的光明明期，到20020年后将会到达实质质的成熟使用用期。1.5“大数据据”带来的机遇遇（1）新一代信信息技术融合合应用新焦点点对大数据的处理理
10、和分析正成成为未来新一一代信息技术术融合应用的的核心支撑结结点。物联网网、移动互联联网、数字家家庭、社会化化网络等都是是新一代信息息技术具体的的应用形态，大大数据伴随这这些应用不断断增长，云计计算则为这些些海量的、多多样化的大数数据提供存储储和运算的支支撑平台。以以大数据为结结点，各项新新一代信息技技术应用产生生的信息将不不断汇集，并并通过对不同同来源数据的的统一性、综综合性的处理理、分析与优优化，将结果果反馈或交叉叉反馈到物联联网、移动互互联网、数字字家庭、社会会化网络等应应用中，又进进一步改善使使用体验，并并创造出巨大大的商业价值值、经济价值值和社会价值值。（2）信息产业业持续高速增增长的
11、新引擎擎大数据因其巨大大的商业价值值和市场需求求正在推动着信息产产业持续高速速增长。随着着行业用户对对大数据价值值的认可程度度增加，市场场需求将出现现井喷，面向向大数据市场场的新技术、新新产品、新服服务、新业态态将会不断涌现现，大数据将将为信息产业业打开一个高高增长的新市市场。在硬件与集成设设备领域，大大数据面临的的有效存储、快快速读写、实实时分析等挑挑战，将对芯芯片、存储产产业产生重要要影响，还将将催生一体化化数据存储处处理服务器、内内存计算等市市场。在软件件与服务领域域，因为大数数据中蕴含的的巨大价值，带带来对数据快快速处理和分分析的迫切需需求，将引发发数据挖掘、商商业智能市场场的空前繁荣
12、荣。（3）用户提升升竞争能力的的新动力对大数据的利用用将成为企业业提高核心竞竞争力、并抢抢占市场先机机的关键。企企业的决策正正在从“业务驱动”转变为“数据驱动”。在未来33到5年，我我们将会看到到那些真正理理解大数据并并能利用大数数据进行价值值挖掘的企业业和不懂得大大数据价值挖挖掘企业之间间的差距。真真正能够利用用好大数据、并并将其价值转转化成生产力力的企业必将将具备强劲有有力的竞争优优势，从而成成为行业的领领导者。在零零售行业，对对大数据的分分析可以使零零售商实时掌掌握市场动态态并迅速做出出应对；在互互联网行业，对对大数据的分分析可以为商商家制定更加加精准有效的的营销策略提提供决策支持持；在
13、服务行行业，对大数数据的分析可可以帮助企业业为消费者提提供更加及时时和个性化的的服务；甚至至在公共事业业领域，大数数据也开始发发挥促进经济济发展、维护护社会稳定等等不可小觑的的重要作用。（4）推动商业业模式的创新新对于海量数据而而言，提供髙髙附加价值的的数据分析服服务，将数据据封装为服务务形成可对外外开放、可商商业化的核心心能力，实现现商业模式的的创新，才是是大数据运用用的关键所在在。对于政府府和企业而言言，至少可以以实践4种商业模式式的创新。第第一是客户关关系管理的创创新，通过大大数据分析可可以根据客户户的属性，从从不同角度深深层次分析客客户、了解客客户，推出新新的客户关系系管理平台，以以增
14、加新的客客户，提高客客户的忠诚度度，降低客户户流失率。第第二是企业经经营决策指导导的创新。企企业可以利用用用户数据，有有效提升资源源利用能力，提提高决策的准准确性，从而而提升整体运运营效率。如如，沃尔玛通通过分析客户户购买产品的的种类组合，适适时推出产品品联合促销信信息，以提升升产品的销量量。第三是个个性化精准推推荐。企业根根据用户喜好好推荐各类产产品和业务，如如淘宝根据分分析客户的检检索数据，适适时向客户推推送相关产品品的广告信息息。第四是创创新社会管理理。政府可以以将大数据运运用到交通、应应对突发灾害害、维稳等领领域中。如，在在大数据的帮帮助下，什么么时间段、哪哪条路拥堵等等问题，都可可以
15、通过分析析得知，通过过同一条路上上多个用户的的手机位移速速度，便可以以判断当时的的路况，为拥拥堵做出准确确预警。2“大数据”的的关键技术“大数据”已经经不仅是数据据大这一事实实了，更重要的是要对大数据进进行分析以获取更多智能、深入和有价值的信信息。而随着着“大数据”在越来越多多的领域得到到应用，“大数据”也变得越来来越复杂，因因此“大数据”处理技术在大数据据领域就显得得尤为重要，可可以说是决定定最终信息是是否有价值的的决定性因素素。大数据应应用分析结果果需要经过数数据采集、预预处理、存储储、分析和挖挖掘等多多个个环节才能最最终呈现出来来。2.1“大数据据”的采集和预处理理在数据分析界有有着一个
16、“拇指法则”，即数据分分析工作至少少有70%80%的时时间都花在搜搜集和准备数数据上，而仅仅有20%30%的时时间花在分析析本身上。随随着新技术采采集手段的出出现，数据来来源和数据类类型变得丰富富多彩，企业业和机构采集集数据首先需需要明确所需需的数据内容容，并制定好好数据分类存存储规则，以以便更有效的的采集数据。按照数据所有者划分，企业数据采集源可以分成3类：一类是企业和机构的内部数据，如系统日志、生产经营数据等；一类是合作机构的内部数据，可以通过设定好企业与合作机构的系统接口进行采集；还有一类是大量的网络公开数据，可以通过网络爬虫或者网站公开的应用开发接口（API）将所需信息从网页中采集出来
17、。目前一些互联网企业和开源社区开发的海量数据采集工具，如Facebook的日志采集工具Scribe、淘宝的实时数据传输平台TimeTunnel等，均已能够满足每秒数百MB的日志数据采集和传输需求。下面就物联网及及社交网络这这两个“大数据”的新型来源源进行简单的的介绍。（1）“大数据据”与物联网物联网是一个信信息技术领域域的热词，其其本质是传感感器技术进步步的产物。遍遍布大街小巷巷的摄像头，是是大家可以直直观感受到的的一种物联网网形态。事实实上，传感器器几乎无处不不在，现在大大家常用的智智能手机中，就就包括重力感感应器、加速速度感应器、距距离感应器、光光线感应器、陀陀螺仪、电子子罗盘、摄像像头等
18、各类传传感器。这些些不同类型的的传感器，无无时无刻不在在产生大量的的数据，这些成为大数数据的重要来来源之一。妥妥善的利用这这些数据可以以监测大气的的温度、压强强、风力，监监测桥梁、矿矿井的安全，监监测飞机、汽汽车的行驶状状态等。（2）“大数据据”与社交网络络社交网络是互联联网发展史上上一个重要的的里程碑。它它把人类真实实的人际关系系完美地映射射到互联网空空间，并借助助互联网的特特性而大大升升华。社交网网络使得互联联网甚至具备备某些人类的的特质，譬如如“情绪”：人们分享享各自的喜怒怒哀乐，并相相互传染传播播。社交网络络为“大数据”带来一类最最具活力的数数据类型，人人们的喜好和和偏爱。由于现实采集
19、的的数据与大数数据分析过程程中所需的数数据，会存在在结构不一致致或不完整的的情况，大数数据预处理过过程可以通过过数据提取、转转换和加载等等操作，对采采集的数据进进行初步的组组织和数量，从从而提高大数数据分析质量量和效率。2.2“大数据据”存储技术大数据存储需要要满足海量存存储、安全存存储和快速读读取的要求。其其中海量存储储包含数据容容量和数据文文件量两个方方面，为保障障系统存储容容量能够以较较低成本存储储海量数据并并能实现快速速平滑扩展，分分布式存储和和存储虚拟化化技术被广泛泛采用；为更更好的对系统统中海量文件件进行有效管管理，将数据据传输和数据据控制分离开开的对象存储储架构应用广广泛。为了保
20、保障数据安全全存储不丢失失，大数据存存储过程中会会采用加密等等安全技术，同同时会对数据据进行数次备备份。为了支支持数据的快快速读取和并并发访问，分分布式存储和和对象存储架架构将会更有有效。目前应应用广泛的大大数据海量文文件存储技术术主要有谷歌歌文件系统（GGFS）和基基于GFS发发展的开源HHadoopp分布式文件件系统（HDDFS）等。一些大型网站将将 “数据”视为最核心心的资产，他他们甚至花费费高昂的费用用来保管这些些数据，以便便加快用户的的访问速度。谷谷歌公司购买买了单独的水水力发电站，为为其庞大的数数据中心提供供充足的电力力。2.3“大数据据”分析技术当大数据的采集集和存储已经经完成，
21、如何何分析数据，将将这些碎片化化的数据系统统化，在无序序的数据和信信息世界里寻寻找有序的连连接，挖掘到到可应用的价价值，是真正正驾驭大数据据的重要环节节。大数据的的分析技术，大致包括5个基本方法理论技术：（1） 可视化分析可视化分析能够够直观的呈现现大数据特点点，简单明了了易于接受。（2） 数据挖掘算法大数据分析的理理论核心就是是数据挖掘算算法，各种数数据挖掘的算算法基于不同同的数据类型型和格式能更更加科学的呈呈现出数据本本身具备的特特点，而这些些数据挖掘的的算法能够快速的处处理大数据。（3） 预测性分析能力力大数据分析最重重要的应用领领域之一就是是预测性分析析，从大数据据中挖掘出特特点，通过
22、科科学的建立模模型，之后便便可以通过模模型带入新的的数据，从而而预测未来的的数据。（4）语义引擎擎大数据分析广泛泛应用于网络络数据挖掘，可可从用户的搜搜索关键词、标标签关键词、或或其他输入语语义，分析，判判断用户需求求，从而实现现更好的用户户体验和广告告匹配。（5）数据质量量和数据管理理大数据分析离不不开数据质量量和数据管理理，高质量的的数据和有效效的数据管理理能够保证分分析结果的真真实和有价值值。2.4“大数据据”与云计算对于许多组织来来说，“大数据”对存储容量量的需求已经经超出目前的的存储能力。我我们正处于PPB级存储时时代，而EBB及存储时代代也即将到来来。大容量的的存储不但要要求系统具
23、备备在原有数据据存储规格上上进行扩展的的能力，还要要简单快速的的进行扩展。云计算就为“大大数据”的诞生提供供了集中采集集数据和存储储数据的基础础。云计算的出现现改变了数据据的存储和访访问方式，在在云计算出现现之前，数据据大多分散保保存在每个人人的个人计算算机中、每家家企业的服务务器中。云计计算，尤其是是公用云计算算，把所有的的数据集中存存储到“数据中心”，也即所谓谓的“云端”，用户通过过浏览器或者者专用应用程程序来访问。一一些大型的网网站，通过提提供基于“云”的服务，积积累大量的数数据，成为事事实上的“数据中心”，这为“大数据”诞生奠定了了基础。而云计算及其其技术给了人人们廉价获取取巨量计算和
24、和存储的能力力，云计算分分布式架构能能够很好地支支持“大数据”存储和处理理需求。这样样的低成本硬硬件+低成本本软件+低成成本运维，更更加经济和实实用，也使得得“大数据”处理和利用用成为可能。可可以说云计算算为“大数据”提供了存储储空间和访问问渠道，“大数据”则是云计算算的灵魂和必必然的发展方方向。而近年年来国内各地地也兴起了建设设云计算基地地的风潮，客客观上为“大数据”在我国的推推广和应用准准备了必备的的储存空间和和访问渠道。3大数据产业的的应用3.1大数据产产业“大数据”的应应用能带来巨巨大的经济价价值和社会价价值，对于产业发发展而言，“大数据”可以实现应应用创新、降降低行业内的的生产成本并
25、并创造新的产产业价值。咨咨询机构麦肯肯锡最早提出出“大数据时代代已经到来”，在20122年发布的大大数据：创新新、竞争和生生产力的下一一个领域文文章上表明，在在零售业、制制造业、医疗疗卫生和公共共部门，“大数据”可以加快产产业规模的增增长速度，降降低生产运营营成本；对于于企业而言，采采用“大数据”可以提升企企业的竞争力力，改善企业业的营销规划划，客户定位位，产品创新新、工作流程程优化、人力力资源管理、物物理管理和风风险控制等多多方面的能力力。目前，数数据已经渗透透到当今每一一个行业和业业务职能领域域，成为重要要的生产因素素，人们对于海海量数据的挖挖掘和运用，预预示着新一波波生产率增长长和消费者
26、盈盈余浪潮的到到来。对于“大数据”产业，政府府与公共事业业部门、行业业企业、个人人消费者是其其的最终用户户。在政府与与公共事业领领域，“大数据”可以应用到到城市规划、公公共安全、公公共交通、舆舆情管理等社社会管理和民民生服务领域域，带来效率率提升、响应应速度加快、服服务水平提高高、管理成本本下降等诸多多效益。对于于行业企业，“大数据”可以应用到产品研发设计、生产运作管理、供应链管理、客户关系管理、企业品牌营销等各个环节，能够帮助企业准确把握市场需求变动、提高产品设计与生产效率、提高供应链的敏捷性和准确性、实现个性化精准营销，同时也促进IT技术的创新。对于个人消费者，通过“大数据”的应用服务将使
27、信息变得更加泛在，从家庭生活、出行、消费、娱乐、旅游、学习等方方面面拓展民众生活空间、提高民众的生活品质。 总结以往，“大大数据”的应用价值可以分为为感知现在和和预知未来两两部分。（1） 感知现在 通过对对历史数据和和当前数据的的融合，以及及潜在模式挖挖掘，力求达达到对事物对对群体与社会会发展当前状状态进行更全全面、更精确确、更理性的的认知。这种种认知可以是是宏观的，也也可以是微观观的。宏观方方面可以对PPB级社会媒媒体数据、百百亿级日志数数据继续拧分分析挖掘，掌掌握宏观现状状，如环境指指数，健康指指数等。在微微观方面可以以利用PB级级的日志数据据和EB级的的监控数据，挖挖掘潜在线索索，如犯罪
28、行行为轨迹等。（2） 预测未来通过对“大数据据”彼此之间的的关联分析，演演化态势和效效应的判定与与调控，揭示示事物发展的的演变规律，进进而对是事物物发展趋势进进行预测。如如基于twiitter等等网上公开数数据的实时感感知、动态获获取与综合分分析，结合仿仿真调控，预预测大选结果果；联合国“全球脉动”利用网络大大数据预测失失业率与疾病病暴发等现象象，利用数字字化的早起预预警信号来提提前指导援助助项目，以免免某个脱贫地地区重新陷入入贫困。这些些都说明了正正确的大数据据应用对于准准确预测事件件发展趋势具具有重大的价价值，人们可可以给予“大数据”更好的进行行科学决策和和事前准备，未未来“大数据”预测技
29、术将将会更广泛的的运用到人们们的日常生活活中，变革人人们的生活。3.2“大数据据”在典型领域域中的应用当前“大数据”已经在物理理学、生物学、环境生态学学等领域，以以及军事、金融、通讯等行业业有所应用并并带来了巨大大的产业价值值。以下本文将将举出实际案案例以介绍“大数据”在各个领域域的具体应用用。在IT领域，一一个典型的案案例就是eBBay通过数数据分析技术术可以精确计计算出广告中中的每一个关关键字为公司司带来的回报报，通过对广广告投放的优优化，自20007年以来来eBay产产品销售的广广告费降低了了99%，而而顶级卖家占占总销售额的的百分比却上上升至32%。在经济领域，大大数据在经济济领域的应
30、用用可以通过这这样一个有趣趣的案例进行行说明，社交交媒体检测平平台DataaSift检检测了社交网网络Faceebook首首次公开募股股当天Twiitter上上的情感倾向向与Faceebook股股价波动的关关联。在Fccebookk开盘前，TTwitteer上的情感感逐渐转向负负向，25分分钟之后twwitterr的股价就开开始下跌，当当twittter上的情情感转向正面面时，Faccebookk的股价在88分钟后也开开始回弹，最最终当股市接接近收盘，ttwitteer上的情感感转向负面时时，10分钟钟口Faceebook的的股价又开始始下跌，该机机构得出结论论，Twittter上每每一次情感
31、倾倾向的转向都都会Faceebook股股价的波动高高度关联。这这证实以大数数据预测未来来股价走向的的典型案例。气象预测方面，一一家美国公司司把气象数据据放在亚马逊逊的“云平台”上进行处理理，以及时提提供气象预报报的方式，保保证当地的农农牧业主在特特定的地区以以及特定的季季节不会遭受受天气灾害，由由此获得了丰丰厚的利润。智能交通方面，根根据路网监控控，火车票及及飞机票的预预定，以及网网上地图查询询记录，能够够提前预测某某个城市的出出行人数的大大致规模，再再结合交通部部门的其他信信息，便可以以预测出群体体出行的态势势，对其可能能的出行时间间、出行路线线、出行方式式等进行预测测，从而为城城市交通调度
32、度提供决策帮帮助。军事领域，美国国“2049项项目研究所”于20088年在华盛顿顿成立，20010年它利利用网络上公公开的数据和和资料，分析析和预测我国国在军事和经经济领域的安安全问题，发发布了一份名名为中国核核弹头存放和和使用系统的的报告，称在在陕西、江西西、四川等地地发现了中国国的核武器基基地，甚至还还精确到了核核基地所在的的市县名称。22013年33月，他们还还发布了一份份关于中国无无人机项目的的研究报告，较较全面的分析析了中国无人人机的研制、发发展、装备以以及作战部署署情况。 以上都都是“大数据”在一些实际际领域的应用用，未来“大数据”将会在更多多的领域得到到应用，决策策行为将会基基于
33、数据分析析做出，通过过对数据的整整理和分析，政政府和企业能能够预测个体体下一步的需需求，进而提提供更加智能能与高效率的的管理和服务务。3.3智慧城市市：立体的大大数据生态系系统智慧城市是城镇镇化发展的高高级阶段，是是城市信息化化的新形式，是现代代城市发展的的愿景。智慧慧城市在产生生大数据的同同时，“大数据”也支撑着智智慧城市的建建设和发展，而而智慧城市的的衡量指标是是由“大数据”体现的。“大数据”挖掘对智慧慧城市的经济济发展和社会会管理是无形形的生产资料料，“大数据”合理利用将创创造巨大财富富。在未来，大大数据将成为为维护城市运运行的基本要要素，智慧城城市在“大数据”的支撑下，成成为立体的大大
34、数据生态系系统，促进城城市的发展。3.3.1智慧慧城市的产生生随着城市规模的的增大、城市市人口的增多多，人们对住住房、教育、交交通、医疗保保险等的需求求的也在不断断膨胀。诸如如高房价、堵堵车、雾霾等等“城市病”也越来越多多，传统的管管理手段已变变得捉襟见肘肘，而信息化化可以说是抗抗击“城市病”的有效手段段。伴随着网络帝国国的崛起、移移动技术的融融合发展以及及创新的民主主化进程，知知识社会环境境中的智慧城城市是继智能能城市之后信信息化城市发发展的高级形形态。利用城城市管理中产产生的大量信信息与数据，积积极促进城市市机构之间的的实时沟通和和协助，分析析原因，制定定对策，有效效平衡社会、商商业和环境
35、发发展需要，优优化现有的可可用资源，以以最优化的方方式为城市公公民提供全面面又超前的服服务，积极提提高公民的生生活幸福感这种高效、智智能且可持续续的城市管理理被称为智慧慧城市。可以以说大数据是是智慧城市实实现智慧化的的关键支撑，成成为驱动智慧慧城市发展的的动力。智慧城市采用以以物联网、云云计算、大数数据等为核心心的新一代信信息技术，集集成城市的组组织（人）、业业务（政务）、交交通、通信、能能源等城市运运行中的各个个核心系统，使使整个城市成成为以一种更更有智慧的方方式运行的宏宏大的智慧城城市系统，对对保障城市正正常运行的每每个系统进行行全面的监测测、管理、预预警和处置，快快速、智能地地响应城市管
36、管理者和市民民的各种需求求，提高城市市运行效率，提提高政府决策策力。建设智慧城市是是城市发展的的新范式和新新战略，是当当今世界城市市发展的趋势势和特征。建建设智慧城市市对抗击“城市病”具有强烈的的现实意义。首首先智慧化运运营通过运用用来自城市多多个部门的信信息，进行数数据聚集和规规范化后，识识别出相关的的重要事件，以以提升服务质质量。其次，智智慧化运营能能够预测城市市发展的问题题与危机，最最大限度降低低对城市居民民的影响。如如通过可视化化重要事件和和警报、地理理信息等数据据，识别出模模式和趋势，保保证行动有依依据，主动触触发预设的预预案以加快响响应，减少服服务中断概率率，避免城市市内大型事故故
37、扩大升级，减减少灾害的影影响。最后，智智慧城市可实实现通过协调调不同部门的的资源，以提提高更快、更更有效的影响响。“大数据”的智慧化帮帮助管理者跨跨部门决策、协协调，提高公公共服务交付付效率，减少少应对突发灾灾害的响应时时间。3.3.2全球球智慧城市的的实践全球在智慧城市市的实践中展展现了各自不不同的设计理理念：美国在智慧城市市建设方面选选择智能电网网进行突破，注注重于商业机机构的合作，利利用UrbaanSim等等智能化的城城市仿真系统统对城市空间间发展进行优优化。在美国国2009年年的经济复苏苏计划中，有有项高达1110亿美元的的投资，用于于建设可安装装各种控制设设备的新一代代智能电网。日本
38、在20099年7月推出出“智慧日本战战略20155”，旨在将数数字信息技术术融入生活的的方方面面，聚聚焦于电子化化政府治理、医医疗健康信息息服务、教育育与人才培养养3大公共事事业。韩国政府于20004年提出出了“U-韩国”发展战略，经经过多年的实实践，首尔、釜釜山等一些城城市已进入“泛在城市”时代。“泛在城市”以“建设尖端信信息城市，提提高市民生活活质量和城市市竞争力”为目标，利利用无线传感感器网络，实实现对城市设设施、安全、交交通、环境等等方面的智能能化管理和控控制。根据国际数据公公司预计，22011年，全全球新型智慧慧城市信息技技术的市场规规模达到3440亿美元，并并将以每年超超过18%的
39、的速度增长，到到2014年年将达到5770亿美元。3.3.3.中中国智慧城市市2012年111月，住房和和城乡建设部部办公厅发布布关于开展展国家智慧城城市试点工作作的通知，将将建设智慧城城市作为贯彻彻党中央、国国务院关于创创新驱动发展展、推动新型型城镇化、全全面建成小康康社会的重要要举措，要求求各地高度重重视，抓住机机遇，通过积积极开展智慧慧城市建设，提提升城市管理理能力和服务务水平，促进进产业转型发发展。截至2012年年7月，中国国共有1500多个城市提提出建设或正正在建设智慧慧城市，其中中，北京、上上海、广州等等城市是智慧慧城市创建进进程的领跑者者。总体上说说，中国东部部地区智慧城城市建设
40、重点点在于以信息息技术促进转转变经济发展展方式，提高高社会管理水水平，提升城城市竞争力，塑塑造城市品牌牌。中西部地地区智慧城市市的建设更加加注重对城市市的宣传推广广作用，力争争通过智慧城城市建设促进进投资软硬件件环境的改善善，加强招商商引资。中国智慧城市建建设分为前期期基础设施建建设、中期数数据处理设施施建设和后期期的服务平台台建设。就智智慧城市的建建设内容来看看，一方面是是加强城市基基础通信网络络建设，提高高通信网络带带宽及覆盖率率；另一方面面是在一个云云计算平台之之上提供智慧慧应用服务，如如智慧交通、智智慧医疗等。相关的建设涉及通信设备制造企业、系统集成企业、数据采集分析企业、通信运营商和
41、数据服务企业，对整个产业链将起到巨大的拉动作用。中国智慧城市建建设有三种模模式：一种是是以物联网产产业发展为驱驱动的建设模模式，如天津津、广州等；一种是以信信息基础设施施建设为先导导的建设模式式，如上海、南南京等；一种种是以社会服服务与管理应应用为突破口口的建设模式式，如北京、武武汉等。在中国智慧城市市建设中，应应当注意以下下几点：（1）要因城而而异，不能照照搬西方的模模式。智慧城城市建设目标标的确立要符符合城市当前前的发展阶段段，解决居民民最迫切需要要解决的问题题，走出中国国智慧城市建建设的差异化化道路。（2）注重政府府统筹，打破破行业、地域域壁垒，建立立智慧城市大大数据的共建建共享机制。（
42、3）大力推动动智慧城市的的创新应用，实实现创新示范范项目应用的的落地。（4）完善智慧慧城市建设中中大数据信息息安全的基础础建设及管理理体制，从技技术、管理和和法律等多方方面保证智慧慧城市建设的的正常运行。4问题与挑战“大数据”对社社会的好处是是无穷无尽的的，它在一定定程度上解决决可迫在眉睫睫的全球问题题，如处理气气候变化、根根除疾病等，然而“大数据”在带来大知识、大发展、大价值的同时，也潜藏着巨大的风险。4.1数据质量量 真实准准确是数据的的生命，组织织如果没有能能力获得真实实数据，数据据规模再大、数数据分析技术术再先进也是是徒劳。另外外由于受到城城乡差异、地地域差异等的的影响，社会会上弱势群
43、体体的信息占有有和表达处于于弱势，这就就造成了数据据鸿沟的存在在。而数据造造假、数据鸿沟沟等问题在大大数据时代依依然存在，偏偏见和盲区存存在于大数据据中，大数据据得出的结论论并不是完全全客观、准确确的，它并不不能提供价值值判断，也不不能完全取代代人的经验和和直觉。认清清这个事实，能能够帮助我们们在运用大数数据的过程中中，更科学的的解读数据。4.2数据安全全数据安全在大数数据时代也同同样面临挑战战。大数据发发展的趋势往往往与加大信信息开放、设设计新的信息息收集设备以以及为海量数数据的庞大存存续和分析需需求提供支持持的云计算等等如影随形。带带来的副作用用是IT基础础架构将变得得越来越一体体化和外向
44、型型，对数据安安全和知识产产权构成更大大风险。4.3用户隐私私与便利性的的冲突“大数据”对个个人信息获取取渠道的拓宽宽的需求引发发了另一个重重要问题：隐隐私和便利性性之间的冲突突。研究表明明，消费者受受惠于海量数数据：更低的的价格、更符符合消费者需需要的商品，以以及从改善健健康状况到提提高社会互动动顺畅度等生生活质量的提提高。但同时时，随着个人人购买偏好、健健康和财务情情况的海量数数据被收集，人人们对隐私的的担忧也在增增大。这需要要政府和企业业从政策、技技术和法律等等多个方向进进行思考和应应对。4.4庞大能耗耗 向来被被人们认为是是绿色环保的的信息产业其其实是污染和和耗能大户，调调查结果发现现
45、，数据中心心浪费的电力力高达总能耗耗的90%以以上。业内专专家估计，全全球范围内所所有数据中心心的总功率高高达30000万千瓦，几几乎等于300座核电站的的发电量。尽尽管现在已经经有许多办法法帮助数据中中心降低能耗耗，但出于对对风险的恐惧惧，多数公司司不愿作出任任何改变。目目前，中国多多个地区已经经开始或计划划兴建大型数数据中心，在在建设过程中中应提前考虑虑能耗问题，以以免重蹈覆辙辙。4.5数据分析析与管理人才才紧缺人才是大数据带带来的挑战之之一。研究表表明，单单在在美国，对拥拥有深厚的海海量数据分析析（包括机器器学习和高级级统计分析）技技能人才的需需求，可能超超出目前预测测供应量的550-6
46、0%。到20118年，需要要新增多达114-19万万名专家。此此外，还需要要150万名名熟悉如何应应用海量数据据的管理者和和分析员。企企业和政府必须加加大招聘和人人才挽留力度度，同时大力力投入关键数数据人员的教教育和培训。4.6跟风现象象较为严重目前大数据应用用市场还没有有很大，要等等到数据、技技术和系统的的准备有了一一定的突破之之后才会出现现飞速的发展展，但是从现现在工业界发发展的情境看看来，很多企企业出现了跟跟风上项目、跟跟风卖产品的的现象。在现现今“大数据”的发展情境境看来，政府府和企业要做做到结合行业业和产业的特特点进行整体体的规划，之之后逐步实施施，做到不慌慌张、不跟风风也不要坐失失
47、良机。4.7缺少技术术创新水平较较高的互联网网公司从全球来看，大大数据技术创创新水平分布布极不均衡，如如谷歌、Faaceboook、IBMM公司的技术术遥遥领先于于我国企业，总体来说，国际形成了“原创技术-开源软件-商用产品”的技术创新链条，并以此为基础初步衍生了从存储和计算平台、数据分析软件到大数据云服务的产业生态。我国未来大数据的发展必然会受到技术水平的影响，如何加大创新投入力度，提高我国大数据技术水平成为未来我国大数据产业发展的一大问题。5对大数据产业业发展的建议展望未来，大数数据发展的序序幕刚刚拉起起，冷静的思思考是十分必必要的，大数数据在更多领域落地地实施还是要要经历一个较较长期的过
48、程程，而在这个个过程中离不不开政府、企企业和公民的共同同努力。 5.1政府方面面“大数据”是立立足全局、面面向未来的重重大战略，将将为中国创造造社会经济创创新发展的重重要机遇，将将引领公共管管理与服务的的变革。实施施大数据战略略，对于政府府部门来说，不不仅意味着要要上马多少高高新科技项目目，更意味着着要调整自身运运作的机制，进进行一次政府府理念的创新新，政府职能能的转变、政政府流程的再再造。（1）政府要成成为“大数据”的实践者，积积极推动大数据的全全面落地，在领导意识、组组织文化、组组织结构和工工作流程等各各方面的整体体优化，鼓励励率先在政府府部门和公共共事务中推动动“大数据”的应用，更好的增强强服务能力，树树立更加开放放、透明、负负责、高效的的政府形象。（2）政府部门门作为“大数据”的实践者应应该建构一套套数据系统，这这个数据系统统需要包括33个必备因素素：天上有云云（云平台）、地地上有网（物物联网、泛在在网）、中间间有数（数据据）。所谓天上有云就就是建立政府府云平台，把把离散在指挥挥中心、公安安、交通等单单位的信息资资源，聚合成成