《云计算和大数据现状分析.ppt》由会员分享，可在线阅读，更多相关《云计算和大数据现状分析.ppt（118页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据的探索与实践 云计算和大数据现状及趋势分析一、信息技术推动中国高速发展二、云计算构建新型信息基础设施三、大数据将变革既有的数据观提纲四、信息时代的高科技犯罪五、云计算大数据相关案例一、信息技术推动中国高速发展信息技术加速中国发展信息技术加速中国发展改革开放三十多年来，中国走过了美国等资本主义国家上百年才走完的发展道路，信息技术在国我的发展功不可没。信息革命开创了以信息资源为关键资源的知识经济。第一个是信息处理和传播方式的巨大进步。第二个是先进的信息处理和传播方式的广泛普及化应用。第三个是由此对社会面貌、社会状态、社会结构和体制的全方位、综合性和全息性的改造。工业社会信息社会（知识社会）农
2、业社会 农业革命实现了游牧经济到农业经济的变革，农业生产成为社会经济的主导因素；开创了5000多年以土地、牲畜、简单的劳动工具为主要资源的农业经济。工业革命开创了300年以材料、能源和机器为主要资源的工业经济。工业经济时代的管理重点是生产，制造业是工业经济时代的主体产业，刚性的生产方式关注的是劳动生产率的提升。基于新一轮IT创新变革和知识经济的深入发展，构建城市发展的智慧环境，形成基于海量信息和智能过滤处理的新的生活、产业发展、社会管理等模式，面向未来构建一种更新的城市形态。信息资源日益成为重要生产要素的表现新技术，新机遇：问新技术，新机遇：问IT产业谁主沉浮？产业谁主沉浮？你方唱罢我登场，问
3、IT产业谁出沉浮？云计算、大数据、移动互联、社交网络、电子商务等不断发展与融合，改变着中国人的生活、工作和学习方式。中国万亿中国万亿IT市场（市场（2011年年-2016年）年）信息技术：润物细无声信息技术：润物细无声互联网用户增速迅猛互联网用户增速迅猛引子1：中国各种信息系统，面临着更多的用户，我们的系统需要处理更多的数据。需要更强大的基础设施能力，以及数据处理能力。智能终端：一切应用及服务的入口智能终端：一切应用及服务的入口移动互联网在中国万亿级别的IT市场中的比重及复合增长率越来越大，成为IT产业新的金矿；得终端者得天下：小米、中华酷联，一切应用和服务的入口移动互联网改变世界：全天候在线
4、移动互联网：使每个人随时随地任何终端模式接入互联网，使每个人可以全天候工作、学习、购物等。中国中国IT产业：更丰富的内容和服务产业：更丰富的内容和服务基于大数据各种新型应用基于大数据各种新型应用将不断出现将不断出现云计算产品的不断推出将推云计算产品的不断推出将推动动“云时代云时代”的到来的到来移动互联网用户应用移动互联网用户应用入口竞争将更加激烈入口竞争将更加激烈中国中国IT产业高速发展：天时、地利、人和产业高速发展：天时、地利、人和带宽高速增长：从2G到3G再到4G，移动互联网带宽有了1000倍的增长。后台支撑技术的进步：云计算、大数据技术的进步硬件设备迅速普及：手机、平板等智能移动终端设备
5、的价格不断降低，用户可速增长。开放式平台：开源硬件及开源软件发展，打造一个开放式的产业链。新的终端技术的融入：GPS、体感技术、新型传感器设备、可穿戴终端技术不断发展中国IT产业：未来发展阵型应用应用为导向为导向大数据大数据为业务引擎为业务引擎云计算云计算为基础支撑为基础支撑移动互联网为带动移动互联网为带动社交网络为纽带社交网络为纽带电子政务为引领电子政务为引领电子商务为增长点电子商务为增长点二、云计算构建新型信息基础设施什么是云计算：云的业务模式Gartner高级分析师Ben Pring评价道：“它正在成为一个大众化的词语。”但是，问题是似乎每个人对于云计算的理解各不相同。作为一个对互联网的
6、比喻，“云”是很容易理解的。但是一旦同“计算”联系起来，它的意义就扩展了，而且开始变得模糊起来。有些分析师和公司把云计算仅仅定义为计算的升级版基本上就是互联网上提供的众多虚拟服务器。另外一些人把云计算定义的更加宽泛，他们认为用户在防火墙保护之外消费的任何事物都处于“云”之中。人云亦云 众说纷纭提交请求提交请求硬件硬件软件软件服务服务存储存储网络网络云云用户用户按需付费服务按需付费服务什么是云计算:业务模式1服务可租用：用户所需资源不在客户一端而在网络2服务可计量：服务能力具有分钟级或秒级的计量能力3高性价比：具有较之传统模式5倍以上的性价比优势云计算n云计算的定义与特征（12345）通过网络接
7、入弹性可扩展的物理或虚拟资源池，并可以以按需、自服务的方式对资源进行部署和管理的服务模式1个定义1：提供者以租代售，由卖产品变为卖服务，提高资源利用率并降低服务成本2：使用者以租代买，提高投资回报率2个角色3种模式1：SAAS(软件即服务)2：PAAS（平台即服务）3：IAAS（基础设施即服务）1：私有云2：社区云3：公有云4：混合云4种部署1：宽带网络接入2：按需服务3：资源共享4：快速弹性扩展5：服务可度量5个特点什么是云计算：技术特性v虚拟化技术硬件虚拟化系统虚拟化应用虚拟化v并行运算技术映射（Map)归约（Reduce)云计算的4大支撑技术四大技术是拆分分布技术是合成一机变多机一算变多
8、算一存变多存v海量数据管理技术列族存贮主服务器子表服务器v海量数据存贮技术元数据节点数据节点一库变多库IAAS云：虚拟机统一调度和管理提高资源效率IAAS云：虚拟机统一调度和管理提高资源效率1212IAAS云：虚拟机统一调度和管理提高资源效率IAAS云：虚拟机统一调度和管理提高资源效率214343云的四大效能：对客户的价值云的四大效能：对客户的价值整体高效、资源共效按需分配、均衡统筹互联互通数据统一云最大的优势有效解决资源、信息孤岛问题共享硬件资源：计算、存储、网络统一管理业务、应用、数据统一安全服务统一管理服务标准、规范、法规体系专网专网专网专网专网专网信息信息基础网络设施基础网络设施全球广
9、泛建立云数据中心世界领先IT公司服务器持有量名称服务器数量备注谷歌（Google）100万台2010年底依能耗推算数据为90万台，总数约占全球的2%，Google2005年建成的一个单体数据中心的服务器数量就高达4.5万台。估算当前全球的服务器数量(30多个数据中心)数量应在100万台。亚马逊45.4万台据中国软件网推测，这些服务器分布于全球7100个机架上，过去6个月每月新增110个机架惠普（HP/EDS）38万台HP收购的EDS运营着180个数据中心微软30万台2008年，微软那时有21.8万台服务器。微软在芝加哥的新服务器农场能容下30万台服务器百度25台据华为称，百度服务器数量每年以1
10、0万台以上的速度增长，百度数据中心采用了华为S9300设备。从市场份额和业务量推算从2009年以来，百度服务器应在40万台。腾讯20万台主要分布在深圳、上海、北京、天津、成都。其中腾讯天津数据中心，2009年初开建，投资5亿美元，服务器托管能力超过10万台。2011年开工建设的腾讯深汕云计算数据中心，总用地面积20万平方米，服务器20万台，总投资额20亿元人民币。Facebook6万台全球拥有8亿用户，在俄勒冈州普赖因维尔(Prineville)建造的新数据中心投资达2.1亿美元，数据中心第一期工程已于2011年建设完成，建设面积为30万平方英尺云计算产业市场前景vv据据IDCIDC估估计计和
11、和推推算算，从从20092009年年底底到到20152015年年底底，云云计计算算能能为为全全球球带带来来12,10312,103亿亿美美元元的的新新业业务务收收入入，为为中中国国带带来来超超过过20,48320,483亿亿人人民民币币（3,0123,012亿亿美美元元）的的新新净业务收入净业务收入vv服服务务的的创创新新孵孵化化作作用用预预测测，以以广广东东省省为为例例，至至20152015年年累累计计可可研研制制孵孵化化30003000多多个个互互联联网网服服务务，只只要要其其中中千千分分之之三三的的服服务务能能够够达达到到腾腾讯讯的的规规模模，就就能能产产生千亿元产值生千亿元产值孵化数孵
12、化数2011201120122012201320132014201420152015当年当年10010020020040040080080016001600累计累计1001003003007007001500150031003100n截止到2012年8月，国内众多省市、行业都规划、启动、应用了云计算服务。北京“祥云”计划上海“云海”计划深圳“鲲云”计划重庆“云端”计划宁波“星云”计划、无锡“云谷”计划苏州“彩云”计划哈尔滨“云飞扬”计划惠州“惠云”计划广州“天云”计划内蒙古“蓝天白云”计划云计算在中国中国的云要自己建去IOE和八大金刚，及去开源IOE:IBMORACLEEMC2八大金刚：思科、
13、IBM、谷歌、高通、英特尔、苹果、甲骨文、微软美国的“八大金刚”在中国长驱直入，占据政府、海关、邮政、金融、铁路、民航、医疗、军警等关键领域，它们与美国政府、军队保持着紧密的联系，美国情报部门通过它们的设备、软件、网络获取信息，也几乎零门槛。开源云社区：OpensourceOpenstack非常活跃，应用也较为广泛；检查每一行代码，每一类库是不可能的任务；开源社区的掌握实际还是欧美产业界，并不完全是理想的骑士们；产品过度用开源，服务得不到保障，另也会被开源绑架；一些半开源真品也同样混淆我们的视听。美国的9家互联网公司在棱镜项目中暴露云平台的规划：总体技术架构云平台的规划：总体技术架构 云平台的
14、建设依托于云计算技术，是新型的计算资源利用模式。它将计算任务分布在由数台服务器构成的资源池上，使各种应用系统能够根据需要获取计算能力、存储空间和信息服务。设计理念：安全是前提应用是核心管控是关键利旧，扩展性云操作系统：整个云平台的管理者气象应用位置应用GIS应用桌面云应用桌面云APP资源管理子系统云中间件层应用层资源驱动层Xen驱动KVM驱动VMware驱动虚拟化驱动集合LocalDisk驱动NAS驱动IP-SAN驱动存储驱动集合FC-SAN驱动分布式存储驱动Switch驱动Firewall驱动LB驱动网络与外设驱动集合VPN驱动监控驱动通讯适配层消息队列消息格式转换传输协议支持网络通讯插件生
15、命周期管理消息路由插件服务定义插件管理JavaC/C+Python.异构语言适配其他设备OS硬件安全体系管理体系计算资源管理存储资源管理网络资源管理任务管理子系统任务过程管理任务计划管理监控管理子系统基本监控信息管理定制监控信息管理策略管理子系统调度策略管理容错策略管理节能策略管理动态迁移策略管理用户管理子系统用户管理授权管理分组管理OS管理集合单机OS管理存储OS管理交换机OS管理防火墙OS管理硬件管理集合服务器兼容管理存储设备兼容管理网络设备兼容管理负载均衡OS管理应用安全集合应用访问控制应用信息隐藏Web攻击防护URL信息防护网络安全集合网络流量控制网络流量分析网络访问控制虚拟私有云（V
16、PC）OS 层服务器单机OS插件管理子系统故障管理子系统接口层自助服务：管理员入口普通用户入口API维护人员入口系统漏洞防护弱口令防破解用户安全认证行为审计系统系统安全集合自助申请与交付组织管理与业务流程审批资源编排云操作系统：资源的全局监控对云平台的配置、优化、管理的策略和经验的积累电子政务云实施：电子政务云实施：传统电子政务建设面临的问题传统电子政务建设面临的问题 近年来，我国的电子政务建设迅猛发展，全国绝大部分地区都已经建设了以电子政务基础网络平台、政府门户网站和办公自动化系统等为代表的一系列电子政务项目，国家电子政务总体框架已见雏形。但是，随着电子政务建设的不断推进，许多矛盾和困难也随
17、之不断涌现出来。随着政府信息化的逐步深入，电子政务云平台的发展推动了政务信息的互联互通、信息共享、业务协同，强化了信息资源的整合，规范了采集和发布，加强了社会综合开发利用。建设电子政务公共平台是电子政务发展到深化应用、突出实效阶段的重要举措。电子政务云的定义及目标电子政务云的定义及目标电子政务云的定义 “电子政务云”（E-government cloud）是运用云计算技术，统筹利用机房资源、计算资源、存储资源、网络资源、信息资源、应用支撑等资源和条件，发挥云计算虚拟化、高可靠性、通用性、高可扩展性以及快速、按需、弹性的服务等特征，为区域政府单位用户提供基础设施、支撑软件、应用功能、信息资源、运
18、行保障和信息安全等多方面不同类型不同级别服务的电子政务综合性服务平台。电子政务云的目标 电子政务云紧紧围绕各级政务部门深化电子政务应用、提高履行职责能力的迫切需要，为各部门实现政务、业务目标提供公共的技术环境和服务支撑。满足业务不断发展和改革的需要。满足跨地区、跨部门、跨层级信息共享，以及行业系统与地方应用条块结合的需要。满足大量数据访问、存储和智能化处理的需要。满足安全可靠运行的需要。电子政务云的价值电子政务云的价值推动电子政务向科学发展方式转变提高基础设施资源利用率促进互联互通和信息共享提升电子政务信息安全保障能力四大价值四大价值 云计算具有超强的计算能力和低成本、高安全性等特性，将其应用
19、于电子政务领域具有十分重要的价值和意义。电子政务云的应用价值主要包括以下几方面：电子政务云的总体部署架构电子政务云的总体部署架构4朵云-省级电子政务云-民生服务云-业务专有云-市级电子政务云N+1+N容灾模式-N个市级政务云采用省级政务云平台作 为异地备份中心-省级政务云选择1个市级政务云建设异地灾备中心-N个市级政务云的同城备份中心省-市两级互补-省-地市：模板下发、资源调度、备份、数据共享交换；-政务云-业务专有云：数据共享交换-政务云-民生服务云：数据共享交换电子政务云的总体逻辑架构电子政务云的总体逻辑架构5层两翼、3体系1门户电子政务云的主要建设内容电子政务云的主要建设内容建设内容建设
20、内容五部分建设内容:典型案例典型案例东莞市电子政务云平台典型案例典型案例 东莞市电子政务云平台的建设，在国内首个采用自主安全可控的G-Cloud云操作系统，整合全市电子政务信息资源，创新服务交付模式，走集约、低碳、节能、高效建设之路，并取得了显著的成效。目前，东莞市电子政务云平台有效整合了132台物理服务器、145TB存储、100个虚拟网络资源的统一监控管理，承载近500个电子政务业务应用，为东莞市32个镇/区和近80个市属单位的用户提供统一的IT资源服务。通过该平台的建设，一方面提高了基础设施资源的利用率，每年节省电费约80%，另一方面优化了资源审批流程，将新上线业务应用的部署周期从2天以上
21、缩短至2个小时。东莞电子政务云总体网络部署架构东莞电子政务云总体网络部署架构一期网络部署架构一期网络部署架构电子政务办有两个机房，分别为位于市政府的中心机房和位于大朗的灾备机房。四框刀片服务器中灾备机房部署一框刀片服务器作为备份节点，另三框刀片服务器和2个存储设备都部署到中心机房。二期网络部署架构二期网络部署架构 二期G-cloud网络主要包括DMZ区、服务器区、电子政务网、存储网等四个部分。其中关键设备，如核心交换机、汇聚交换机等均采用冗余设计，用以保证网络连接持续性和稳定性。东莞电子政务云规模东莞市电子政务云规模东莞市电子政务云规模东莞电子政务云应用部署情况东莞电子政务云应用部署情况东莞电
22、子政务云应用部署情况 东莞市电子政务云平台承载近500个电子政务业务应用。政务为东莞市32个镇/区和近80个市属单位的用户提供统一的IT资源服务。编号应用分类VM数量1OA212门户923数据库754应用系统2395邮件56运维系统39电子政务云平台案例序号客户名称投资/规模客户价值1东莞电子政务云一期投入1600万，管理600台服务器资金投入降低30%，能耗降低50%，资源利用率提高50%，利旧率80%2广州海珠区投入200万，管理100台服务器降低管理成本50%，系统故障时间降低35%，利旧率90%3成都市政府采用BT模式建设，管理1000台服务器管理人员减少40%，服务器当机时间减少30
23、%4北京市信息中心管理150台服务器平台网络有效隔离，可评估安全风险减少50%5国家发改委一期投入500元，管理50台服务器降低维护的复杂性，提高正常运行时间30%6哈尔滨动漫产业基地一期投入2000万元，管理2000台服务器3D应用移植成功率100%，有效支持动漫基础设施云化7海南生态软件园一期投入1800万元，管理服务器150台提供完全的虚拟化解决方案，支持园区企业500家n用户：东莞市中小学、学生、家长；n产品&服务：G-Cloud云操作系统、教育云在线平台、国云中间件n服务东莞200万学生，10万教师可靠和安全的数据存储中心，降低成本3.4亿元按需提供信息化建设定制方案；提供可定制的网
24、络学习平台；提供移动办公、学习的支持。典型案例：教育云教育云平台序号客户名称投资/规模客户价值1东莞教育云平台一期投入1994万，租用中科院IDC数据中心全国第一个城市级教育云平台，支持100万用户，10万人在线，2万人并发2广东粤教育云平台总体投入4000万提供开放的接入平台，提供可用资源2PB，实现省市教育云的资源平台对接3贵州省教育资源云平台采用BT模式建设，管理服务器500台，存储10PB提供班班通资源支持平台，支持学校676所，实现教育部资源班班通的建设目标。4毕节市扶贫教育云平台总体拟投入1.2亿提供整体解决方案，包括数据中心及三通两平台解决方案5山东世纪金榜电子出版内容平台一期投
25、入5000万元，管理200台服务器，20PB资源世纪金榜是中国最大的教辅材料提供商，平台支持500万用户，50万在线，5万人并发访问。云计算国防应用：军民融合云计算平台 军民融合云计算平台资源聚合技术资源协同技术 军民信息化基础设施的安全对接机制 军民信息化基础设施的安全隔离方法安全环境下信息化基础设施的动员和征用体系军用数据中心 信息化基础设施民用数据中心 智慧城市规划“一张网”、“一张图”、“一片云”、“一套库”、“一张表”5个统一的信息化建设，提升城市基础设施的集约化、系统化和承载能力；以互联互通和共享协同为主线，建设智慧城市。云数据中心运营商数据中心全市网络基础设施全市网络基础设施（一
26、张网）（一张网）中国自主架构云计算平台中国自主架构云计算平台（一片云）（一片云）全市统一地理信息系统全市统一地理信息系统（一张图）（一张图）全市统一基础信息数据库全市统一基础信息数据库（一套库）（一套库）全市统一联合审批全市统一联合审批（一张表）（一张表）公共服务公共服务社会管理社会管理经济调节经济调节政务管理政务管理市场监督市场监督百姓服务百姓服务产业发展产业发展“七”大应用版块是核心、“五”个基础是关键、“三”个标准是支撑基于云计算的智慧城市建设框架三、大数据将变革既有的数据观我们来到大数据时代数据极简主义大数据：一切数据皆有用数据观、技术、成本的变化（硬件、软件和除理技术、来源）全球每秒
27、钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年每天亚马逊上将产生 6.3 百万笔订单每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EBGoogle 上每天需要处理24PB 的数据人们从信息的被动接受者变成了主动创造者我们来到大数据时代大数据时代的爆炸增长想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量：
28、在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011 年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！1PB（拍字节）=250字节1EB（艾字节）=260字节1ZB（泽字节）=270字节20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data2011年5 月，在“云计算相遇大数据”为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念什么是大数据：Big Data名词由来什么是大数据（NO-SQL,Not Onl
29、y SQL)不同“看”数据的方式54可视：结构化资料 15%未视：半/非结构化数据 85%DB/DW主管们看的战情数位仪表板，其实是残缺的85%半/非结构化的Log/Web page/Email/PDF/Image/Full-text/MS-Office file 什么是大数据：不同的数据管理对象当我们想要扩充时，才发觉：架构只能 scale-up，scale-out 不易处理时间过长，time-to-value 受限成本过高，cost-efficiency 受限15%结构化的 DB/DW遗憾残缺 大数据=海量数据+复杂类型数据 增长如此之块，以至于难以使用现有的数据库管理工具来驾驭，困难在于
30、数据的获取、存贮、搜索、共享、分析和可视化等方面 大数据的定义大数据的定义数数据据量量复杂性：种类和速度复杂性：种类和速度销量销量库存库存薪酬表薪酬表客户信息客户信息合约合约ERP/CRMWEB2.0广告广告博客博客搜索营销搜索营销文本文本/图像图像网络日志网络日志大数据大数据社会情绪社会情绪音频音频/视频视频传感器传感器RFID维基维基/博客博客微博微博金融信息金融信息个人数据个人数据位置信息位置信息政府信息政府信息气象数据气象数据保险信息保险信息EBPBTBGB维基的大数据定义 任何超过一台计算机处理能力的庞大数据量亚马逊的大数据定义 大数据是由局部数据汇聚而成能反映出整体的数据，整体的数
31、据又随时空在不断膨胀。Informatica的大数据定义 大数据=交易数据+互动数据+观测数据中国电信的大数据定义中心的大数据定义 如果自然界中的事件完全不可预测地随机发生，人们的生活将无法忍受；与此相反，如果每一件事情都是确定的、完全可以预测的，则生活将是无趣的。利用因果关系解释观测的现象或预测未来存在逻辑和实际上的困难。大数据的理性认知大数据的理性认知美C.R 劳 与传统比较，大数据的分析处理的核心是预测和推断，根本的变革在于不刻意追求因果关系，而更多关注相关关系。也就是说，只要知道和什么有关，而不必强求为什么有关。英舍恩伯格 大数据时代来临，使人类第一次有机会和条件在非常多和非常深入的层
32、次获得和使用全面数据、完整数据和系统数据，简而言之就是样本=总体。英舍恩伯格 大数据为政府统计提供了总体性、非结构化、丰富真实的原始资料，可以极大地缩短数据采集时间，减少报表填报任务，减轻调查对象负担，提高统计数据质量。国家统计局 马建堂大数据，也叫全局数据、总体数据，数据量越大其预测和推断的准大数据，也叫全局数据、总体数据，数据量越大其预测和推断的准确性越高确性越高1.Volume2.Variety3.value4.Velocity结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求沙里淘金，价值密度低以视频为例，一部一小时的视频
33、，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合大数据：4V特性数据量巨大全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量 大数据要上升为国家战略大数据要上升为国家战略国家时间政策备注美国2012-3-29大数据研究与发展计划推动政府开放、提升政策预见
34、性（粮食、天气、流感等）、提高政府服务水平、降底运营开支英国2010-5数据权、我的数据日本2012-5ICT战略中国2012-5互联网大数据技术创新研究大数据不仅仅是数据“大”多大？PB 级比大大更重要的是数据数据的复杂性、全面性的复杂性、全面性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值软件是大数据的引擎大数据与传统数据库的区别云计算与大数据大数据应用运行在云平台之上如果数据是财富，那么大数据就是宝藏；云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的存储和积淀，云计算也只能是杀鸡用的宰牛刀！大数据市场分析大数据市场分析12011年-2016年
35、中国大数据市场规模2各行业大数据市场规模l政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。l由于各个行业都存在大数据应用需求，潜在市场空间非常可观。l2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。l2012年中国大数据市场规模达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。国际企业角力大数据国际企业角力大数据国际企业角力大数据国际企业角力大数据 EMCEMC的大数据解决方案专注于使组织更有效地使用他们从不同来源产生的数
36、据，包括网络上，网页上，消费者，监控系统和传感器。EMC的数据计算产品事业部正在开发分析工具以解决大数据现象。EMC的大数据解决方案包括40多个产品。2010年7月收购数据库软件供应商Greenplum，花费3亿美元2009年七月收购数据复制解决方案提供商Data Domain，花费24亿美元不一定和大数据完全相关，EMC从2009年起收购了Archer Technologies,SourceLabs,FastScale Technology,Configuresoft,and Varonis Systems。IBMIBM的策略是提供一个全面的方法来解决前所未有的信息爆炸提出的挑战，因为信息量
37、无论在流量、种类、速度还是活力上都是爆炸式增长IBM一直致力于扩大对包括数据仓库中的大数据、信息流和结构化数据的分析在在过去四年中，去四年中，IBM已已经投入超投入超过120亿美元美元进行了行了23项相相关并关并购，其中包括：，其中包括：2010年9月收购数据库分析供应商Netezza公司，花费17亿美元2010年10月收购网络分析软件供应商Coremetrics2009年10月收购数据分析和统计软件提供商SPSS,花费12亿美元2009年1月收购业务规则管理软件供应商ILOG,花费3亿4千万美元2007年花费20亿美元收购商务智能软件供应商Cognos微微软微软提供了高性能计算能力，并在20
38、05年靠WindowsComputeCluster服务器进入相关市场最近，微软的HPC部门开发了该公司的Dryad并行处理技术社区技术预览(CTP),第一步是向WindowsHPCServer的用户提供处理大数据工具甲骨文甲骨文甲骨文大数据提供的数据库和数据库软件主要用于配合Sun的硬件，特别是它的最高端服务2009年7月收购专注于数据复制和实时数据集成解决方案的私人企业GoldenGateSoftware大数据的产业价值链数据数据数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。技术技术技术供应商或者分析公司。掌握了从海量数据中分析出有用
39、信息的技能或者工具，但本身不一定拥有数据。思维思维有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。分析技术：数据处理：自然语言处理技术统计和分析：A/B test;top N排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等大数据技术体系：取、存、管、用大数据技术体系：取、存、管、用存储结构化数据：p海量数据的查询、统计、更新等操作效率低非结构化数据p图片、视频、wo
40、rd、pdf、ppt等文件存储p不利于检索、查询和存储半结构化数据p转换为结构化存储p按照非结构化存储解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）大数据核心技术需求高并发读写大数据核心技术需求大数据核心技术需求高效率存储 和访问高可扩展性和高可用性低成本建设运维l 保证一致性的开销过大，难以实现高并发l 存储性能受限于控制器，性能难以保证l 关系型表单存储难以适应不同数据类型l 上亿行数据的超级达标效率极低l 传统基于盘阵的存储设备，造价昂贵，且市场垄断严重，建设成本居高不下，扩容成本尤其高l 许可和维护花费高昂l 无法简单的通过添加
41、服务节点来扩展数据容量和负载能力，难以进行横向扩展l 数据库升级需要停机维护和数据迁移，导致服务中断l 不保证遵循ACID原则，提高并发读写性能l Schema-Free存储适应不同数据类型l舍弃SQL标准功能，尽量简化数据操作，提升效率lMapReduce实现高效访问l 基于X86设备，价格低廉l开源系统，节省许可费用l 支持水平扩展，可简单的通过添加服务节点来扩展数据容量和负载能力l数据库升级不影响服务持续大数据的分析模型大数据的分析模型研究对象由组织、用户、大数据和工具构成的运行系统研究内容大数据的构成 大数据的行为 大数据的行为和数据的组织研究方法知识工程解构大数据系统研发工程支撑大数
42、据系统价值工程牵引大数据系统研究目标大数据生产平台大数据开发平台大数据采集平台大数据应用平台研究重点数据分而治之资源组织调度逻辑复制迁移组织大数据用户工具知识工程研发工程价值工程社会价值结构功能信源信宿信道控制状态协同生产采集存储应用传递展现概念定议划分经济价值科技价值商业价值为什么为什么是什么是什么怎么做怎么做大数据变革既有数据观：以变革始大数据变革既有数据观：以变革始 大数据是组织的一种资产大数据是组织的一种资产 数据资源已经是上升为国家的战略资源。人类已进入“后信息经济时代”，即智慧经济。智慧经济是一种创新形态的萌生经济，能实现经济与环境、能源、社会最大限度的可持续发展。大数据是智慧经济
43、的基础。从哪里来、当前在哪里、要到哪里去大数据是一种资产大数据是一种资产 三个小故事：智者善用数据和工具三个小故事：智者善用数据和工具 孟德尔碗豆杂交实验，基于数十年实验数据，经过采集、分析、归纳、推导、预测找到其规律。（一）使用数据（一）使用数据 曹冲称象，大而划之、分而治之。秤是分析，算盘是汇总。（二）处理数据（二）处理数据 平民传奇，分布式文件系统、分布式数据库系统，解决对象的切分与存贮；MR编程模式解决分析与归纳。（三）构建系统（三）构建系统 大数据处理行为技术特征大数据处理行为技术特征数据无限分而治之功能有限复制分发 大数据系统的定义大数据系统的定义是一个以人为主导，利用计算机硬件、
44、软件、网络通信设备以及其他办公设备，进行信息的收集、传输、加工、储存、更新、拓展和维护的系统 是一个将各类信息系统产生的数据作为存贮、分析和利用的信息系统，通过借助计算机硬件、软件、网络通信设备以及其他设备，实现对数据的收集、存贮、处理、传递、备份的系统。管理信息系统大数据系统 大数据系统的设计目标大数据系统的设计目标 大数据系统的逻辑架构大数据系统的逻辑架构数据应用层外部系统层数据计算层数据节点子系统任务节点子系统综合管控层信息安全保障体系标准规范体系数据分析层 定制计算子系统 数据分析子系统 数据仓库子系统 数据域节点子系统任务节点子系统名称节点子系统作业节点子系统数据库主节点子系统统一协
45、同节点子系统备份节点子系统 数据调用子系统 数据呈现子系统 数据采集子系统 ERP系统 电子商务网站 大数据库系统界面产品研发成果：云数据库虚拟化平台截图：与现有系统的关系与现有系统的关系现有系统现有系统大数据系统大数据系统数据输入数据输入分布节点分布节点1分布节点分布节点2分布节点分布节点3输出输出现有系统现有系统调用调用大数据系统大数据系统分分布布节节点点1分分布布节节点点2分分布布节节点点3输出输出HADOOPMaHout主流大数据库 使用现状使用现状 大数据系统体系建设规划大数据系统体系建设规划搭平台搭平台采数据采数据建模型建模型编代码编代码图呈现图呈现第一阶段第一阶段一次建逐步扩一次
46、建逐步扩可查询简应用可查询简应用巧妇有米可炊巧妇有米可炊第二阶段第二阶段重复迭代持续重复迭代持续可分析深入用可分析深入用巧妇百变花样巧妇百变花样 搭平台搭平台-系统布署规划系统布署规划类型名称配置IP安装内容备注分布式应用MR-PIG主频为 2.4Ghz以上内存：16G硬盘：500G192.168.4.1MR系统和Pig系统两个系统装在一台机上Hive-Chukwa192.168.4.2Hive系统和Chukwa系统两个系统装在一台机上mysql192.168.4.3mysql数据库系统存放hive和chukwa的元数据信息HDFS集群主节点NameNode192.168.1.1Hdfs系统J
47、obTracker-Second192.168.1.2同时作为secondNmaenodeHDFS集群从节点DataNode1192.168.1.3DataNode2192.168.1.4DataNode3192.168.1.5Hbase集群主节点Hmaster192.168.2.1Hbase系统Hbase集群从节点HregionServer192.168.2.2ZooKeeper集群ZooKeeper192.168.3.1ZooKeeper系统 采数据采数据-数据采集模型数据采集模型 建模型建模型-建立四大模型建立四大模型 建模型建模型-建模所需基础知识建模所需基础知识概率论随机变量数字特征
48、参数估计假设检验 建模型建模型-十大精典算法十大精典算法 建模型建模型-算法的典型应用算法的典型应用关联规则关联规则 建模型建模型-算法的典型应用算法的典型应用决策树决策树 编代码编代码-开发环境的安装开发环境的安装 图呈现：图呈现：图形设计技术图形设计技术数据描述视觉编码：大小、颜色、纹理、形状；线段、图表、树；听觉编码：声音、语言数据表示 在时空局限下采用滚动、变形、在时空局限下采用滚动、变形、抑制、缩放、快速序列来展现数据抑制、缩放、快速序列来展现数据。交互 连续、渐进、被动、混合多种交连续、渐进、被动、混合多种交互方式互方式，大数据展现技术总结：大数据展现技术总结：数据呈现技术是大数据
49、能否让智慧经济走进寻常百姓家的最后一公数据呈现技术是大数据能否让智慧经济走进寻常百姓家的最后一公里，利用信息可视可听使大数据的有价信息以可感性认知的方式呈现出里，利用信息可视可听使大数据的有价信息以可感性认知的方式呈现出来至关重要。来至关重要。图呈现：图呈现：一图胜千言一图胜千言 图呈现图呈现-图形开发工具图形开发工具DataWrangler斯坦福大学可视化组（SUVG）设计的基于web的服务的图形化工具计算量大Google Refine用户在电脑上运行这个应用程序后就可以通过浏览器访问之Google Fusion TablesarietyGoogle Fusion Tables的处理大数据量
50、的强大能力，以及能够自由添加不同的空间视图的功能JavaScript InfoVis ToolkitQuantum GIS OpenHeatMapTimeFlow舆情系统：大数据应用舆情系统：大数据应用 全文检索软件 文本挖掘软件 舆情分析软件 突发事件专题追踪与分析软件 舆情简报自动生成软件六大主要技术组件六大主要技术组件舆情监控社会传感网络 舆情系统：数据采集模式舆情系统：数据采集模式l一级社会传感网络：活跃的敏感网站，实时监控l二级社会传感网络：包含有害信息站点，定时扫描l三级社会传感网络：一般性网站，关键词定期巡查舆情系统：突发事件分析舆情系统：突发事件分析关键词配置文本篇章配置站点频