《云计算和大数据基本培训课件.pptx》由会员分享，可在线阅读，更多相关《云计算和大数据基本培训课件.pptx（77页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据的探索与实践 云计算和大数据现状及趋势分析一、信息技术推动中国高速发展二、云计算构建新型信息基础设施三、大数据将变革既有的数据观提纲一、信息技术推动中国高速发展新技术，新新技术，新机遇机遇你方唱罢我登场，问IT产业谁出沉浮？云计算、大数据、移动互联、社交网络、电子商务等不断发展与融合，改变着中国人的生活、工作和学习方式。中国万亿中国万亿IT市场（市场（2011年年-2016年）年）互联网用户增速迅猛互联网用户增速迅猛引子1：中国各种信息系统，面临着更多的用户，我们的系统需要处理更多的数据。需要更强大的基础设施能力，以及数据处理能力。智能终端：一切应用及服务的入口智能终端：一切应用及服务的
2、入口移动互联网在中国万亿级别的IT市场中的比重及复合增长率越来越大，成为IT产业新的金矿；得终端者得天下：小米、中华酷联，一切应用和服务的入口移动互联网改变世界：全天候在线移动互联网：使每个人随时随地任何终端模式接入互联网，使每个人可以全天候工作、学习、购物等。中国中国IT产业：更丰富的内容和服务产业：更丰富的内容和服务基于大数据各种基于大数据各种新型应用新型应用将不断出现将不断出现云计算产品的不断推出将推云计算产品的不断推出将推动动“云时代云时代”的到来的到来移动互联网移动互联网用户应用用户应用入口入口竞争将更加激烈竞争将更加激烈中国中国IT产业高速发展：天时、地利、人和产业高速发展：天时、
3、地利、人和带宽高速增长：从2G到3G再到4G，移动互联网带宽有了1000倍的增长。后台支撑技术的进步：云计算、大数据技术的进步硬件设备迅速普及：手机、平板等智能移动终端设备的价格不断降低，用户可速增长。开放式平台：开源硬件及开源软件发展，打造一个开放式的产业链。新的终端技术的融入：GPS、体感技术、新型传感器设备、可穿戴终端技术不断发展云计算大数据电子商务电子政务移动互联网社交网络中国IT产业：未来发展阵型应用应用为导向为导向大数据大数据为业务引擎为业务引擎云计算云计算为基础支撑为基础支撑移动互联网为带动移动互联网为带动社交网络为纽带社交网络为纽带电子政务为引领电子政务为引领电子商务为增长点电
4、子商务为增长点二、云计算构建新型信息基础设施什么是云计算：云的业务模式Gartner高级分析师Ben Pring评价道：“它正在成为一个大众化的词语。”但是，问题是似乎每个人对于云计算的理解各不相同。作为一个对互联网的比喻，“云”是很容易理解的。但是一旦同“计算”联系起来，它的意义就扩展了，而且开始变得模糊起来。有些分析师和公司把云计算仅仅定义为计算的升级版基本上就是互联网上提供的众多虚拟服务器。另外一些人把云计算定义的更加宽泛，他们认为用户在防火墙保护之外消费的任何事物都处于“云”之中。人云亦云 众说纷纭提交请求提交请求硬件硬件软件软件服务服务存储存储网络网络云云用户用户按需付费服务按需付费
5、服务什么是云计算:业务模式1服务可租用：用户所需资源不在客户一端而在网络2服务可计量：服务能力具有分钟级或秒级的计量能力3高性价比：具有较之传统模式5倍以上的性价比优势云计算n云计算的定义与特征（12345）通过网络接入弹性可扩展的物理或虚拟资源池，并可以以按需、自服务的方式对资源进行部署和管理的服务模式1个定义1：提供者以租代售，由卖产品变为卖服务，提高资源利用率并降低服务成本2：使用者以租代买，提高投资回报率2个角色3种模式1：SAAS(软件即服务)2：PAAS（平台即服务）3：IAAS（基础设施即服务）1：私有云2：社区云3：公有云4：混合云4种部署1：宽带网络接入2：按需服务3：资源共
6、享4：快速弹性扩展5：服务可度量5个特点什么是云计算：技术特性v虚拟化技术硬件虚拟化系统虚拟化应用虚拟化v并行运算技术映射（Map)归约（Reduce)云计算的4大支撑技术四大技术是拆分分布技术是合成一机变多机一算变多算一存变多存v海量数据管理技术列族存贮主服务器子表服务器v海量数据存贮技术元数据节点数据节点一库变多库IAAS云：虚拟机统一调度和管理提高资源效率IAAS云：虚拟机统一调度和管理提高资源效率1212IAAS云：虚拟机统一调度和管理提高资源效率IAAS云：虚拟机统一调度和管理提高资源效率214343云的四大效能：对客户的价值云的四大效能：对客户的价值整体高效、资源共效按需分配、均衡
7、统筹互联互通数据统一云最大的优势有效解决资源、信息孤岛问题共享硬件资源：计算、存储、网络统一管理业务、应用、数据统一安全服务统一管理服务标准、规范、法规体系专网专网专网专网专网专网信息信息基础基础网络设施网络设施全球广泛建立云数据中心中国云计算公司排行1、阿里云 55.6亿2、微软Azure 18.6-20亿3、Ucloud 6-7亿4、亚马逊AWS 6-7亿 5、腾讯云 6-6.5亿6、金山云 5.6-6亿世界领先IT公司服务器持有量名称名称服务器数量服务器数量备注备注谷歌（谷歌（Google）100万台2010年底依能耗推算数据为90万台，总数约占全球的2%，Google 2005年建成的
8、一个单体数据中心的服务器数量就高达4.5万台。估算当前全球的服务器数量(30多个数据中心)数量应在100万台。亚马逊亚马逊45.4万台据中国软件网推测，这些服务器分布于全球7100个机架上，过去6个月每月新增110个机架惠普惠普（HP/EDS）38万台HP收购的EDS运营着180个数据中心微软微软30万台2008年，微软那时有21.8万台服务器。微软在芝加哥的新服务器农场能容下30万台服务器百度百度25台据华为称，百度服务器数量每年以10万台以上的速度增长，百度数据中心采用了华为 S9300设备。从市场份额和业务量推算从2009年以来，百度服务器应在40万台。腾讯腾讯20万台主要分布在深圳、上
9、海、北京、天津、成都。其中腾讯天津数据中心，2009年初开建，投资5亿美元，服务器托管能力超过10万台。2011年开工建设的腾讯深汕云计算数据中心，总用地面积20万平方米，服务器20万台，总投资额20亿元人民币。Facebook 6万台全球拥有8亿用户，在俄勒冈州普赖因维尔(Prineville)建造的新数据中心投资达2.1亿美元，数据中心第一期工程已于2011年建设完成，建设面积为30万平方英尺云计算产业市场前景 云计算正释放巨大红利，其应用逐步从互联网行业向制造、金融、交通、医疗健康、广电等传统行业渗透和融合，促进了传统行业的转型升级。n国内众多省市、行业都规划、启动、应用了云计算服务。北
10、京“祥云”计划上海“云海”计划深圳“鲲云”计划重庆“云端”计划宁波“星云”计划、无锡“云谷”计划苏州“彩云”计划哈尔滨“云飞扬”计划惠州“惠云”计划广州“天云”计划内蒙古“蓝天白云”计划云计算在中国中国的云要自己建去IOE和八大金刚，及去开源IOE:IBM ORACLE EMC2八大金刚：思科、IBM、谷歌、高通、英特尔、苹果、甲骨文、微软美国的“八大金刚”在中国长驱直入，占据政府、海关、邮政、金融、铁路、民航、医疗、军警等关键领域，它们与美国政府、军队保持着紧密的联系，美国情报部门通过它们的设备、软件、网络获取信息，也几乎零门槛。开源云社区：OpensourceOpenstack非常活跃，应
11、用也较为广泛；检查每一行代码，每一类库是不可能的任务；开源社区的掌握实际还是欧美产业界，并不完全是理想的骑士们；产品过度用开源，服务得不到保障，另也会被开源绑架；一些半开源真品也同样混淆我们的视听。美国的9家互联网公司在棱镜项目中暴露云平台的规划：总体技术架构云平台的规划：总体技术架构 云平台的建设依托于云计算技术，是新型的计算资源利用模式。它将计算任务分布在由数台服务器构成的资源池上，使各种应用系统能够根据需要获取计算能力、存储空间和信息服务。设计理念：安全是前提应用是核心管控是关键利旧，扩展性云操作系统：整个云平台的管理者气象应用位置应用GIS应用桌面云应用桌面云APP资源管理子系统云中间
12、件层应用层资源驱动层Xen驱动KVM驱动VMware驱动虚拟化驱动集合LocalDisk驱动NAS驱动IP-SAN驱动存储驱动集合FC-SAN驱动分布式存储驱动Switch驱动Firewall驱动LB驱动网络与外设驱动集合VPN驱动监控驱动通讯适配层消息队列消息格式转换传输协议支持网络通讯插件生命周期管理消息路由插件服务定义插件管理JavaC/C+Python.异构语言适配其他设备OS硬件安全体系管理体系计算资源管理存储资源管理网络资源管理任务管理子系统任务过程管理任务计划管理监控管理子系统基本监控信息管理定制监控信息管理策略管理子系统调度策略管理容错策略管理节能策略管理动态迁移策略管理用户管
13、理子系统用户管理授权管理分组管理OS管理集合单机OS管理存储OS管理交换机OS管理防火墙OS管理硬件管理集合服务器兼容管理存储设备兼容管理网络设备兼容管理负载均衡OS管理应用安全集合应用访问控制应用信息隐藏Web攻击防护URL信息防护网络安全集合网络流量控制网络流量分析网络访问控制虚拟私有云（VPC）OS 层服务器单机OS插件管理子系统故障管理子系统接口层自助服务：管理员入口普通用户入口API维护人员入口系统漏洞防护弱口令防破解用户安全认证行为审计系统系统安全集合自助申请与交付组织管理与业务流程审批资源编排云操作系统：资源的全局监控对云平台的配置、优化、管理的策略和经验的积累 智慧城市规划“一
14、张网”、“一张图”、“一片云”、“一套库”、“一张表”5个统一的信息化建设，提升城市基础设施的集约化、系统化和承载能力；以互联互通和共享协同为主线，建设智慧城市。云数据中心运营商数据中心全市网络基础设施全市网络基础设施（一张网）（一张网）中国自主架构云计算平台中国自主架构云计算平台（一片云）（一片云）全市统一地理信息系统全市统一地理信息系统（一张图）（一张图）全市统一基础信息数据库全市统一基础信息数据库（一套库）（一套库）全市统一联合审批全市统一联合审批（一张表）（一张表）公共服务公共服务社会管理社会管理经济调节经济调节政务管理政务管理市场监督市场监督百姓服务百姓服务产业发展产业发展“七”大应
15、用版块是核心、“五”个基础是关键、“三”个标准是支撑基于云计算的智慧城市建设框架三、大数据将变革既有的数据观我们来到大数据时代数据极简主义大数据：一切数据皆有用数据观、技术、成本的变化（硬件、软件和除理技术、来源）全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年每天亚马逊上将产生 6.3 百万笔订单每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用
16、者发送和接收的数据高达1.3EBGoogle 上每天需要处理24PB 的数据人们从信息的被动接受者变成了主动创造者我们来到大数据时代GBTBPBEBZB大数据时代的爆炸增长想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量：在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011 年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！1PB（拍字节）=250字节1EB（艾字节）=260字节1ZB（泽字节）=270字节20世纪90年代，数据仓库之父的Bi
17、ll Inmon就经常提及Big Data2011年5 月，在“云计算相遇大数据”为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念什么是大数据：Big Data名词由来什么是大数据（NO-SQL,Not Only SQL)不同“看”数据的方式36Series1,半/非結構化資料,85%Series1,結構化資料,15%可视：结构化资料 15%未视：半/非结构化数据 85%DB/DW主管们看的战情数位仪表板，其实是残缺的85%半/非结构化的Log/Web page/Email/PDF/Image/Full-text/MS-Office file 什么是大数据：不同
18、的数据管理对象当我们想要扩充时，才发觉：架构只能 scale-up，scale-out 不易处理时间过长，time-to-value 受限成本过高，cost-efficiency 受限15%结构化的 DB/DW遗憾残缺 大数据=海量数据+复杂类型数据 增长如此之块，以至于难以使用现有的数据库管理工具来驾驭，困难在于数据的获取、存贮、搜索、共享、分析和可视化等方面 大大数据数据的定义的定义数数据据量量复杂性：种类和速度复杂性：种类和速度销量销量库存库存薪酬表薪酬表客户信息客户信息合约合约ERP/CRMWEB2.0广告广告博客博客搜索营销搜索营销文本文本/图像图像网络日志网络日志大数据大数据社会情
19、绪社会情绪音频音频/视频视频传感器传感器RFID维基维基/博客博客微博微博金融信息金融信息个人数据个人数据位置信息位置信息政府信息政府信息气象数据气象数据保险信息保险信息EBPBTBGB维基的大数据定义 任何超过一台计算机处理能力的庞大数据量亚马逊的大数据定义 大数据是由局部数据汇聚而成能反映出整体的数据，整体的数据又随时空在不断膨胀。Informatica的大数据定义 大数据=交易数据+互动数据+观测数据中国电信的大数据定义中心的大数据定义 如果自然界中的事件完全不可预测地随机发生，人们的生活将无法忍受；与此相反，如果每一件事情都是确定的、完全可以预测的，则生活将是无趣的。利用因果关系解释观
20、测的现象或预测未来存在逻辑和实际上的困难。大大数据的理性认知数据的理性认知美C.R 劳 与传统比较，大数据的分析处理的核心是预测和推断，根本的变革在于不刻意追求因果关系，而更多关注相关关系。也就是说，只要知道和什么有关，而不必强求为什么有关。英舍恩伯格 大数据时代来临，使人类第一次有机会和条件在非常多和非常深入的层次获得和使用全面数据、完整数据和系统数据，简而言之就是样本=总体。英舍恩伯格 大数据为政府统计提供了总体性、非结构化、丰富真实的原始资料，可以极大地缩短数据采集时间，减少报表填报任务，减轻调查对象负担，提高统计数据质量。前国家统计局 马建堂大数据，也叫全局数据、总体数据，数据量越大其
21、预测和推断的准大数据，也叫全局数据、总体数据，数据量越大其预测和推断的准确性越高确性越高1.Volume2.Variety3.value4.Velocity结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求沙里淘金，价值密度低以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命大数据是指无法在一
22、定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合大数据：4V特性数据量巨大全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量 大数据上升为国家战略大数据上升为国家战略国家国家时间时间政策政策备注备注美国2012-3-29大数据研究与发展计划推动政府开放、提升政策预见性（粮食、天气、流感等）、提高政府服务水平、降底运营开支英国2010-5数据权、我的数据日本2012-5ICT战略中国2012-5互联网大数据技术创新研究2015-2将大数据写入十三五规划大数据不仅仅是数据“大”多大？PB 级比大大更重要的是数据数据的的复杂性、全面性复
23、杂性、全面性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值软件是大数据的引擎大数据与传统数据库的区别大数据是在传统数据库学科的分支数据仓库与数据挖掘的基础上进一步发展起来的。但有两点比较主要的不同：结构化程度：传统数据库保存的是结构化或者半结构化的数据传统数据库保存的是结构化或者半结构化的数据；大数据面向的是一切计算机可以存储的数据格式大数据面向的是一切计算机可以存储的数据格式。噪声（异常）数据的处理：传统数据库通常把异常数据先剔除传统数据库通常把异常数据先剔除；大数据则允许异常数据存在大数据则允许异常数据存在。云计算与大数据大数据应用运行在云平台之上如果数据是财富，那么大数据就是宝藏
24、；云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的存储和积淀，云计算也只能是杀鸡用的宰牛刀！大数据市场分析大数据市场分析12011年-2016年中国大数据市场规模2各行业大数据市场规模l政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。l由于各个行业都存在大数据应用需求，潜在市场空间非常可观。l2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。l2012年中国大数据市场规模达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到
25、2016年，整个市场规模逼近百亿。大数据的产业价值链数据数据数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。技术技术技术供应商或者分析公司。掌握了从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。思维思维有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。分析技术：数据处理：自然语言处理技术统计和分析：A/B test;top N排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL
26、等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等大数据技术体系：取、存、管、用大数据技术体系：取、存、管、用存储结构化数据：p海量数据的查询、统计、更新等操作效率低非结构化数据p图片、视频、word、pdf、ppt等文件存储p不利于检索、查询和存储半结构化数据p转换为结构化存储p按照非结构化存储解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）数据采集数据储存数据管理数据分析与挖掘大数据核心技术需求高并发读写大大数据核心技术需求数据核心技术需求高效率存储 和访问高可扩展性和高可用性低成本建设运维l 保证一致性的
27、开销过大，难以实现高并发l 存储性能受限于控制器，性能难以保证l 关系型表单存储难以适应不同数据类型l 上亿行数据的超级达标效率极低l 传统基于盘阵的存储设备，造价昂贵，且市场垄断严重，建设成本居高不下，扩容成本尤其高l 许可和维护花费高昂l 无法简单的通过添加服务节点来扩展数据容量和负载能力，难以进行横向扩展l 数据库升级需要停机维护和数据迁移，导致服务中断l 不保证遵循ACID原则，提高并发读写性能l Schema-Free存储适应不同数据类型l舍弃SQL标准功能，尽量简化数据操作，提升效率lMapReduce实现高效访问l 基于X86设备，价格低廉l开源系统，节省许可费用l 支持水平扩展
28、，可简单的通过添加服务节点来扩展数据容量和负载能力l数据库升级不影响服务持续大数据大数据的分析模型的分析模型研究对象由组织、用户、大数据和工具构成的运行系统研究内容大数据的构成 大数据的行为 大数据的行为和数据的组织研究方法知识工程解构大数据系统研发工程支撑大数据系统价值工程牵引大数据系统研究目标大数据生产平台大数据开发平台大数据采集平台大数据应用平台研究重点数据分而治之资源组织调度逻辑复制迁移组织大数据用户工具知识工程研发工程价值工程社会价值结构功能信源信宿信道控制状态协同生产采集存储应用传递展现概念定议划分经济价值科技价值商业价值为什么为什么是什么是什么怎么怎么做做大数据变革既有数据观：以
29、变革始大数据变革既有数据观：以变革始大数据将变革人们认世界的模式，最重要的是建模分析的方式；由选择抽样到全样本（all-sample)，“样本=总体”；大数据更重视相关关系，而不去过于追求因果关系；即使从前的建模也一样是模拟，无法解决因果；大数据将彻底改变IT公司的构成,拥有数据、技术与思维的公司将三足鼎立，但最终拥有数据的公司将最有价值。大数据改变政府和企业对待数据的观念，真正认识到数据的重要性政务的大数据需求：原有异构数据的整理收集以及未来的应用创新 大大数据是组织的一种资产数据是组织的一种资产 数据资源已经是上升为国家的战略资源。人类已进入“后信息经济时代”，即智慧经济。智慧经济是一种创
30、新形态的萌生经济，能实现经济与环境、能源、社会最大限度的可持续发展。大数据是智慧经济的基础。从哪里来、当前在哪里、要到哪里去大数据是一种资产大数据是一种资产 三三个小故事：智者善用数据和工具个小故事：智者善用数据和工具 孟德尔碗豆杂交实验，基于数十年实验数据，经过采集、分析、归纳、推导、预测找到其规律。（一）使用数据（一）使用数据 曹冲称象，大而划之、分而治之。秤是分析，算盘是汇总。（二）处理数据（二）处理数据 平民传奇，分布式文件系统、分布式数据库系统，解决对象的切分与存贮；MR编程模式解决分析与归纳。（三）构建系统（三）构建系统 大大数据处理行为技术特征数据处理行为技术特征数据无限分而治之
31、功能有限复制分发 大大数据系统的定义数据系统的定义 是一个以人为主导，利用计算机硬件、软件、网络通信设备以及其他办公设备，进行信息的收集、传输、加工、储存、更新、拓展和维护的系统 是一个将各类信息系统产生的数据作为存贮、分析和利用的信息系统，通过借助计算机硬件、软件、网络通信设备以及其他设备，实现对数据的收集、存贮、处理、传递、备份的系统。管理信息系统大数据系统 大大数据系统的设计目标数据系统的设计目标设计目标1可以存贮海量数2可以进行高速处理3可以快速开发出并行服务4可以搭建在廉价的机群上 大大数据系统的逻辑架构数据系统的逻辑架构数据应用层外部系统层数据计算层数据节点子系统任务节点子系统综合
32、管控层信息安全保障体系标准规范体系数据分析层 定制计算子系统 数据分析子系统 数据仓库子系统 数据域节点子系统任务节点子系统名称节点子系统作业节点子系统数据库主节点子系统统一协同节点子系统备份节点子系统 数据调用子系统 数据呈现子系统 数据采集子系统 集成指挥平台核心版 分析研判系统 大数据系统界面 与与现有系统的关系现有系统的关系现有系统现有系统大数据系统大数据系统数据数据输入输入分布节点分布节点1分布节点分布节点2分布节点分布节点3输出输出现有系统现有系统调用调用大数据系统大数据系统分分布布节节点点1分分布布节节点点2分分布布节节点点3输出输出HADOOPMaHout主流大数据库 使用现状
33、使用现状 大数据系统体系建设规划大数据系统体系建设规划搭平台搭平台采数据采数据建模型建模型编代码编代码图呈现图呈现第一阶段第一阶段一次建逐步扩一次建逐步扩可查询简应用可查询简应用巧妇有米可炊巧妇有米可炊第二阶段第二阶段重复迭代持续重复迭代持续可分析深入用可分析深入用巧妇百变花样巧妇百变花样 搭平台搭平台-系统布署规划系统布署规划类型名称配置IP安装内容备注分布式应用MR-PIG主频为 2.4Ghz以上内存：16G硬盘：500G192.168.4.1MR系统和Pig系统两个系统装在一台机上Hive-Chukwa192.168.4.2Hive系统和Chukwa系统两个系统装在一台机上mysql19
34、2.168.4.3mysql数据库系统存放hive和chukwa的元数据信息HDFS集群主节点NameNode192.168.1.1Hdfs系统JobTracker-Second192.168.1.2同时作为secondNmaenodeHDFS集群从节点DataNode1192.168.1.3DataNode2192.168.1.4DataNode3192.168.1.5Hbase集群主节点Hmaster192.168.2.1Hbase系统Hbase集群从节点HregionServer192.168.2.2ZooKeeper集群ZooKeeper192.168.3.1ZooKeeper系统 采
35、数据采数据-数据采集模型数据采集模型 建模型建模型-建立四大模型建立四大模型 建模型建模型-建模所需基础知识建模所需基础知识概率论随机变量数字特征参数估计假设检验 建模型建模型-十大精典算法十大精典算法 建模型建模型-算法的典型应用算法的典型应用关联规则关联规则 建模型建模型-算法的典型应用算法的典型应用决策树决策树 图呈现：图呈现：图形设计技术图形设计技术数据描述视觉编码：大小、颜色、纹理、形状；线段、图表、树；听觉编码：声音、语言数据表示 在时空局限下采用滚动、变形、在时空局限下采用滚动、变形、抑制、缩放、快速序列来展现数据抑制、缩放、快速序列来展现数据。交互 连续、渐进、被动、混合多种交
36、连续、渐进、被动、混合多种交互方式互方式，大数据展现技术总结：大数据展现技术总结：数据呈现技术是大数据能否让智慧经济走进寻常百姓家的最后一公数据呈现技术是大数据能否让智慧经济走进寻常百姓家的最后一公里，利用信息可视可听使大数据的有价信息以可感性认知的方式呈现出里，利用信息可视可听使大数据的有价信息以可感性认知的方式呈现出来至关重要。来至关重要。图呈现：图呈现：一图胜千言一图胜千言“三维一体”构建交通管理大数据涵洞桥梁百米桩隧道加油站绿化带互通口电线杆收费站标志标牌测速仪视频点服务区卡口道路面道路中心线匝道口驾驶员基本人口吸毒人员违法犯罪人员在逃人员96110报警交通管制机动车盗抢车2014年3
37、月1日，晋济高速“31”特别重大道路交通危化品燃爆事故造成40人死亡、12人受伤和42辆车烧毁，直接经济损失8197万元。2014年7月19日2时57分，沪昆高速湖南邵阳段“719”特别重大道路交通危化品爆燃事故造成58人死亡、2人受伤，直接经济损失5300余万元。危危化品运输车辆信息驾驶员信息危化品信息危化品生产单位信息危化品运输单位信息危化品相关知识副驾驶员信息危化品行驶路线信息相关应急预案.大数据管控大数据管控“两客一危两客一危”高清卡口过车数据危化品车辆行驶轨迹自动比对危化品车辆行驶证信息判断行驶路线是否符合规定判断行驶时间是否符合规定 是否疲劳驾驶是否超速驾驶 发现车辆超速警力现场盘
38、查大数据实时比对、关联大数据管控“两客一危”大数据管控大数据管控“两客一危两客一危”大数据精典案例2009年，甲型H1N1流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而Google对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据相关性高达97%，能够立刻判断出流感是从哪里传播出来的，没有一两周的滞后。Google处理了5000万条历史记录、4.5亿个不同的数学模型。大数据精典案例马云成功预测2008 年经济危机“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。大数据时代