3大数据的发展与应用.pdf

《3大数据的发展与应用.pdf》由会员分享，可在线阅读，更多相关《3大数据的发展与应用.pdf（47页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、 联联网网产产发发 1 数数概概 数数 2 1 数数产产 3 数数应应 4 大大数数据据的的基基本本概概念念 国国务务院院促促进进大大数数据据发发展展行行动动纲纲要要 大大数数据据是是以以容容量量大大、类类型型多多、存存取取速速度度快快、应应 用用价价值值高高为为主主要要特特征征的的数数据据集集合合，正正快快速速发发展展 为为对对数数量量巨巨大大、来来源源分分散散、格格式式多多样样的的数数据据进进 行行采采集集、存存储储和和关关联联分分析析，从从中中发发现现新新知知识识、 创创造造新新价价值值、提提升升新新能能力力的的新新一一代代信信息息技技术术和和 服服务务业业态态。 大大数数据据的的基基本

2、本概概念念 重重要要意意义义 大大数数据据成成为为推推动动经经济济转转型型发发展展的的新新动动力力 大大数数据据持持续续激激发发商商业业模模式式创创新新，不不断断催催生生新新业业态态，已已成成为为互互联联 网网等等新新兴兴领领域域促促进进业业务务创创新新增增值值、提提升升企企业业核核心心价价值值的的重重要要驱驱 动动力力 大大数数据据成成为为重重塑塑国国家家竞竞争争优优势势的的新新机机遇遇 发发掘掘和和释释放放数数据据资资源源的的潜潜在在价价值值，有有利利于于更更好好发发挥挥数数据据资资源源的的 战战略略作作用用 大大数数据据成成为为提提升升政政府府治治理理能能力力的的新新途途径径 建建立立“

3、用用数数据据说说话话、用用数数据据决决策策、用用数数据据管管理理、用用数数据据创创新新” 的的管管理理机机制制 维维基基百百科科的的定定义义 大大数数据据是是指指利利用用常常用用软软件件工工具具捕捕获获、管管理理和和处处 理理数数据据所所耗耗时时间间超超过过可可容容忍忍时时间间的的数数据据集集 大大数数据据的的基基本本概概念念 IDC(International Data Corporation)的的定定义义 大大数数据据一一般般会会涉涉及及2 种种或或2 种种以以上上数数据据形形式式。 它它要要收收集集超超过过100TB 的的数数据据，并并且且是是高高速速、实实 时时数数据据流流; 或或者者

4、是是从从小小数数据据开开始始，但但数数据据每每年年会会 增增长长60%以以上上 大大数数据据的的基基本本概概念念 Gartner的的定定义义 大大数数据据是是需需要要新新处处理理模模式式才才能能具具有有更更强强的的决决策策 力力、洞洞察察发发现现力力和和流流程程优优化化能能力力的的海海量量、高高增增 长长率率和和多多样样化化的的信信息息资资产产 大大数数据据的的基基本本概概念念 规规模模性性（V Vo ol lu um me e） 根根据据IDC 的的定定义义至至少少要要有有超超过过100TB 的的可可供供分分 析析的的数数据据，数数据据量量大大是是大大数数据据的的基基本本属属性性 大大数数据

5、据的的特特点点 著著名名咨咨询询公公司司I ID DC C的的统统计计 2011 年年全全球球被被创创建建和和复复制制的的数数据据总总量量为为1.8ZB （10 的的21 次次方方），其其中中75%来来自自于于个个人人（主主 要要是是图图片片、视视频频和和音音乐乐），远远远远超超过过人人类类有有史史 以以来来所所有有印印刷刷材材料料的的数数据据总总量量（200PB） 预预测测到到2020 年年，全全球球数数据据量量暴暴增增44 倍倍（相相比比 2009 年年），总总量量会会达达到到35 ZB。 大大数数据据的的特特点点 数数据据增增长长定定律律 图图灵灵奖奖获获得得者者Jim Gray提提出出

6、数数据据增增长长的的经经验验定定 律律 网网络络环环境境下下每每1 18 8 个个月月产产生生的的数数据据量量等等于于有有史史以以来来数数 据据量量之之和和 大大数数据据的的特特点点 著著名名咨咨询询公公司司I ID DC C的的统统计计 Google 公公司司通通过过大大规规模模集集群群和和MapReduce 软软件件，每每月月处处理理的的数数据据量量超超过过400PB 百百度度每每天天大大约约要要处处理理几几十十PB 数数据据 Facebook 注注册册用用户户超超过过10亿亿，每每月月上上传传的的照照 片片超超过过10 亿亿张张，每每天天生生成成300TB 以以上上的的日日志志 数数据据

7、 淘淘宝宝网网会会员员超超过过3.7 亿亿，在在线线商商品品超超过过11 亿亿类类 ，每每天天交交易易数数千千万万笔笔，产产生生约约20TB 数数据据。 大大数数据据的的特特点点 大大数数据据的的特特点点 著著名名咨咨询询公公司司I ID DC C的的统统计计 传传感感网网和和物物联联网网的的蓬蓬勃勃发发展展是是大大数数据据的的又又一一推推 动动力力，各各个个城城市市的的视视频频监监控控每每时时每每刻刻都都在在采采集集 巨巨量量的的流流媒媒体体数数 劳劳斯斯莱莱斯斯公公司司对对全全世世界界数数以以万万计计的的飞飞机机引引擎擎进进 行行实实时时监监控控，每每年年传传送送PB数数量量级级的的数数据

8、据。 大大数数据据的的特特点点 大大数数据据的的特特点点 数数据据丰丰富富，信信息息贫贫乏乏 组组织织项项目目数数据据规规模模 电电信信通通话话清清单单数数十十亿亿条条/月月 银银行行业业务务数数据据数数千千万万条条/月月 股股票票日日线线数数据据数数十十万万条条/月月 卷卷烟烟厂厂生生产产数数据据数数百百万万条条/月月 超超市市销销售售数数据据数数百百万万条条/月月 搜搜索索引引擎擎网网页页数数百百亿亿页页 在在线线零零售售商商交交易易数数据据数数百百万万条条 多多样样性性（V Va ar ri ie et ty y） 数数据据类类型型繁繁多多，复复杂杂多多变变是是大大数数据据的的重重要要特

9、特性性 以以往往的的数数据据尽尽管管数数量量庞庞大大，但但通通常常是是事事先先定定义义 好好的的结结构构化化数数据据。结结构构化化数数据据是是将将事事物物向向便便于于 人人类类和和计计算算机机存存储储、处处理理、查查询询的的方方向向抽抽象象的的 结结果果 数数据据都都以以表表格格的的形形式式保保存存在在数数据据库库中中 大大数数据据的的特特点点 多多样样性性（V Va ar ri ie et ty y） 大大数数据据时时代代半半结结构构化化、非非结结构构化化数数据据逐逐渐渐成成为为 主主流流数数据据。非非结结构构化化数数据据量量已已占占到到数数据据总总量量的的 75%以以上上，且且非非结结构构

10、化化数数据据的的增增长长速速度度比比结结构构 化化数数据据快快10 倍倍到到50 倍倍。 数数据据类类型型层层出出不不穷穷，已已经经很很难难用用一一种种或或几几种种规规 定定的的模模式式来来表表征征日日趋趋复复杂杂、多多样样的的数数据据形形式式 大大数数据据的的特特点点 视视频频、音音频频、图图片片、邮邮件件、HTML、RFID、GPS 和和传传感感器器 W We eb b数数据据挖挖掘掘面面临临的的难难题题 W We eb b上上半半结结构构化化数数据据特特点点 Web页页面面的的结结构构是是页页面面自自描描述述的的 在在页页面面里里数数据据与与结结构构混混合合存存在在 结结构构经经常常动动

11、态态变变化化 W We eb b数数据据挖挖掘掘面面临临的的难难题题 W We eb b数数据据挖挖掘掘面面临临的的难难题题 W We eb b数数据据挖挖掘掘面面临临的的难难题题 高高速速性性（V Ve el lo oc ci it ty y） 要要求求数数据据的的快快速速处处理理，是是大大数数据据区区别别于于传传统统海海 量量数数据据处处理理的的重重要要特特性性之之一一 不不断断激激增增的的数数据据不不但但不不能能为为解解决决问问题题带带来来优优势势 ，反反而而成成了了快快速速解解决决问问题题的的负负担担 数数据据不不是是静静止止不不动动的的，而而是是在在互互联联网网络络中中不不断断 流流

12、动动，且且通通常常这这样样的的数数据据价价值值是是随随着着时时间间的的推推 移移而而迅迅速速降降低低的的，如如果果数数据据尚尚未未得得到到有有效效的的处处 理理，就就失失去去了了价价值值，大大量量的的数数据据就就没没有有意意义义 大大数数据据的的特特点点 价价值值性性（V Va al lu ue e） 大大数数据据的的价价值值往往往往呈呈现现出出稀稀疏疏性性的的特特点点 数数据据价价值值密密度度低低是是大大数数据据关关注注的的非非结结构构化化数数据据 的的重重要要属属性性 视视频频监监控控，大大量量的的图图像像数数据据被被存存储储下下来来，对对于于 某某一一特特定定的的应应用用，比比如如获获取

13、取犯犯罪罪嫌嫌疑疑人人的的体体貌貌 特特征征，有有效效的的视视频频数数据据可可能能仅仅仅仅有有1-2秒秒 大大数数据据的的特特点点 数数据据产产生生方方式式的的变变革革 人人类类社社会会的的数数据据产产生生方方式式经经历历了了个个阶阶段段，而而 正正是是数数据据产产生生方方式式的的巨巨大大变变化化才才最最终终导导致致大大数数 据据的的产产生生 运运营营式式系系统统阶阶段段 用用户户原原创创内内容容阶阶段段 感感知知式式系系统统阶阶段段 大大数数据据的的产产生生 运运营营式式系系统统阶阶段段 数数据据库库出出现现使使得得数数据据管管理理的的复复杂杂度度大大大大降降低低 超超市市的的销销售售记记录

14、录系系统统 银银行行的的交交易易记记录录系系统统 医医院院病病人人的的医医疗疗记记录录 主主要要特特点点是是数数据据伴伴随随运运营营活活动动产产生生并并记记录录在在数数 据据库库中中 比比如如淘淘宝宝每每销销售售出出一一件件产产品品就就会会在在数数据据库库中中产产生生相相 应应的的一一条条销销售售记记录录 大大数数据据的的产产生生 用用户户原原创创内内容容阶阶段段 互互联联网网促促使使人人类类社社会会数数据据量量出出现现第第次次飞飞跃跃， 但但是是真真正正的的数数据据爆爆发发产产生生于于Web2.0时时代代， Web2.0的的最最重重要要标标志志就就是是用用户户原原创创内内容容 主主要要原原因

15、因 以以博博客客、微微博博和和微微信信等等为为代代表表的的新新型型社社交交网网络络的的出出 现现和和快快速速发发展展 以以智智能能手手机机、平平板板电电脑脑为为代代表表的的新新型型移移动动设设备备的的出出 现现，使使得得人人们们在在网网上上发发表表自自己己意意见见的的途途径径更更为为便便捷捷 大大数数据据的的产产生生 感感知知式式系系统统阶阶段段 人人类类社社会会数数据据量量第第次次飞飞跃跃最最终终导导致致了了大大数数据据 的的产产生生，今今天天正正处处于于这这个个阶阶段段 飞飞跃跃的的根根本本原原因因感感知知式式系系统统的的广广泛泛使使用用 制制造造极极其其微微小小的的带带有有处处理理功功能

16、能的的传传感感器器 设设备备对对整整个个社社会会运运转转进进行行监监控控 设设备备会会源源源源不不断断地地产产生生新新数数据据 大大数数据据的的产产生生 空空气气钻钻井井事事故故预预警警系系统统 空空气气钻钻井井事事故故预预警警系系统统 空空气气钻钻井井事事故故预预警警系系统统 传传感感 器器 空空气气管管道道 空空气气钻钻井井事事故故预预警警系系统统 大大数数据据在在医医疗疗行行业业的的应应用用 临临床床决决策策支支持持系系统统 使使用用图图像像分分析析和和识识别别技技术术, 识识别别医医疗疗影影像像数数据据 挖挖掘掘医医疗疗文文献献数数据据建建立立医医疗疗专专家家数数据据库库, 从从而而

17、给给医医生生提提出出诊诊疗疗建建议议 华华西西药药房房药药品品陈陈列列建建议议 12 33 华华西西药药房房药药品品陈陈列列建建议议 大大数数据据在在汽汽车车制制造造公公司司的的应应用用 大大数数据据预预测测 基基于于微微博博和和百百度度指指数数的的福福特特汽汽车车销销量量预预测测 背背景景 来来源源 大大数数据据在在汽汽车车制制造造公公司司的的应应用用 大大数数据据在在汽汽车车制制造造公公司司的的应应用用 大大数数据据在在汽汽车车制制造造公公司司的的应应用用 大大数数据据在在汽汽车车制制造造公公司司的的应应用用 大大数数据据在在汽汽车车制制造造公公司司的的应应用用 大大数数据据在在商商业业银

18、银行行的的应应用用 精精准准营营销销 通通过过聚聚类类分分析析，对对客客户户进进行行划划分分，获获得得各各个个 客客户户群群不不同同的的特特征征，从从而而对对客客户户群群进进行行针针对对 性性营营销销，或或者者面面向向特特定定细细分分客客户户群群开开发发特特定定 产产品品，从从而而提提高高产产品品销销量量 股股票票 基基金金 大大数数据据在在商商业业银银行行的的应应用用 精精准准营营销销 西西太太平平洋洋银银行行利利用用社社交交媒媒体体数数据据对对客客户户进进行行情情感感 分分析析来来实实现现精精准准营营销销 大大数数据据在在商商业业银银行行的的应应用用 风风险险管管理理孤孤立立点点分分析析

19、摩摩根根大大通通在在业业务务交交易易中中引引入入信信用用卡卡和和借借记记卡卡数数据据 进进行行诈诈骗骗检检验验 例例如如，从从来来没没有有信信用用卡卡取取现现行行为为，被被阻阻止止 中中信信银银行行借借助助大大数数据据分分析析技技术术监监控控评评估估客客户户的的行行 为为，并并对对客客户户的的信信用用消消费费预预警警 例例如如，消消费费金金额额超超过过预预期期的的预预警警 大大数数据据在在保保险险公公司司的的应应用用 汽汽车车保保险险 传传统统上上保保险险公公司司只只把把车车险险客客户户做做了了简简单单分分类类 第第一一种种是是连连续续两两年年没没有有出出车车祸祸的的 第第二二种种过过去去一一

20、年年没没有有出出车车祸祸 第第三三种种过过去去一一年年出出了了一一次次车车祸祸 第第四四种种是是过过去去一一年年出出了了两两次次及及以以上上车车祸祸的的 不不同同类类别别客客户户保保费费有有差差异异 大大数数据据在在保保险险公公司司的的应应用用 汽汽车车保保险险 大大数数据据时时代代保保险险公公司司考考虑虑更更多多因因素素 开开车车主主要要只只是是上上下下班班，这这条条线线路路过过去去一一年年统统计计的的事事故故 率率很很低低 车车况况（车车的的使使用用年年限限、车车型型）好好，此此车车型型车车祸祸率率较较低低 统统计计驾驾驶驶习习惯惯，临临时时刹刹车车少少，超超车车少少，与与周周围围车车保保

21、持持 了了应应有有的的车车距距，驾驾驶驶习习惯惯好好 最最后后结结论论 车车型型好好，车车况况好好，驾驾驶驶习习惯惯好好，常常走走的的线线路路事事故故率率低低，过过去去 一一年年也也没没有有出出过过车车祸祸，因因此此可可以以给给予予更更大大幅幅度度的的优优惠惠折折扣扣 大大数数据据在在保保险险公公司司的的应应用用 客客户户流流失失预预测测 保保留留老老客客户户的的成成本本远远低低于于获获取取新新客客户户的的成成本本 对对所所有有客客户户进进行行一一对对一一营营销销成成本本昂昂贵贵 客客户户流流失失预预测测出出那那些些可可能能流流失失的的客客户户，对对这这部部 分分客客户户进进行行一一对对一一营营销销，降降低低营营销销成成本本 大大数数据据在在保保险险公公司司的的应应用用 客客户户流流失失预预测测 分分类类分分析析的的应应用用 大大数数据据在在保保险险公公司司的的应应用用 客客户户流流失失预预测测 流流失失率率47.43% 保保费费816.67 险险种种B、S 险险种种Y 1 2 3 4 5 流流失失率率59.78% 流流失失率率30.83% 流流失失率率18.73%