《大数据的产业价值.ppt》由会员分享，可在线阅读，更多相关《大数据的产业价值.ppt（39页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据的产业价值（上）大数据的产业价值（上）汪东升汪东升 清华大学教授清华大学教授目目 录录123大数据及其相关概念理解大数据及其相关概念理解大数据的产业价值大数据的产业价值技术发展趋势、问题与建议技术发展趋势、问题与建议大数据概念及其特点大数据概念及其特点相关概念与关系分析相关概念与关系分析一、大数据及其相关概念理解一、大数据及其相关概念理解（一）大数据概念及其特点（一）大数据概念及其特点 数据爆炸，知识贫乏，难以决策？数据爆炸，知识贫乏，难以决策？数据数据知识知识知识知识决策决策决策决策n关联关联n模式模式n趋势趋势n相关相关n分类分类n市场定位市场定位n资金分配资金分配n产品选择产品选择
2、n广告营销广告营销n时机选择时机选择n位置选择位置选择n行业细化行业细化n数字化数字化n多媒体多媒体n多维度多维度n大规模大规模n细粒度细粒度1 1、大数据概念的发展脉络、大数据概念的发展脉络200820082010201020112011NatureNature推出了推出了 Big Big Data Data 专刊；专刊；20082008首次列入首次列入“维基百科维基百科”条目；条目；2010.42010.4Science Science 推推出专刊，说出专刊，说明大数据对明大数据对于科学研究于科学研究的重要性；的重要性；2011.22011.2“大数据是指无法在一定时间内大数据是指无法在一
3、定时间内用常规软件工具对其内容进行抓用常规软件工具对其内容进行抓取、管理和处理的数据集合。取、管理和处理的数据集合。”2011201120122012麦肯锡全球研究麦肯锡全球研究院发布一份报告院发布一份报告大数据：大数据：创新、竞争和生创新、竞争和生产力的下一个新产力的下一个新领域领域；2011.52011.5IBMIBM在产品发在产品发布会上主推大布会上主推大数据概念；数据概念；2011.112011.11美国国家科学基金美国国家科学基金发布大数据指南，发布大数据指南，指出大数据是海量、指出大数据是海量、多样、分布的、异多样、分布的、异构的数据。构的数据。20122012“大数据是指具有以下
4、三个特征大数据是指具有以下三个特征的数据：大数据量、快速增长及的数据：大数据量、快速增长及多数据来源及类型的数据。多数据来源及类型的数据。4V4V特性：特性：大规模、多样化、快大规模、多样化、快速增长、速增长、潜藏价值。潜藏价值。2 2、大数据的构成、大数据的构成大数据包括交易数据和交互大数据包括交易数据和交互数据集在内的所有数据集。数据集在内的所有数据集。大数据大数据 =海量数据海量数据 +复杂类型的数据复杂类型的数据海量交易海量交易数据数据海量交互海量交互数据数据海量数据海量数据处理处理海量交易数据海量交易数据企业内部的经营交易信息，主企业内部的经营交易信息，主要包括联机交易数据和联机分要
5、包括联机交易数据和联机分析数据，是结构化的、通过关析数据，是结构化的、通过关系数据库进行管理和访问的静系数据库进行管理和访问的静态、历史数据。通过这些数据，态、历史数据。通过这些数据，我们能了解过去发生了什么。我们能了解过去发生了什么。海量交互数据海量交互数据源于源于FacebookFacebook、TwitterTwitter及其他来及其他来源的社交媒体数据构成。包括呼叫源的社交媒体数据构成。包括呼叫详细记录详细记录CDRCDR、设备和传感器信息、设备和传感器信息、GPSGPS和地理定位映射数据、通过管和地理定位映射数据、通过管理文件传输理文件传输Manage File TransferMa
6、nage File Transfer协议传送的海量图像文件、协议传送的海量图像文件、WebWeb文文本和点击流数据、科学信息、电子本和点击流数据、科学信息、电子邮件等等，可以预测未来。邮件等等，可以预测未来。海量数据处理海量数据处理大数据的涌现已经催生出大数据的涌现已经催生出了设计用于数据密集型处了设计用于数据密集型处理的架构，例如具有开放理的架构，例如具有开放源码、在商品硬件群中运源码、在商品硬件群中运行的行的Apache HadoopApache Hadoop。3 3、大数据的基本概念、大数据的基本概念大大数数据据是是一一种种数数据据，具具有有可可扩扩展展性性、多多样样性性、复复杂杂性性的
7、的特特点点，需需要要一一种种新新的的架架构构、新新的的技技术术、新新的的算算法法以以及及新新的的分分析析工工具具去去管管理理这这些些数数据据，同同时时从从中中抽抽取取隐隐含含在在内内的的重重要要信信息息。（“Big“Big Data”Data”is is data data whose whose scale,scale,diversity,diversity,and and complexity complexity require require new new architecture,architecture,techniques,techniques,algorithms,algor
8、ithms,and and analytics analytics to to manage manage it it and and extract extract value value and and hidden hidden knowledge from it.knowledge from it.）“大数据大数据”是指数据海量、计算复杂是指数据海量、计算复杂的数据集合，其在一定时间内难以依的数据集合，其在一定时间内难以依靠已有数据处理技术来进行有效的采靠已有数据处理技术来进行有效的采集、管理和分析。大数据通常满足以集、管理和分析。大数据通常满足以下下“4V”4V”特点：特点：规模规模
9、巨大巨大产生产生高速高速形式形式多样多样信息信息价值价值4 4、大数据的特点、大数据的特点形式多样形式多样形式多样形式多样（VarietyVarietyVarietyVariety）信息价值信息价值信息价值信息价值（ValueValueValueValue）产生高速产生高速产生高速产生高速（VelocityVelocityVelocityVelocity）规模巨大规模巨大规模巨大规模巨大（VolumeVolumeVolumeVolume）非结构化数据的超大规模，比结构化非结构化数据的超大规模，比结构化数据增长快数据增长快1010倍到倍到5050倍。倍。实时分析而非批量式分析，数据输入、实时分析
10、而非批量式分析，数据输入、处理与丢弃，立竿见影而非事后见效。处理与丢弃，立竿见影而非事后见效。异构性（文本、图像、视频、机器数异构性（文本、图像、视频、机器数据），模式不明显，语法语义不连贯。据），模式不明显，语法语义不连贯。大量的不相关信息，对未来趋势与模大量的不相关信息，对未来趋势与模式的深度复杂分析。式的深度复杂分析。规模巨大规模巨大互联网数据互联网数据20112011年全球数据产生量达到年全球数据产生量达到1.8ZB1.8ZB，以每本书，以每本书10MB10MB计算，相当于七百万个中国国家图书馆计算，相当于七百万个中国国家图书馆的容量。的容量。医疗保健数据医疗保健数据海洋气象数据海洋气
11、象数据基因工程基因工程美国国立基因组研究所宣布，美国国立基因组研究所宣布，“千人基因计千人基因计划划”所产生的数据总量已达到所产生的数据总量已达到200TB200TB，成为，成为世界上最大的人类基因变异数据集。世界上最大的人类基因变异数据集。数据的度数据的度量尺度量尺度:1KB1KB=10103 3B B1MB=1MB=10106 6B B1GB=101GB=109 9B B1TB=101TB=101212B B1PB=101PB=101515B B1EB=101EB=101818B B1ZB=101ZB=102121B B1YB=101YB=102424B B产生高速产生高速电信运营数据电信
12、运营数据中国联通上网记录每秒中国联通上网记录每秒8383万条，每月万条，每月1 1万亿条（万亿条（300TB300TB）。）。天文数据天文数据美国大口径望远镜每两周对太空观测一遍，每天产生美国大口径望远镜每两周对太空观测一遍，每天产生16TB16TB数据，数据，5 5年总数据量将达到年总数据量将达到15PB15PB。企业运行数据企业运行数据20002000年全球新产生的数据量为年全球新产生的数据量为1000PB1000PB到到2000PB2000PB，到，到20102010年仅仅全球企业一年新存储的数据量就超过了年仅仅全球企业一年新存储的数据量就超过了7000PB7000PB。形式多样形式多样
13、各种数据类型各种数据类型现在的数据类型不仅是文本形式，现在的数据类型不仅是文本形式，90%90%是文字、图片、音是文字、图片、音频、视频、地理位置信息等非结构化数据，个性化数据占绝频、视频、地理位置信息等非结构化数据，个性化数据占绝对多数。对多数。文字文字音频音频视频视频地理信息地理信息图片图片InternetInternet上上1 1分钟内分钟内发生了：发生了：639TB IP639TB IP流量；流量；2 2亿亿 封邮件；封邮件；7070万万 FacebookFacebook更更新；新；3030小时小时 YouTubeYouTube新增视频；新增视频；7070万万 GoogleGoogle
14、搜索。搜索。信息价值信息价值信息价值信息价值以视频为例，以视频为例，7X247X24小时的全城监控视频中，可能有用的数小时的全城监控视频中，可能有用的数据仅仅只有一两秒。可用信息在数据总量中的比例低，但其据仅仅只有一两秒。可用信息在数据总量中的比例低，但其潜在价值巨大。潜在价值巨大。从视频中发现犯罪嫌疑人周克华从视频中发现犯罪嫌疑人周克华2011年-2016年中国大数据市场规模全球未来全球未来5 5年年58%58%的增的增速，速，20172017年达到年达到500500亿美元。亿美元。中国中国20132013年增速为年增速为138%138%，20162016年市场将年市场将达到达到100100
15、亿亿 。（二）相关概念与关系分析（二）相关概念与关系分析出租车出租车云广告云广告MH370MH370云计算云计算海计算海计算框计算框计算风计算风计算。神计算？神计算？不是不是 概念概念不是不是 操作操作不是不是 口号口号不是不是 超级计算超级计算不是不是 网格计算网格计算是是 新的创新模式新的创新模式是是 新的商业模式新的商业模式是是 新的运营模式新的运营模式是是 成本、效用、应用至上成本、效用、应用至上是是 大众参与的舞台大众参与的舞台是是不是不是网络虚拟化网络虚拟化27数据中心虚拟化（数据中心虚拟化（vDC)vDC)云云计计算算虚虚拟拟化化资资源源数数据据中中心心物物理理资资源源存储虚拟化
16、存储虚拟化计算虚拟化计算虚拟化中国家庭金融调查报告中国家庭金融调查报告中国的住房自有率是中国的住房自有率是89.68%89.68%；世界平均住房自有率是世界平均住房自有率是60%60%；瑞士是瑞士是31%,31%,紧随其后的是瑞典和德国；紧随其后的是瑞典和德国；住房自有率最高是亚美尼亚住房自有率最高是亚美尼亚,在在19981998年年时高达时高达96.3%96.3%。北京北五环买房：北京北五环买房：120120平方米平方米600600万万投资理财：投资理财：5%-10%5%-10%利率（利率（30-6030-60万）万）租房：租房：租金租金1 1万万/月月房子质量好房子质量好无须物业费、维修维
17、护、折旧、无须物业费、维修维护、折旧、可能的房产税可能的房产税住宾馆（住宾馆（30-6030-60万）：万）：未必每天都住；未必每天都住；弹性，按需弹性，按需 ；客房服务、卫生、餐饮；客房服务、卫生、餐饮；拎包入住。拎包入住。云计算之云计算之PaaSPaaS、SaaSSaaS。云计算的基础设施、云计算的基础设施、安全设施非常完备安全设施非常完备。安全是把安全是把双刃剑双刃剑放在云里面的数据，放在云里面的数据，对云的管理对云的管理而言又而言又是不安全的。是不安全的。云计算的关键技术云计算的关键技术云计算面云计算面临的安全临的安全问题问题关键技术视角关键技术视角使用者视角使用者视角虚虚拟拟化化技技
18、术术带带来来全新安全威胁全新安全威胁数数据据集集中中存存储储引引发的安全问题发的安全问题云云服服务务的的管管理理和和调调度度产产生生的的安安全全问题问题传传统统安安全全威威胁胁的的新特点新特点隐私保护和隐私保护和数据安全数据安全运行环境的运行环境的安全安全内容安全内容安全云计算的安全问题云计算的安全问题重设施，轻应用；重设施，轻应用；行业、地域特色要求云计算发展模式行业、地域特色要求云计算发展模式的差异化；的差异化；花钱买服务和服务意识有待加强；花钱买服务和服务意识有待加强；安全隐私是大问题，安全意识、技术安全隐私是大问题，安全意识、技术和立法方面有所欠缺；和立法方面有所欠缺；云计算个性化和标
19、准化矛盾。云计算个性化和标准化矛盾。智慧城市带动智慧城市带动行业云发展行业云发展智慧城市需要智慧城市需要数据融合数据融合 智慧城市要求物联网和云计算的结合：智慧城市要求物联网和云计算的结合：云计算是物联网的基础，物联网是一种应用；云计算是物联网的基础，物联网是一种应用；云手机、云电视是终端多样化的体现；云手机、云电视是终端多样化的体现；云服务器、虚拟化是一种成本结构；云服务器、虚拟化是一种成本结构；大数据的收集、存储、管理、分析离不开云大数据的收集、存储、管理、分析离不开云计算。计算。商业模式驱动商业模式驱动应用需求驱动应用需求驱动“云云”、“物物”的核心是的核心是“数据数据”：云计算云计算计算计算/业务模式业务模式物联网物联网应用模式应用模式大数据大数据财富、资产和隐性货币财富、资产和隐性货币