2022年大数据时代 .pdf

《2022年大数据时代 .pdf》由会员分享，可在线阅读，更多相关《2022年大数据时代 .pdf（4页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、大数据时代姓名：刘 畅学号： 20159060504 专业：农业信息化名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 4 页 - - - - - - - - - 大数据时代大数据时代的到来，是全球知名咨询公司麦肯锡最早提出的，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。 人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” 大数据代表了互联网的信息层( 数据海洋 ) ，是互联网智慧和意识产生的基础。包括物联网，

2、传统互联网， 移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。大数据时代的到来，是全球知名咨询公司麦肯锡最早提出的，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。 人们对于海量数据的挖掘和运用， 预示着新一波生产率增长和消费者盈余浪潮的到来。” 近几年大数据一词的持续升温也带来了大数据泡沫的疑虑，大数据的前景与目前云计算、 物联网、移动互联网等是分不开的， 下面就来了解一下大数据与这些热点的关系。大数据市场格局从严格意义上来说，早在20 世纪 90 年代“数据仓库之父”的Bill Inmon便提出了“大数据”的概念。 大数据之所以在最近走红， 主要归结

3、于互联网、 移动设备、物联网和云计算等快速崛起，全球数据量大大提升。可以说，移动互联网、物联网以及云计算等热点崛起在很大程度上是大数据产生的原因。我们可以通过这样一张图片，形象的知道大数据与移动互联网、物联网以及传统互联网的关系。 物联网，移动互联网再加上传统互联网，每天都在产生海量数据，而大数据又通过云计算的形式，将这些数据筛选处理分析， 提前出有用的信息，这就是大数据分析。大数据与移动互联网、物联网以及传统互联网作为数据存储巨头， EMC 的大数据理念是， 首先从“大”入手， “大”肯定是指大型数据集，一般在10TB规模左右。很多用户把多个数据集放在一起，形成 PB级的数据量。同时从数据源

4、来谈，大数据是指这些数据来自多种数据源，以实时、迭代的方式来实现。大数据来源我们看到，各种行业都出现了大数据趋势，有些可能是零售业商户，要对零售业数据进行分析， 或者是一些有关全球天气预报模型的数据，还有油气行业一些地理信息数据，比如基因学分析，医学中也有成像类的大数据，甚至电影、娱乐行业还有用于渲染的大型数据存在。大数据与现实生活大数据能带来什么变化呢?里克斯莫兰的“大数据人类面孔”项目讲述了许多故事：海象通过头顶的触角探索海洋; 借助卫星击准蚊子 ; 加纳用短信系统防止假药销售 ; 智能手机可以预测谁正在变抑郁; 信用卡在使用者离婚前两年就能预测离婚 ; 药片直接将信息从人的身体传给医生。

5、通过对卫星以及全球数亿传感器、RFID标签、带 GPS 的相机和智能手机实时收集的数据做可视化处理， 人类就可以感知、 测量、理解和影响人类的生存方式，实现先辈们遥不可及的梦想。2012年 3 月， 里克斯莫兰和 JenniferErwitt发动全球各地 100 多位摄影名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 4 页 - - - - - - - - - 师、编辑和作家来探索大数据的世界，以验证它是否象许多业界人士所说：代表了一种从未出现过的工具，可以帮助人类面对最

6、大的挑战。大数据人类面孔 - 通过计步器记录数据分析身体状况2012年 9 月 25 日到 10 月 2 日，邀请全球各地参与者通过“大数据人类面孔”这一应用 ( 五种语言的 iOS 和安卓版本免费下载 )来“测量我们的世界”。 这一应用可以让人们用手机作为传感器参与一系列活动，他们同时可以比较全球其它参与者对一些值得深思的问题给出了什么答案。参与者可以绘制出自己每天的路径，分享那些带给他们好运的物品和仪式，了解其他人想要在一生中经历的特别体验，发现自己身边以前没有意识到的秘密。参与者还能够得出自己的“数字身影”。2012年 10 月 2 日，邀请媒体出席在纽约、 伦敦和新加坡举行的“指挥控制

7、中心”大型活动，所有参与者的数据将在活动中加以分析、视觉化处理和诠释。大数据领域的专家们和创新者们将通过互动的“大数据实验室”分享他们的工作成果。全球各地的观众可以实时在线观看活动直播。麦肯锡全球研究机构在发布的大数据：创新、竞争和生产力的下一个前沿领域中表示，充分利用大数据可帮助全球个人定位服务提供商增加1000 亿美元收入、帮助欧洲公共部门的管理每年提升2500 亿美元产值、帮助美国医疗保健行业每年提升3000 亿美元产值，并可帮助美国零售业获得 60%以上的净利润增长,如果感觉此数据太过空泛，那么我们可以通过安防监控在大数据方面的应用来进行详细的了解。很多读者应该都看过电影全民公敌，威尔

8、史密斯饰演的律师出现在各地任意位置的摄像头都会在第一时间被发现，这便是大数据的作用。从技术角度来看， 从传统的海量存储监控， 到实现联网智能化监控便是大数据很好的应用。 在国际大都市中， 每年行驶的车辆数据可能会达到百亿级，从这些海量信息提取车牌、车身颜色，就可以很快查出轨迹、违章等，而接下来的关联分析就是基于大数据的基础展开。再比如大家经常使用的淘宝为例。天猫副总裁王文彬曾表示“我们可以得到买家的访问量、固定频率、偏好商品等浅层分析。未来将有更多，不仅能看到商家销量的高低， 甚至还可以看出其原因。 ”商家还可以通过对点击量、跨店铺点击，订单流转量甚至旺旺聊天信息等消费者购买行为的分析，进而有

9、针对性的进行提高，达到提高销量的目的。从人类文明出现到2003 年，人类总共才产生了5EB(ExaBytes)的数据，但是当前的人类两天内就创造出了相同的数据量，全球 90% 的数据都是在过去两年中生成的，到 2020 年全球数据使用量将大概需要376 亿个 1TB的硬盘进行存储。大数据当然，大数据并不等同于目前的海量数据。目前全球均比较认可IDC 对“大数据”的定义： 为了更经济地从高频率获取的、大容量的、 不同结构和类型的数据中获取价值， 而设计的新一代架构和技术。此定义也可以概括为四个特点，即高容量 (volume) 、多样性(variety)，速度(velocity)，以及价值 (va

10、lue) 四个 V，包括基础架构、数据管理、分析挖掘和决策支持四个层面。当然，也有其他不同的观点， IBM 对于大数据的定义便是规模性(Volume) 、多样性 (Variety)、高速性(Velocity)和真实性 (Veracity)的“4V理论”，NetApp 大中华区总经理陈文所理解的大数据包括A、B、C三个要素：大分析 (Analytic)，高带宽(Bandwidth)名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 4 页 - - - - - - - - - 和

11、大内容 (Content) 。大数据逐步“云”化在云计算时代背景下， 数据中心需要向集中大规模共享平台推进，并且，数据中心要能实现实时动态扩容，实现自助和自动部署服务。从中长期来看， 数据中心需要逐渐过渡到 “云基础架构为主流企业所采用，专有架构为关键应用所采用” 阶段，并最终实现“强壮的云架构为所有负载所采用”，无论大型机还是 x86 都融入到云端，实现软硬件资源的高度整合。数据中心逐步过渡到“云”，这既包括私有云又包括公有云。私有云，就是对企业现有的数据中心进行改造和架构调整，通过云计算对资源进行自动调度和分配，实现一个自动部署、 自动管理和自动运维的数据中心架构。而公有云则是由服务商建立

12、 IT 基础架构，并向外部用户提供商业服务，而用户可以在不拥有云计算资源的条件下通过网络访问这些服务。与私有云相比， 公有云的所有应用程序、服务和数据都存放在云端，用户数据也并不存放在企业内部数据中心。正所谓“梅虽逊雪三分白，雪却输梅一段香”，相比之下，私有云会比公有云在数据安全性方面有更好的表现，但公有云却会比私有云有更“强壮的云架构”。因此，从数据中心演进的角度来看，讨论何种“云”并无实质意义，我们更应该重视的是数据中心在未来发展中所扮演的角色和出现的历史性变革。大数据与云计算物联网、移动互联网等是大数据的来源，而大数据分析则是为物联网和移动互联网提供有用的分析，获取价值。云计算又与大数据

13、有什么关系呢?这个问题其实早在 2011 年，就有人分析，例如EMC World 2011的大会主题就是“当云计算遇见大数据”。云计算与大数据两者之间有很多的交集，业界主要做云的公司有谷歌、亚马逊等都拥有大量大数据。EMC 总裁基辛格强调大数据应用必须在云设施上跑，这就是两者的关系大数据离不开云。同时，支撑大数据以及云计算的底层原则是一样的， 即规模化、自动化、资源配置、 自愈性，这些都是底层的技术原则。因此基辛格认为大数据和云之间存在很多合力的地方。另一方面，随着互联网信息量的激增，用户单个数据集达到数以TB计，有的客户甚至已达到Pera 级(1000Tera) 了，用现有的存储系统结构处理

14、数据量级较小，而且只能处理单一数据源数据，面对大数据的压力。 在处理大量级以及多数据源的数据能力非常弱。这也就是为什么EMC收购 Greenplum，支持开源的Hadoop计划的目的所在。基辛格很明白，大数据的挑战不仅仅在于存储和保护，数据分析能力的强弱， 将成为这个时代的关键点： 我们已经解决了数据存储和保护的问题， 所需要的只是时间， 但是海量数据分析的问题， 我们还没有在大数据到来时做好准备。谈到大数据的特点，一是数据规模是PB级，二是多数据源，能够把半结构化、非结构化和结构化的数据很好地融合起来。同时具有实时、可迭代的特点。具体形容就是大数据环境类似于Facebook 环境，随时可以添加变量。基辛格一再的支出，数据分析的历史已有30 年，现在我们已进入大数据时代。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 4 页 - - - - - - - - -