《大数据基础知识ppt课件.ppt》由会员分享，可在线阅读，更多相关《大数据基础知识ppt课件.ppt（21页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据基础知识 电信云大数据产品线有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。目录 大数据定义 大数据价值 大数据产业链有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。1. 大数据定义共识，共识， 全球数据量每年 +50% 的速度指数递增 工业、生产数据远大于我们 现在关注的消费数据 大量即时数据在价值未流失之前等待处理大数据营销，大数据营销， 根据企业数据需要组织挖掘分析，并基于IT系统实时把分析提供给
2、需要决策帮助的内部企业成员。 互联网统计 大数据是一个服务行业。 大数据是传统统计与互联网相结合的行业。有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。1. 大数据定义大数据定义：大数据定义： 所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。主要的特点主要的特点: Volume 数据体量 Velocity 数据速度 Variety 数据多样 Veracity 数据真实有利于学习和创新的组织管理机制，创造充满活力的创新激励机
3、制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。2. 大数据价值在阐述大数据价值时，先一起先学习下数据价值 数据 信息 知识 智慧数据是约定俗成的数值量化，对客观事物的数量、熟悉、位置及其相互关系进行抽象表示， 以适合在这个领域中用人工或自然的方式进行保存、传递和处理。有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。2. 大数据价值数据价值 数据 信息 知识 智慧信息是在时效内的一定含义的， 经过加工处理对决策有价值的数据流。有利于学习和创新的组织管理机制，创造充
4、满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。2. 大数据价值数据价值 数据 信息 知识 智慧通过人们的参与对信息进行归纳、演绎、 比较等手段进行挖掘， 使其有价值的部分沉淀下来， 并于已存在的人类知识体系相结合， 这部分有价值的信息就转变成知识。有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。2. 大数据价值数据价值 数据 信息 知识 智慧智慧是人类基于已有的知识， 针对物质世界运动过程中产生的问题根据获得的信息尽行分析，对比，演绎找出解决方
5、案的能力。智慧乃以知识为根基，加上的运用能力、综合判断、创造力及实践能力来创造价值。有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。2. 大数据价值数据价值 数据 信息 知识 智慧智慧是人类基于已有的知识， 针对物质世界运动过程中产生的问题根据获得的信息尽行分析，对比，演绎找出解决方案的能力。智慧乃以知识为根基，加上的运用能力、综合判断、创造力及实践能力来创造价值。有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环
6、境。2. 大数据价值在此大数据作为服务工具，是数据分析能力的表现对大数据分析，主要分为五个方面（提供大数据解决方案时的价值输出载体）：可视化分析（Analytic Visualization）数据挖掘算法（Date Mining Algorithms）预测性分析能力（Predictive Analytic Capabilities）语义引擎（Semantic Engines）数据质量管理（Data Quality Management）有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。2. 大数据价值可
7、视化分析（Analytic Visualization）有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。2. 大数据价值数据挖掘算法（Date Mining Algorithms）数据挖掘算法是大数据分析的理论核心，其本质是一组根据算法事先定义好的数学公式，将收集到的数据作为参数变量带入其中，从而能够从大量复杂的数据中提取到有价值的信息。著名的“啤酒和尿布”的故事就是数据挖掘算法的经典案例。沃尔玛通过对啤酒和尿布购买数据的分析，挖掘出以前未知的两者间的联系，并利用这种联系，提升了商品的销量。亚马逊的推
8、荐引擎和谷歌的广告系统都大量使用了数据挖掘算法。有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。2. 大数据价值语义引擎（Semantic Engines）语义引擎是机器学习的成果之一。过去，计算机对用户输入内容的理解仅仅停留在字符阶段，不能很好的理解输入内容的意思，因此常常不能准确的了解用户的需求。通过对大量复杂的数据进行分析，让计算机从中自我学习，可以使计算机能够尽量精确的了解用户输入内容的意思，从而把握住用户的需求，提供更好的。苹果的Siri和谷歌的Google Now都采用了语义引擎。有利于学
9、习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。2. 大数据价值大数据解决方案在企业知识管理项目上的价值点：1. 提供专业团队（数据建模、挖掘技术）与客户（行业专家）进行企业数据价值勘探。2. 提供统一可扩展的元数据规则库构建方案。避免组织内产生不同信息和知识体系，保证数据的信息流通、知识管理、智慧创新。3. 在公共大数据挖掘平台。 定制数据汇集，并依托平台集约化的全面高效支持的时效、海量、弹性、关联等核心能力下快速构建解决和集成实施方案。4. 提供私有大数据挖掘平台解决、集成方案，并建设性开放安全数据接口避
10、免“数据孤岛”。有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。3. 大数据产业链大数据产业链，关键点，1. 基础设施提供商2. 基础系统提供商3. 大数据解决方案提供商4. 平台服务提供商 有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。3. 大数据产业链1. 基础设施提供商a. 采集卡 / 视频采集卡、监控采集卡、空气质量采集器b. 网络带宽 / 电信 c. 存储介质 / d. 计算设备 /e. 数据提供
11、商 2. 基础系统提供商- 目前最热门的开源生态系统：hadoop 分布式计算框架 - Yarn: MR / Spark / Storm 分布式文件系统 - Hdfs 分布式结构化存储 - Hbase / Cassandra有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。3. 大数据产业链3. 大数据解决方案提供商 a. 行业、政府解决方案 发现周期规律、促进数据关联、 b. 企业大数据解决方案 加强数据一致，信息流通，知识积累 b. 企业面向主题解决方案 面向 市场营销、推广回报比 、渠道质量、投资
12、风险 、产品定价 等主题 c. 企业面向运营解决方案 发现异常、跟踪质量、客户管理、预警风险 解决方案 有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。3. 大数据产业链4. 平台服务提供商 / 电信云.大数据产品线 我们致力于云计算.大数据生态环境的建设，全面提供集约化面向企业提供大数据平台和技术服务支持，在核心技术上我们已经完成， a. 大规模数据分析 支持Map、Reduce、Join、Union 等多种数据节点处理模式，支持直接使用SQL 语句对海量数据进行离线分析 提供与ANSI SQL 高
13、度兼容的语法支持，支持用户复杂的数据分析需求。有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。3. 大数据产业链4. 平台服务提供商 / 电信云.大数据产品线 b. 分布式文件系统 分布式文件系统拥有高可扩展性，支持上亿个文件和PB以上量级的文件存储 实现了大规模数据的快速读写功能，实现了文件并行操作的高效机制 支持大规模并发读写，充分利用分布式并行带宽 有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。3. 大数据产业链4. 平台服务提供商 / 电信云.大数据产品线 c. 任务调度 采用数据驱动的多级流水线并行计算框架，在表述能力上兼容MapReduce，Map-Reduce-Merge，Spark等多种编程模式 高可扩展性，支持十万以上级的并行任务调度 自动检测故障和系统热点，重试失败任务，保证作业稳定可靠运行完成 有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。大数据基础知识Q&A