《大数据人工智能时代-Joy课件.pptx》由会员分享，可在线阅读，更多相关《大数据人工智能时代-Joy课件.pptx（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据人工智能时代世界四次工业革命世界四次工业革命第一次革命第一次革命第一次革命第一次革命：18世纪60年代英国发起的蒸汽技术革命，以蒸汽机为代表。第二次革命第二次革命第二次革命第二次革命：19世纪中期，以欧洲国家，美国，日本发起的电力技术革命，以1866年德国西门子发明的发电机为代表。第三次革命第三次革命第三次革命第三次革命：20世纪四五十年代，世界各个国家发起的计算机及信息技术革命，以计算机，航天技术，原子能为代表。第四次革命第四次革命第四次革命第四次革命：21世界初，以大数据人工智能为代表的全新技术革命。2016年3月9日-15日阿尔法狗大战围棋大师李世石开始爆发。大数据与人工智能大数据
2、与人工智能关系图：关系图：大数据人工智能大数据是人工智能的基大数据是人工智能的基础础没数据不智能没数据不智能机器学习机器学习深度学习深度学习机器学习和深度学习机器学习和深度学习机器学习：抵达机器学习：抵达AIAI目标的一条路径目标的一条路径机器学习就是用算法真正解析数据，不断学习，然后对世界中发生的事做出判断和预测。研究人员会用大量数据和算法“训练”机器，让机器学会如何执行任务。深度学习：实现机器学习的技术深度学习：实现机器学习的技术“人工神经网络（Artificial Neural Networks）”是另一种算法方法，神经网络（Neural Networks）的构想源自于我们对人类大脑的理
3、解神经元的彼此联系。大数据经典案例：大数据经典案例：啤酒与尿布啤酒与尿布 全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今，的销量都大幅增加了。如今，“啤酒啤酒+尿布尿布”的数据分析成果早已成了大的数据分析成果早已成了大数据技术应用的经典案例，被人津津
4、乐道。数据技术应用的经典案例，被人津津乐道。微软大数据成功预测奥斯卡微软大数据成功预测奥斯卡2121项大奖项大奖 2013 2013年，微软纽约研究院的经济学家大卫罗斯柴尔德年，微软纽约研究院的经济学家大卫罗斯柴尔德(David(David Rothschild)Rothschild)利用大数据成功预测利用大数据成功预测2424个奥斯卡奖项中的个奥斯卡奖项中的1919个，成为人们津个，成为人们津津乐道的话题。津乐道的话题。20142014年罗斯柴尔德再接再厉，成功预测第年罗斯柴尔德再接再厉，成功预测第8686届奥斯卡金像届奥斯卡金像奖颁奖典礼奖颁奖典礼2424个奖项中的个奖项中的2121个，继
5、续向人们展示现代科技的神奇魔力。个，继续向人们展示现代科技的神奇魔力。大数据三大分布式计算系统：大数据三大分布式计算系统：Hadoop：离线的复杂大数据处理，存储在硬盘上。Spark：离线快速的大数据处理，存储在内存上。spark streaming实时大数据处理。Storm：在线的实时大数据处理，存储在内存是上。HadoopHadoop组件介绍组件介绍MapReduce：分布式计算，对数据进行切割，计算，合并。HDFS：分布式存储。Yarn：集群资源管理系统。MapReduceMapReduce分布式计算介绍：分布式计算介绍：map端对数据进行切割端对数据进行切割 reduce端对数据进行合
6、并端对数据进行合并土豆土豆白菜白菜辣椒辣椒茄子茄子山山药土豆片土豆片白菜片白菜片辣椒片辣椒片茄子片茄子片山山药片片满汉全席全席SparkSparkSparkSpark是开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但自身还有一个优势：rdd（弹性分布式数据集）。RDD RDD 只读、可分区，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。所谓弹性，是指内存不够时可以与磁盘进行交换。这涉及到了RDD的另一特性：内存计算，就是将数据保存到内存中。stormstormS
7、tormStorm是自由开源的分布式实时计算系统，擅长处理海量数据，适用于数是自由开源的分布式实时计算系统，擅长处理海量数据，适用于数据实时处理而非批处理。据实时处理而非批处理。storm核心概念：核心概念：NimbusNimbus：Storm集群主节点，负责资源分配和任务调度。我们提交任务和截止任务都是在Nimbus上操作的。一个Storm集群只有一个Nimbus节点。SupervisorSupervisor：Storm集群工作节点，接受Nimbus分配任务，管理所有Worker。WorkerWorker：工作进程，每个工作进程中都有多个Task。TaskTask：任务，每个Spout和Bo
8、lt都是一个任务，每个任务都是一个线程。TopologyTopology：计算拓扑，包含了应用程序的逻辑。StreamStream：消息流，关键抽象，是没有边界的Tuple序列。SpoutSpout：消息流的源头，Topology的消息生产者。BoltBolt：消息处理单元，可以过滤、聚合、查询数据库。Stream groupingStream grouping：消息分发策略，一共6种，定义每个Bolt接受何种输入。ReliabilityReliability：可靠性，Storm保证每个Tuple都会被处理。京东大数据人工智能京东大数据人工智能京东无人机京东无人机201620162016201
9、6年年年年6 6 6 6月月月月8 8 8 8日上午日上午日上午日上午9 9 9 9点，在江苏宿迁市曹集乡同庵村居委会点，在江苏宿迁市曹集乡同庵村居委会点，在江苏宿迁市曹集乡同庵村居委会点，在江苏宿迁市曹集乡同庵村居委会京东无人机监控屏幕京东无人机监控屏幕京东配送机器人京东配送机器人20172017年年6 6月月1818日，京东配送机器人在中国人民大学顺利完成首单配送。日，京东配送机器人在中国人民大学顺利完成首单配送。阿里巴巴阿里巴巴ETET城市大脑城市大脑 “城市大脑”可以通过大数据的分析，来了解车辆频繁地段。从而智能的控制智能的控制红绿灯的灯的长短短时间。有效的提升通行速率，减少拥堵。还可以通过车辆的异常运行轨迹，自自动分辨出事故分辨出事故现场，提升交警的出勤效率。基于阿里云的人脸鉴别技术，“城市大脑”还可以通过城市摄像头对人的体态进行分析，识别个体，从而防范肇事者逃离防范肇事者逃离肇事肇事现场，预防碰瓷者的碰瓷行防碰瓷者的碰瓷行为。腾讯位置大数据腾讯位置大数据