《《大数据技术基础（第2版）》792-4（覃事刚）教案 第3课大数据处理平台Hadoop（一）.docx》由会员分享，可在线阅读，更多相关《《大数据技术基础（第2版）》792-4（覃事刚）教案 第3课大数据处理平台Hadoop（一）.docx（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、课题大数据处理平台Hadoop （-）课时2 课时(90 min )教学目标知识技能目标：（1 ） 了解Hadoop的概念、特性和发展历程。（2 ）熟悉Hadoop生态系统。（3 ） 了解Hadoop的三种运行模式。思政育人目标：增强忧患意识、风险意识和责任意识，充分认识新形势下科技自立自强的紧迫性、 必要性和重要意义，心怀国之大者，争做国之大才；脚踏实地，勇于创新，与 时俱进,在实践中练就过硬本领、锤炼品德修为,立志为国家科技自立自强、加快解决 卡脖子难题等做出贡献。教学重难点教学重点：Hadoop生态系统教学难点：Hadoop的三种运行模式教学方法案例分析法、问答法、讨论法、讲授法教学用具
2、电脑、投影仪、多媒体课件、教材教学设计第1节课：考勤（2 min ） 一案例导入（5 min ）一传授新知（28 min ）-合作学习（10 min ）第2 1课：复习导入（5 min ）一传授新知（20 min ）一课堂互动（15 min ）一课堂小 结（3 min ）一作业布置（2 min ）教学过程主要教学内容及步骤设计意图第一节课考勤(2 min) 【教师】使用文旌课堂APP 【学生】按照老师要求签到培养学生的组 织纪律性，掌握学 生的出勤情况案例导入（5 min） 【教师】讲述“星环科技的创新与超越之路”案例，使学生充分认识新形势下科技自立自强的紧迫性、必要性和重要意 义 【学生】聆
3、听、思考、充分认识新形势下科技自立自强的紧迫性、必要性和重要忌义通过案例导入 务，使学生充分认 识新形势下科技 自立自强的紧迫 性、必要性和重要 意义，激发学生的 学习兴趣 【教师】与学生一起评价各组的讨论结果第二节课问题导入(5 min)【教师】提出问题：你知道大数据主要应用十哪些行业吗？【学生】聆听、思考、举手回答通过问题导入， 引导学生主动思 考，激发学生的学 习兴趣传授新知 (20 min)【教师】通过学生的回答引入新的知识，介绍大数据的行业应用一、互联网与电商行业大数据在互联网行业的典型应用，主要体现在搜索引擎、推 荐系统和广告系统等方面。(1)搜索引擎。如何在海量数据中找到需要的信
4、息，是搜索引 擎的目标。通过大数据理论和技术，可进一步改进搜索引擎技术， 帮助用户快速准确地检索信息。(详见教材)【教师】提出以下问题：请大家举例说明大数据在互联网行业的二种应用方式【学生】思考、举手回答【教师】对学生的回答进行总结白度，抖音，快手等等APP都是利用大数据满足用户需求的电商数据直接反映用户的消费习惯，具有很高的应用价值。 大数据在电商行业的应用，主要体现在精准营销、个性化服务和 商品个性化推荐等方面，其典型的应用场景如下。(1 )电商企业收集大量用户在电商网站或网络媒体上的注册 信息、行为数据(用尸在网站和移动App中的浏览/点击/发帖等 行为)、交易数据、网络日志数据等。(2
5、 )对收集的数据进行分析和挖掘，得出不同用户的购买能 力、行为特征、心理特征、兴趣爱好、家庭情况、喜欢的社交网络 等数据。(3 )根据分析结果做精准营销、精准推荐或提图用户的购物 体验等。A【教师】提出任务通过讲授，提 问，讨论等教学方 式，让学生了解大 数据的行业应用， 大数据与其他新 兴技术的关系阅读课本拓展阅读部分，结合自己的线上购物经历，对比同 学之间搜索同一商品名称出现的界面，说一说大数据在电商中的典 型应用【学生】聆听要求、进行讨论，思考二电信与交通行业【教师】展示电信运营商”对于大数据的布局，协助讲解知 识点电信运营商拥有丰富的数据资源。数据来源涉及移动通话和固 定电话、无线上网
6、、有线宽带接入等所有业务，也涵盖线上线下渠 道在内的渠道经营相关信息，所服务的客户涉及个人客户、家庭客 户和政企客户。（详见教材）A【教师】提出以下问题：我们经常用的导航软件都有哪些，原理是什么，它是如何判断 交通拥堵的？【学生】思考、举手回答*【教师】对学生的回答进行总结常用的导航软件有百地图，高德地图等等，它利用大数据来规 划路线以及判断交通拥堵状况。【教师】提出以下问题：通过导航软件的例子，大家思考一下大数据在交通行业的应用 有哪些？【学生】思考、举手回答【教师】对学生的回答进行总结使用大数据技术可以构建城市智慧交通，将车辆、行人、道路 基础设施、公共服务场所都整合在智慧交通网络中，以提
7、升资源运 用的效率，优化城市管理和服务。通过对道路交通信息的实时挖掘， 能有效缓解交通拥堵并快速响应突发状况,为城市交通的良性运转 提供科学的决策依据。详见教材三、金融与教育行业【教师】展示证券APP针对用户风险能力的调查问卷， 协助讲解知识点金融机构具有庞大的客户群体，企业级数据仓库存储了覆盖客 户、账户、产品、交易等的大量结构化数据，以及海量的语音、图 像、视频等非结构化数据。这些数据背后都蕴藏了诸如客户偏好、 社会关系、消费习惯等丰富全面的信息资源，成为金融行业数据应 用的重要基础。【学生】聆听、思考、理解A【教师】提出以下问题举例说明大数据在教育行业的应用【学生】思考、举手回答小【教师
8、】对学生的回答进行总结大数据在教育行业的应用包括优化教学管理、学生管理、教学 内容、教学手段、教学评价等。（详见教材）四。健康医疗行业小【教师】展示“健康医疗大数据应用图片“，协助讲解知识点大数据在健康医疗行业的应用，包括疾病预防、临床应用、远 程医疗、医学研究、医院管理等。例如，利用大数据平台收集不同的 病例、治疗方案和治疗效果，建立针对疾病特点的数据库。医生诊 断病人时可以利用疾病数据库和相关工具分析病人的疾病特征、化 验报告和检测报告，从而快速为病人确诊，并制定适合病人的治疗 方案。详见教材五政务管理行业A【教师】展示“智慧城市建设”相关文件和图片，协助讲解知 识点在我国，政府部门掌握着
9、全社会最大量、最核心的数据。有效 地利用这些数据，可以让政府治理与决策更加精细化、科学化，可 以帮助政府将与民众的沟通建立在科学的数据分析之上，优化公共 服务流程，简化公共服务步骤，提升公共服务质量。详见教材【教师】提出任务阅读课本拓展阅读部分，进一步了解大数据在政务管理方 面的应用。【学生】聆听要求、进行操作六大数据与其他新兴技术的关系【教师】提出问题阅读课本大数据与其他新兴技术的关系部分，总结大数据 与其他新兴技术的关系。【学生】思考、举手回答+【教师】对学生的回答进行总结近些年，以大数据、云计算、物联网和人工智能等技术为核心 的新一代信息技术高速发展，在助力解决各行业现实需求、培育新 业
10、态、形成经济发展新动能方面发挥了重要作用。大数据、工计算、 物联网和人工智能，代表了 IT领域最新的技术发展趋势，它们彼此 渗透、相互融合，既有区别又有联系。(详见教材)【学生】聆听、记录、互动.理解小组活动(15 min) 【教师】组织学生以小组为单位完成实战演练一一使用Power BI分析产品销售情况 【学生】根据课本提示完成学习任务，由组长汇报学习成果 【教师】与学生一起评价各组的讨论结果通过课堂互动， 使学生熟悉大数 据分析软件课堂小结 (3 min) 【教师】简要总结本节课的要点本节课学习了大数据的架构和集群，了解大数据的行业应用， 了解大数据与其他新兴技术的关系，以小组为单位进行了
11、实战演练。 希望大家在课下多复习，巩固所学知识 【学生】总结回顾知识点总结知识点，巩 固学生对大数据 技术相关知识的 印象作业布置 (2 min) 【教师】布置课后作业完成本章节课后相关习题。 【学生】完成课后任务通过课后作业 复习巩固学到的 知识教学反思本节课学生接触了新的知识，学习兴趣较局。不过知识点较多，全部消化还是比较 难。在教学中，教师要将学生作为教学的主体，时刻关注学生学习成绩、方法等各方面 的变化，引导学生从被动学习转为自主学习和思考，从而提高学习的积极性和主动性【教师】通过学生的回答引入要讲的知识，介绍Hadoop的概念、特性，以及Hadoop生态系统一什么是HadoopA【教
12、师】通过多媒体展示Hadoop的概念，界面等相关知识Hadoop使用的开发语言是Java ,主要运行于Linux平台。它是 一个允许使用简单编程模型跨计算机集群分布式处理大型数据集的 系统，通过它可以方便地管理分布式集群，将海量数据分布式地存 储在集群中，并使用分布式并行程序来处理这些数据。(详见教材)*【教师】提出以下问题：我们已经知道了 Hadoop的概念,请同学们阅读课本自主学习 HDFS和MapReduce分别是什么【学生】思考，举手回答计【教师】对学生的回答进行提炼，总结通过教师的讲 解和演小，互动以 及案例，使学生了 解Hadoop的概 念、特性、发展历 程和生态系统HDFS (
13、Hadoop分布式文件系统)是针对GFS的开源实现，其 冗余存储的方式使得数据的安全性得到了保证。传授新知(28 min)MapReduce是针对Google MapReduce的开源实现，它是一种海 量数据集的分布式并行计算编程模型。(详见教材)小【教师】提出以下问题：阅读课本Hadoop的特性的部分，说一说Hadoop的特性有哪 些?小【学生】思考、举手回答十【教师】对学生的回答进行提炼，总结Hadoop是一个用于海量数据处理的分布式系统架构,允许使 用简单的编程模型跨计算机集群处理大型分布式数据集。它主要有 以下几个基本特性。(1)高可靠性。(2 )高扩展性。(3 )高效性。(4 )高容
14、错性。(5 )高可用性。(6 )低成本。(7 )多平台运行。(8 )支持多种编程语言。(9 )数据本地化。(详见教材)次【教师】提出以下学习任务：自主学习，阅读课本Hadoop的发展历程部分，按照时间线制 作Hadoop的发展历程图，可选择电子版或手与制作，制作完成后， 提交到文旌课堂APP。【学生】认真聆听要求，积极完成学习任务2002年,Doug Cutting等人创建了开源网络搜索弓|擎Nutch , 该引擎包括了网贞抓取、索引、查询等功能。2003年，Google公司发表了一篇关于分布式文件系统的GFS 论文，论文名为The Google File System”,该论文介绍了 Goo
15、gle 搜索引擎网页相关数据的存储架构，该架构可解决Nutch遇到的网 页抓取和索引过程中产生的超大文件存储需求的问题。(详见教材)二.Hadoop生态系统注【教师】展示Hadoop生态系统提出以下问题：通过观察图片同学们总结一下，Hadoop生态系统的组成部分有 哪些？【学生】思考、举手回答Hadoop生态系统不断演变不皖善，如今已成为一个庞大的 体系。它不仅包括核心组件HDFS、MapReduce和YARN ,还 包括 Hive、Pig、Mahout. HBase、Flume、Ambari、ZooKeeper、 Sqoop、Kafka 和 Spark 等。(详见教材)【教师】利用课件辅助详
16、细讲解Hadoop生态系统各个部分(1 ) HDFSO HDFS是Hadoop的核心组成框架，在大数据开发 中通过分布式计算对海量数据进行存储和管理。它基于流数据模式访问和处理超大文件的需求而开发，可以运行在廉价的商用服务器 上。它所具有的高可靠性、高容错性、高吞吐率等特性，为海量数据 提供了不怕故障的存储方法，进而为超大数据集的应用和处理带来 了很多便利。(详见教材)【学生】聆听、记录、理解合作学习(10 min ) 教师】组织学生阅读Hadoop生态系统中关于生态系统 各个部分的详细介绍及知识库内容(详见教材)，然后组织 学生以小组为单位讨论以下问题：(1 ) Hadoop生态系统各个部分
17、的的作用(2 ) Hadoop生态系统各个部分的的地位 【学生】聆听、思考、小组讨论，由小组代表上台发表讨论结果 【教师】与学生一起评价各组的讨论结果通过课堂讨论， 加深学生对 Hadoop生态系统 的认识第二节课复习导入(5 min )【教师】展示上节课合作学习的优秀成果简单回顾Hadoop生态系统的相关知识，我们已经知道Hadoop生态系统的相 关知识，本节课继续学习Hadoop的运行模式等知识【学生】聆听、思考、回帧、理解通过复习旧知 引入新知，引导 学生主动思考， 激发学生的学习 兴趣传授新知(20 min)【教师】介绍Hadoop运行模式的相关知识Hadoop的运行模式有3种，分别为
18、单机模式、伪分布式模 式和完全分布式模式。在实际应用中,通常采用完全分布式的 Hadoop集群，以保证数据存储的完整性、可靠性和一致性。(详见教材)一.单机模式小【教师】提出以下问题：阅读课本单机模式部分内容，说一说单机模式是什么意思，及优 缺点计【学生】思考、举手回答冲【教师】对学生的回答进行总结单机模式又叫本地模式，即只在一台机器上安装Hadoop ,其属 于默认安装模式，无须进行其他配置就可以运行Hadoop。该模式主通过讲授，提 问，讨论等教学 方式，让学生了 解Hadoop运行模 式要用于MapReduce应用程序的调试，没有使用分布式文件系统 HDFS ,也不会加载进程。(详见教材
19、)二、伪分布式模式【教师】提出以下学习任务：阅读课本伪分布式模式部分内容，思考什么是伪分布式模式，及 它的优缺点【学生】自主学习、总结伪分布式模式同样是运行在一台机器上，其增加了代码调试功 能，包括 5 个进程(NameNodex SecondaryNameNodex DataNodex ResourceManager和NodeManager ),即在一台机器上模拟分布式， 主要用于测试，这种模式对开发非常有用。(详见教材)三、完全分布式模式小【教师】提出学习任务：阅读课本总结完全分布式模式的概念及优缺点和作用 【学生】自主学习，总结完全分布式模式又叫集群模式，它由两台及两台以上的机器组 成，
20、是真正的分布式。此时，Hadoop的守护进程运行在由多台主机搭建的集群上，是 真正的生产环境。其存储采用分布式文件系统HDFS。集群中的节点 可以分成两大类角色：master和slave ,由一个NameNode和若干 DataNode组成。其中,NameNode作为主服务器，管理文件系统的命 名空间和客户端对文件系统的访问；集群中的DataNode管理存储的 数据。 【学生】聆听、记录、操作、理解通过课堂互 动，使学生熟悉 搭建Hadoop的 三种运行模式， 为后面的学习打 好基础 【教师】组织学生以小组为单位讨论以下问题课堂互动(15 min)对比Hadoop的三种运行模式，总结他们的特点
21、，应用，优缺 点，形成表格 【牲】i玳仑，制 【教师】与学生一起评价各组的讨论结果课堂小结(3 min) 【教师】简要总结本节课的要点总结知识点， 巩固学生对本”课学习了 Hadoop的概念和主要特征，了解了 Hado叩的生 态系统和运行模式。希望大家在课下多复习，巩固所学知识【学生】总结回顾知识点Hadoop相关知识 的印象作业布置 (2 min) 【教师】布置课后作业请根据课堂知识，完成本章节课后相关习题。 【学生】完成课后任务通过课后作业 复习巩固学到的 知识教学反思本节课在教学中，米用个别学习，小组合作、作业展7JV等多种课堂教学组织形式， 这些形式就为学生创造提供了合作交流的空间，同
22、时教师给了学生的自主学习提供充足 的时间,让他们有一个宽松、和谐的学习环境。学生才是学习的主人，教师的一个重要 任务就是为学生提供学生合作交流的空间与时间，这是学生自己学习最重要的学习资源 环境。课题大数据概述课时2 课时(90 min )教学目标知识技能目标：（1）了解大数据平台架构的组成和大数据集群。（2） 了解大数据的典型行业应用，以及大数据与其他新兴技术的关系。（3）能够分析一些典型的大数据应用场景，简单阐释其背后的原理。（4 ）能够结合实例说明大数据给我们的日常生活所带来的革命性影响。思政育人目标：感受我国在抗击疫情的严峻斗争中所表现出的制度优势、大国担当，以及大数据在 疫情监测分析
23、、人员管控、医疗救治、复工复产等方面发挥的巨大作用，厚植家国情怀， 铸牢中华民族共同体意识。教学重难点教学重点：大数据的行业应用教学难点：大数据平台架构和集群教学方法案例分析法、问答法、讨论法、讲授法教学用具电脑、投影仪、多媒体课件、教材教学设计第1节课：考勤（2 min ）一新课予赚（10 min ）一问题导入（5 min ）一传授新知（18 min ）一课堂讨论（10 min ）第2 1课：问题导入（5 min ）一传授新知（25 min ）一课堂互动（10 min ）一课堂小 结（3 min ）一作业布直（2 min ）教学过程主要教学内容及步骤设计意图第一节课考勤(2 min) 【教师
24、】使用文旌课堂APP 【学生】按照老师要求签到培养学生的组 织纪律性，掌握学 生的出勤情况新课预热（10 min） 【教师】介绍本节课内容及学习目标，重难点 【学生】聆听、互动 【教师】利用多媒体课件展示大数据的平台的界面，并和学生互动，询问学生对于大数据平台组成部分的了解大数据技术是一系列技术的总称，它集合了数据采集与传输、 数据存储、数据处理与分析、数据挖掘、数据可视化等技术，是一个 庞大而复杂的技术体系。大数据平台架构和集群都是在此基础上实 现的。通过老师自我 介绍，让学生了解 本书课的学习目 标和学习内容【学生】聆听、记录、互动、理解问题导入 (5 min) 【教师】提出以下问题：大数
25、据平台包括哪些组成部分？ 【学生】思考、举手回答 【教师】通过学生的回答引入要讲的知识通过问题导入 的方法，引导学生 主动思考，激发学 生的学习兴趣传授新知(18 min )【教师】通过学生的回答引入要讲的知识，介绍大数据平台架构及各个部分的作用一、大数据的平台架构【教师】通过多媒体展示大数据平台架构图根据大数据从来源到应用，可以将大数据平台架构分为数据源 层、数据采集层、数据存储层、数据处理层、数据分析层和数据应用 层(详见教材)数据源主要是指各个行业中产生的多种多样的原始数据，如互 联网用户数据、Web服务器系统日志数据、企业数据库数据等。具 体来说，它包括以下几种类型。(详见教材)中【教
26、师】提出问题：我们已经知道了大数据平台架构，那么大数据平台架构各个部 分都负责哪些功能呢？【学生】思考、举手回答小【教师】对学生的回答进行总结(1)数据源主要是指各个行业中产生的多种多样的原始数据(2 )数据采集层利用一系列数据采集技术，主要实现对数据的ETL (抽取、转换和加载)操作。(3 )数据存储：当大量的数据采集完成后，需要对数据进行存储。 数据的存储分为持久化存储和非持久化存储。(4 )大数据处理分为批处理计算、流计算、离线计算和实时计算等 类型。(5殿据分析使用R、Python等进行数据分析也可以使用Mahout、 Spark ML根据算法模型、业务模型进行融合建模，挖掘有价值的信
27、 息，从而更好地为业务应用提供优质结果。(6)数据应用层是大数据技术应用的目标，通常提供查询、报表、 数据可视化等功能。二.大数据集群通过教师的讲 解和演示，互动以 及案例，使学生了 解大数据的平台 架构，大数据集群【教师】提出以下问题：你知道什么是大数据集群吗？【学生】思考、举手回答大数据集群是由网络互相连接的多个独立服务器的集合。这 些服务器由分布式并行结构组成并一起协同工作，运行共同的应 用程序，从而实现高性能的计算等服务。+【教师】提出任务阅读课本助力科研部分，说明在这其中大数据集群起到的 作用小【学生】聆听要求、进行操作小【教师】提出以下问题：我们已经知道了大数据集群，那么请同学们自
28、主阅读课本第24 页了解大数据集群的优点【学生】思考、自主学习通常来说，大数据集群具有如下几个方面的优点。(1)高可用性(2 )高可扩展性(3 )高可管理性(4 )高安全性(详见教材)注【教师】利用多媒体讲解大数据集群的模式沙【学生】聆听、记录、理解大数据集群的模式主要有负载均衡模式和冗余模式两种。(详 见教材) 【学生】聆听、记录、理解 【教师】组织学生阅读“知识库中的拓展知识点(详见教通过课堂讨论, 加深学生对大数 据集群模式的认 识材)，然后组织学生以小组为单位讨论以下问题：课堂讨论(10 min)总结大数据集群的两种模式即负载均衡模式和冗余模式各自的 优缺点 【学生】聆听、思考、小组讨论，由小组代表上台发表讨论结果