《Hadoop大数据开发基础 教案 第5、6章MapReduce进阶编程、 Hive数据仓库.docx》由会员分享，可在线阅读，更多相关《Hadoop大数据开发基础 教案 第5、6章MapReduce进阶编程、 Hive数据仓库.docx（9页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第5章MapReduce进阶编程教案课程名称：Hadoop大数据开发基础课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：12学时一、材料清单（1）Hadoop大数据开发基础（第2版）教材。（2）配套 PPT。（3）引导性提问。（4）探究性问题。（5）拓展性问题。二、教学目标与基本要求.教学目标主要介绍M叩Reduce的进阶编程，介绍的内容包括MapReduce的输出及输入格式、 Hadoop Java API自定义键值类型、Combiner、Partitioner分区器、自定义计数器以及在IDEA 中直接提交并运行Map
2、Reduce任务。学习了 MapReduce进阶编程的知识点后，优化了日志 文件的统计程序。其中，自定义键值类型、Combiner Partitioner分区器和辅助类ToolRunner 对程序的优化起到了非常积极的作用，在一定程度上可以提高程序运行的效率。1 .基本要求(1)掌握MapReduce输入和输出格式的设置方法。(2)掌握Hadoop Java API的使用方法。(3)掌握自定义键值类型的方法。(4) 了解Combiner的工作原理。(5)掌握Combiner、Partitioner分区器和自定义计数器的使用方法。(6)熟悉MapReduce参数传递流程。(7)掌握使用IDEA自
3、动打包并提交MapReduce任务的方法。三、问题1 .引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问 题，提问，从而到达理解、掌握知识，开展各种能力和提高思想觉悟的目的。(1)在Java中对象是怎么传递参数的？(2)你认为MapReduce框架中的参数传递与Java对象相同吗？(3)你是否注意到，MapReduce的输入输出键值对类型有什么特别之处？(4)你觉得MapReduce的键值对类型可以自己定义吗？2 .探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的 基础上，从重点、难点问题切入，进行插入式提问。或者是对
4、引导式提问中尚未涉及但在课 文中又是重要的问题加以设问。(1) Java API可以对HDFS进行什么操作？(2) MapReduce的输入输出格式常用的有哪些，分别对应什么情境？(3) Combiner的作用是什么？(4) Combiner应用时的局限性有哪些？(5)自定义的Partitioner要继承什么类，实现什么方法？(6)自定义键值对类型需要继承什么类，实现什么方法，原理是什么？(7)在IDEA上直接运行任务需要那些配置，满足什么条件?3 .拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提 出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学
5、生研习探讨，完成拓展性问 题。(1)在自定义键值对类型时，如果需要定义一个包括一个String类型变量和一个List 类型变量的值类型，请问该如何实现？(2)什么问题都能用MapReduce程序实现吗？(3)所有mapreduce程序都可以进行Combiner吗？!1!主要知识点、重点与难点1 .主要知识点MapReduce的输入及输出格式设置。(1) Hadoop Java API 使用方法。(3)自定义键值对方法。(4) Combiner 和 Partitioner 的原理与编程。(5)自定义计数器方法。(6)参数传递的方式。(7) 在IDEA中提交MapReduce任务的方法。2.重点(
6、1)自定义键值对方法。(2) Combiner 和 Partitioner 的原理与编程。(3) Hadoop Java API 使用方法。3.难点(1)自定义键值对方法。(2) Combiner 和 Partitioner 的原理与编程。五、教学过程设计1 .理论教学过程MapReduce输入格式的设置。(1) MapReduce输出格式的设置。(2) FileSystem API 的使用。(4)自定义键值对类型。(5) Combiner的原理和应用。(6) Partitioner的原理和应用。(7)自定义计数器。(8)传递参数。(9) 在IDEA中打包并提交MapReduce任务。2 .实
7、验教学过程(1)筛选日志文件并生成序列化文件。(2)使用Hadoop Java API读取序列化文件。(3)自定义键值类型。(4) 自定义 Combinero自定义 Partitionero(6)自定义计数器。(7) 在IDEA中打包并提交MapReduce任务。六、教材与参考资料1 .教材张军，张良均.Hadoop大数据开发基础（第2版）（微课版）M.北京：人民邮电出 版社.2021.2 .参考资料1余明辉，张良均.Hadoop大数据开发基础M.北京：人民邮电出版社.2018.2张良均，樊哲，位文超，刘名军.Hadoop与大数据挖掘M.北京：机械工业出版 社.2015.3张良均，樊哲，赵云龙
8、，李成华.Hadoop大数据分析与挖掘实战M.北京：机械 工业出版社.2015.第6章Hive数据仓库教案课程名称：Hadoop大数据开发基础课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：9学时七、材料清单(6)Hadoop大数据开发基础(第2版)教材。(7)配套 PPT。(8)引导性提问。(9)探究性问题。(10)拓展性问题。八、教学目标与基本要求.教学目标介绍Hive的基本知识。从Hive与传统数据库的区别出发，介绍Hive的基本概念，了 解Hive以及Hive架构、数据模型及其工作原理；介绍Hive的3种访问方式
9、及搭建过程， 熟悉Hive的安装步骤和管理。接着介绍Hive的数据操作，掌握HiveQL的相关操作。最后 以掉线率Top20基站统计为例，详细介绍了如何使用Hive解决具体的实际问题。3 .基本要求了解Hive的概念及Hive与传统数据库的比照。(8) 了解Hive系统构架、数据模型和工作原理。(10)熟悉3种访问Hive的方式及配置过程。(9) 掌握Hive中数据库与表的创立、管理操作。(10) 掌握Hive表数据增删除改查的操作。九、问题1 .引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问 题，提问，从而到达理解、掌握知识，开展各种能力和提高思想觉悟
10、的目的。(5)什么是Hive?(6)传统数据库有哪些？(7) Hive相较于传统数据库有哪些优势?(8) Hive可以有哪些操作？2 .探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的 基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课 文中又是重要的问题加以设问。(8) Hive的安装配置流程是怎样的？(9)对Hive数据库的操作有哪些，怎么实现？(10)对Hive表的操作有哪些，怎么实现(11)对Hive表中数据的增删查改怎么操作？3 .拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提
11、 出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问 题。(1) Hive是不是万能的？(2) Hive语言用于做数据分析有哪些优势？(3) Hive可与哪些语言交互使用？十、主要知识点、重点与难点1 .主要知识点Hive概念、架构、数据模型以及工作原理。(9)安装配置Hive。(10)对Hive数据库、表的操作。(11)对Hive表中数据的增删查改。2.重点(4)安装配置Hive。(5)对Hive数据库、表的操作。(6)对Hive表中数据的增删查改。3.难点3)对Hive数据库、表的操作。1 4)对Hive表中数据的增删查改。十一、教学过程设计2 .理论教学过程
12、Hive数据仓库的概念。(10) Hive与传统数据库的比照。(11) Hive的系统架构。(12) Hive的数据模型。(13) Hive党的工作原理。(15)安装配置Hive的流程。(16)对Hive数据库的操作。(17)对Hive数据表的操作。(18)对Hive数据表中数据的增删查改。3 .实验教学过程(1)安装Hive并配置相关文件。(2)对Hive数据库的操作。(3)对Hive数据表的操作。(4) Hive表中数据的增删查改。（5）统计基站掉线率前10名。十二、教材与参考资料1 .教材张军，张良均.Hadoop大数据开发基础（第2版）（微课版）M.北京：人民邮电出 版社.2021.2 .参考资料1余明辉，张良均.Hadoop大数据开发基础M.北京：人民邮电出版社.2018.3 2张良均，樊哲，位文超，刘名军.Hadoop与大数据挖掘M.北京：机械工业出版 社.2015.4 3张良均，樊哲，赵云龙，李成华.Hadoop大数据分析与挖掘实战M.北京：机械 工业出版社.2015.