《Spark大数据技术与应用教案（人邮）第1--3章 Spark概述教案、基础教案、编程教案.docx》由会员分享，可在线阅读，更多相关《Spark大数据技术与应用教案（人邮）第1--3章 Spark概述教案、基础教案、编程教案.docx（11页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第1章Spark概述教案课程名称：Spark大数据技术与应用课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论40学时，实验24学时）总学分：4.0学分本章学时：4学时一、材料清单（1）Spark大数据技术与应用教材。（2）配套 PPT。（3）引导性提问。（4）探究性问题。（5）拓展性问题。二、教学目标与基本要求.教学目标主要介绍Spark的开展历史，Spark的特点、Spark的生态圈和Spark的应用场景以及介 绍Spark的环境配置，包括搭建单机版环境、单机伪分布式环境和完全分布式环境。最后重 点介绍Spark的架构，Spark作业的运行流程和Spark的核心数据集R
2、DD。1 .基本要求九、问题17 .引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问 题，提问，从而到达理解、掌握知识，开展各种能力和提高思想觉悟的目的。(9) 一般期末考试的成绩是如何保存的？(10) Spark适用于什么类型的计算？(11) Spark计算有什么特点？(12)是否了解过Spark中的RDD是一个什么样的类型？18 .探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的 基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课 文中又是重要的问题加以设问。(14) RDD是一个什么
3、样的集合？(15)有哪些创立RDD的方法？(16) RDD的转换操作和行动操作有什么区别？(17)什么是键值对RDD,有哪些特点？(18)针对普通RDD的常用操作有哪些，针对键值对RDD的操作有哪些？(19)文本文件的存储和读取通过什么方法？19 .拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提 出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问 题。(5) CSV文件通过读取文本文件的方法读取和通过CSV读取器读取有区别吗？如果有，有什么区别？(6)你还知道哪些Spark读取和存储文件的方法?十、主要知识点、重点与难点20
4、 .主要知识点(12)从内存中已有数据创立RDDo(13)从外部存储创立RDD。(14) RDD转化操作和行动操作方法。(15) RDD键值对操作。(16)文件读取与存储。21 .重点RDD 创立。(7) RDD转化操作和行动操作。(9)键值对RDD的基本操作。22 .难点(6)如何创立键值对类型的RDDo(7)操作键值对类型RDD的方法。十一、教学过程设计23 .理论教学过程(7)从内存中已有数据创立RDD。(8)从外部存储创立RDD。(9) RDD转化操作和行动操作。(10) RDD键值对操作。（11）文件读取与存储。24 .实验教学过程（1）以学生成绩数据创立RDD。（2）查询学生成绩表
5、中的前5名。（3）输出单科成绩为100分的学生IDo（4）输出每位学生所有科目的总成绩。（5）输出每位学生的平均成绩。（6）将汇总后的学生成绩存储为文本文件。（7）统计文本中性别为“男”用户数。（8）单词计数。十二、教材与参考资料25 .教材肖芳，张良均.Spark大数据技术与应用（第2版）（微课版）M.北京：人民邮电出 版社.2022.26 .参考资料1肖芳，张良均.Spark大数据技术与应用M.北京：人民邮电出版社.2018.2王哲，张良均.Hadoop与大数据挖掘（第2版）M.北京：机械工业出版社.2022.3张军，张良均.Hadoop大数据开发基础（第2版）（微课版）M.北京：人民邮电
6、出版社.2021.(2)学会搭建Spark环境。(1) 了解Spark的运行架构与原理。三、问题1 .引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问 题，提问，从而到达理解、掌握知识，开展各种能力和提高思想觉悟的目的。(1)你了解Spark的开展历史及特点吗？(2)你了解Spark的应用场景吗？(3)你自己搭建过Spark环境吗？(4)你使用过Spark吗？2、探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的 基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课 文中又是重要的问题加以设问
7、。(1)为什么需要Spark?(2) Spark有哪些特点？(3) Spark生态圈包含哪些环境？(4) Spark有哪些部署模式，有什么区别？(5) “RDD”是怎样的数据集？(6) Spark的运行流程是怎么样的？2 .拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提 出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问 题。根据Spark的安装配置过程，如果想要为Spark集群多加一个子节点，需要进行哪些操 作？四、主要知识点、重点与难点1 .主要知识点Spark基本概念。(1) Spark开展和应用。(2) Spark环
8、境配置方法。(3) Spark架构及原理。2 .重点(1)如何搭建Spark环境。(2) Spark完全分布式集群特点。(3) 了解Spark运行架构与原理。3.难点(1)搭建Spark完全分布式集群。(2) Spark的原理。五、教学过程设计1 .理论教学过程Spark 简介。(2)搭建Spark环境。(3) 了解Spark运行架构与原理。2.实验教学过程搭建Spark伪分布式与完全分布式集群。六、教材与参考资料1.教材肖芳，张良均.Spark大数据技术与应用（第2版）（微课版）M.北京：人民邮电出 版社.2022.2.参考资料1肖芳，张良均.Spark大数据技术与应用M.北京：人民邮电出版
9、社.2018.2王哲，张良均.Hadoop与大数据挖掘（第2版）M.北京：机械工业出版社.2022.3张军，张良均.Hadoop大数据开发基础（第2版）（微课版）M.北京：人民邮 电出版社.2021.第2章Spark基础教案课程名称：Spark大数据技术与应用课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论40学时，实验24学时）总学分：4.0学分本章学时：8学时一、材料清单(1)Spark大数据技术与应用教材。(2)配套 PPT。(3)引导性提问。(4)探究性问题。(5)拓展性问题。二、教学目标与基本要求.教学目标Scala语言是Spark平台常用的一种语言，为了学习S
10、park,需要先学习Scala。首先介 绍了 Scala的特性及安装，接着介绍的是Scala的函数、表达式、循环、数据结构和类。通 过本章的学习，可以体会到Scala函数式编程的便捷、简单。3 .基本要求了解Scala基本特性并学会安装Scalao(2)掌握定义Scala的常量、变量及函数的方法。(3)掌握Scala的if判断和for循环。(4)掌握 Scala 的 Collections (集合)操作。(5)掌握Scala的样例类与模式匹配。(6) 了解Scala类及读取文件。三、问题5 .引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问 题，提问，从而
11、到达理解、掌握知识，开展各种能力和提高思想觉悟的目的。(5) Scala是一门函数式编程语言，你了解什么是函数式编程吗？(6)结合Spark的特点，你觉得Scala可能具备哪些特性？(7)你了解Scala编程的常量，变量及函数吗？(8)你了解Scala的循环与判断吗？6 .探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的 基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课 文中又是重要的问题加以设问。(7)为什么使用Scala编写了 Spark?(8) Scala具有哪些特性？(9) Scala原始类型有哪些？(10) Sca
12、la的循环可以有哪些表现形式？(11) Scala各种数据类型的应用？(12)你能通过不同的方式读取文件吗？(13)什么是函数式编程？7 .拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提 出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问 题。(1) 如果你学习过Java语言，你认为Scala与Java相比有哪些比拟大的不同之处？(2) Scala变量能否使用自增或自减？(3) Scala有没有可变数组？如果有，可变数组与不可变数组的区别是什么？(4) Scala的列表与数组有何区别？四、主要知识点、重点与难点8.主要知识点
13、Scala 简介。(5) Scala 特性。(6) Scala的环境设置及安装方法。(7) Scala类的定义和运行方法。(8) Scala数据类型、函数、表达式的应用。(9) Scala if判断和for循环。(10) Scala集合应用。9.重点了解Scala的基础内容及特性。(5)掌握Scala的安装。(6)掌握Scala函数式编程。10.难点Scala的集合操作。(3) Scala的类定义。(4) Scala的模式匹配。五、教学过程设计1L理论教学过程Scala简介与安装。(5)函数式编程特点。(6) Scala编程学习。12 .实验教学过程（1）安装Scala编程环境。（2）定义Sc
14、ala函数识别号码类型。（3）统计广州号码段数量。（4）根据归属地对手机号码段分组。（5）编写手机号码归属地查询程序。（6）编写函数过滤文本中的回文单词。（7）使用Scala编程实现杨辉三角。六、教材与参考资料13 .教材肖芳，张良均.Spark大数据技术与应用（第2版）（微课版）M.北京：人民邮电出 版社.2022.14 .参考资料1肖芳，张良均.Spark大数据技术与应用M.北京：人民邮电出版社.2018.2王哲，张良均.Hadoop与大数据挖掘（第2版）M.北京：机械工业出版社.2022.3张军，张良均.Hadoop大数据开发基础（第2版）（微课版）M.北京：人民邮 电出版社.2021.
15、第3章Spark编程教案课程名称：Spark大数据技术与应用课程类别：必修适用专业：大数据技术类相关专业总学时：64学时(其中理论40学时，实验24学时)总学分：4.0学分本章学时：10学时七、材料清单(6)Spark大数据技术与应用教材。(7)配套 PPT。(8)引导性提问。(9)探究性问题。(10)拓展性问题。八、教学目标与基本要求.教学目标主要介绍Spark的基础操作，包括Spark的基本的核心数据集，Spark的转换操作和行 动操作。以学生成绩统计为任务，将任务分为各个子任务，以完成任务为目标，分析各大方 法的运用，然后通过完成任务进一步熟悉操作。通过本章学习，掌握Spark的操作方法以及 Spark Shell命令行的使用，为后面的高级操作和组件学习奠定基础。15 .基本要求(7)掌握如何创立RDD。(8)掌握Spark基本转换操作。(9)掌握Spark基本动作操作。(10) 了解如何读取不同格式文件数据。(11) 了解如何存储数据为不同格式文件。