《《大数据应用技术基础》课程标准.docx》由会员分享，可在线阅读，更多相关《《大数据应用技术基础》课程标准.docx（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1.课程说明(1)课程性质：大数据应用技术基础由Hadoop开发基础、分布式存储HDFS 开发基础和分布式计算MapReduce开发基础三局部组成，它是由 Apache基金会所开发的分布式系统基础架构，一个能够对大量数据 进行分布式处理的软件框架；Hadoop以一种可靠、高效、可伸缩的 方式进行数据处理，能够处理PB级数据。从学科性质上讲，它既是 大数据技术与应用专业的基础课程，又是大数据技术与应用专业的专 业核心课程，它为大数据技术与应用专业后继课程的学习提供必要的 理论与实践基础。(2)课程任务:通过本门课程的学习，使学生知道Hadoop框架最核心的设计 是:HDFS和MapReduce；
2、 HDFS是部署在Hadoop集群的底层为海量的 数据提供了存储，而MapReduce为海量的数据提供了计算；而且能够 理解并掌握HDFS文件系统的存储原理、两种访问HDFS文件系统的模 式以及理解Hadoop集群的计算框架MapReduce的工作原理，为 Hadoop基础实战、数据的可视化和Spark数据计算等课程 的学习提供理论依据和实战基础。(3)课程衔接：大数据应用技术基础的先修课程为Java程序设计、Linux 系统管理等，这些课程的学习将为本课程的学习奠定了理论基础。大数据应用技术基础是一门理论与实际操作相结合的课程,需要在机房进行上课。2.设备要求火狐浏览器或者谷歌浏览器；操作系
3、统：Cent 0S6. xCPU： 1内存：8G硬盘：200G网络环境：内网，千兆交换机，交换机通过网线直接连接桌面电 脑。（2）师资队伍该课程主讲教师具备该课程丰富的教学经验，教学效果良好；熟 悉高职高专学生教育教学规律，能够与前、后续课程的负责人进行良 好的沟通；了解大数据应用技术行业市场人才需求；熟悉大数据应用 技术专业知识并具有丰富实践经验的教师。（3）选用教材：本课程目前使用的是西普的大数据教学平台。推荐参考书：lHadoop技术内幕深入解析MapReduce架构设计与实现原理，董西成，机械工业出版社，2013年5月第1版。2Hadoop权威指南：大数据的存储与分析（第四版），Tom
4、 White 著，王海华东刘喻吕奥海译 清华大学出版社，2017年4月。7.编写依据该课程标准是依据大数据技术与应用专业调研报告和大数据技 术与应用专业的人才培养方案而编写的。大数据应用技术基础的后续课程是Hadoop基础实战、数 据的可视化和Spark数据计算等，通过该课程的学习可为这些 课程内容的学习奠定良好的理论和实战基础，在教学中起到承上启下 的作用。2.学习目标通过本门课程的学习，首先，使学生知道Hadoop集群的基本架 构，理解并掌握Hadoop集群搭建的三种模式；其次，知道HDFS是部 署在Hadoop集群的一个分布式文件存储系统，理解并掌握HDFS文件 系统的存储原理以及两种访
5、问HDFS文件系统的模式；最后，理解 Hadoop集群的计算框架MapReduce的工作原理，并且掌握mapreduce 分析年气象数据和英语单词统计，从而提高学生的发现问题、分析问 题和解决问题的能力。(1)知识目标知道大数据应用技术基础这门课程的性质、地位和 作用以及Hadoop的基础架构；理解掌握Hadoop集群搭建的三种模式；理解并掌握访问HDFS文件系统的两种模式；掌握mapreduce分析年气象数据和英语单词统计。(2)能力目标力求在简洁的基础上使学生能从整体上了解和掌握Hadoop的整 体框架内容体系，培养学生自学能力以及获取计算机新知识、新技术 的能力，使学生能够在实际工作和后
6、续学科的学习中灵活、自如地应用Hadoop的基础理论。（3）素质目标培养对新知识、新技能的学习能力与创新能力；锻炼学生的自学能力、理解能力和表达能力；培养学生具有团队合作的精神；培养学生善于沟通、团结协作和与人为善的处事能力；引导学生树立科学的世界观，激发学生的求知热情、探索精神、创新欲望以及敢于向旧观念挑战的精神。3 .课程设计本课程根据能力培养目标的要求，确定学习目标及学习任务内容；具体的学习内容和学时分配如表1。表1学习领域的内容与学时分配学习单元Hadoop开发基础学时42学习目标能力目标知识目标素质目标1 .通过本门课程的 学习培养学生的实 际动手操作能力；2 .通过本门课程的 学习
7、锻炼学生的自 我学习能力。1 .掌握并理解Linux静态IP的设置以 及主机名的设置；2 .了解Linux的常用命令；3 .会使用Linux系统配置ssh免密码 配置；4 .掌握在Linux系统上安装和卸载 mysql的命令；5 .掌握Hadoop环境配置以及Linux系 统JDK的安装。1 .通过本单元内 容的学习帮助学 生树立良好的时 间观念；2 .通过本单元的 学习提高学生职 业道德和职业素 养。学习内容内容名称主要知识点Linux基础环境1. Linux设置静态IP地址；2. 修改主机名和映射关系；3. Linux常用命令；4. 配置本地yum源；5. ssh免密配置;6. NTP网络
8、时间服务器。Linux软件安装1. Linux系统安装MySQL数据库；2. Linux系统卸载MySQL数据库；3. 输入法拼音安装。Hadoop基础环境1. Linux系统JDK的安装和配置；2. Hadoop单机分布式配置与测试；3. Hadoop伪分布式配置与测试；4. Hadoop完全分布式配置与测试。教学方法设计课堂教学以合作学习为主、分小组讨论为主，借助多媒体 声像演示，对工程进行演示；在这局部教学内容中注意学 生的实际动手操作能力训练，引导学生理论联系实际，应 用所学理论解决实际操作问题。学习单元分布式存储HDFS开发基础学时20学习目标能力目标知识目标素质目标1.通过本单元的
9、学 习培养学生的独立 思考的能力；2,通过本单元内容 的学习能够利用所 学知识完成后继课 程的学习。1 .熟练HDFS Shell基本命令操作;2 .掌握Hadoop的RPC机制,验证Dat aNode存储的块信息；3 .会linux环境下使用ecplise以及 通过ecplise创立HDFS的Java工程；4 .能够使用HDFS的Java API进行文 件移动、创立目录等。1 .通过本单元的 学习使学生初步 掌握科学的学习 方法和良好的学 习习惯；2 .通过本单元的 学习培养学生注 重团队合作精神。学习内容内容名称主要知识点HDFS shell 命令l.HDFS shell基本命令操作（一）
10、；2. HDFS shell基本命令操作（二）。HDFS原理1 . Hadoop 的 RPC 机制；2 .验证DataNode存储的块信息。HDFS API 操作1. Linux下安装eclipse及创立hdfs工程；2. HDFS Java API操作创立目录和删除目录；3. HDFS Java API操作上传文件和下载文件；4. HDFS Java API操作判断文件存在以及文件与目录；5. HDFS Java API操作对文件重命名、追加内容或者 合并内容及移动。教学方法设计采用任务驱动教学方式，激发学生学习兴趣，充分发挥学 生的主观能动性。上机试验是本课程的重要教学环节，通 过上机动手
11、操作使理论应用于实践中。学习单元分布式计算MapReduce开发基础学时58学习目标能力目标知识目标素质目标1.通过本单元的学 习，使学生能用其理 论和方法解决一些 实际问题的能力； 2.会用 mapreduce 分析实际问题，提高 分析与解决问题的 能力。1 .理解mapreduce执行原理；2 .理解map和reduce阶段;3 ,熟悉统计的原理；4 .熟悉单词统计原理并掌握英语单词 统计；5 .熟悉函数的使用和去重原理；6 .掌握分析年气象数据；7 .掌握mapreduce统计封装；8 .掌握mapreduce操作数据。1.通过本单元的 学习培养学生良 好的思想品德、心 理素质；2通过本
12、单元的学 习培养学生追求 真理、严谨求实的 科学态度和刻苦 钻研的作风。学习内容内容名称主要知识点MR2 Yarn数据流1. MapReduce英语单词频数与个数的统计；2. MapReduce分析年气象数据平均温度；3. MapReduce分析年气象数据最高温度和最低温度；4. MapReduce分析学生总成绩报表和各科平均成绩报表。MR2 Yarn 调优MapReduce统计封装。MR2 Yarn Shuffle1. MapReduce多条数据去重处理；2. MapReduce非结构日志文件处理。教学方法设计课堂教学采取分组教学。贯彻应用启发式、导入式及案例 分析的教学方法相结合的原那么；
13、本章内容兼顾深度和广度， 强调知识的系统性和基础性。表2课程总体设计学习单元名称子单元名称学习内容计划学时单兀1： Hadoop开 发基础Linux基础环境实验一：Linux设置静态IP地址14实验二：修改主机名和映射关系实验三：Linux常用命令实验四：配置本地yum源实验五：ssh免密码配置实验六：ssh服务管理实验七：NTP网络时间服务器Linux软件安装实验一：Linux系统安装MySQL数据库4实验二：Linux系统卸载MySQL数据库实验三：输入法拼音安装Hadoop基础环境实验一：Linux系统JDK的安装和配置28实验二：Linux 系统下 Hell eWorld实验三：had
14、oop单机分布式配置与测试实验四：hadoop伪分布式配置与测试实验五：hadoop完全分布式配置与测试单元2：分布式存 储HDFS开发基础HDFS shell 命令实验一：HDFS Shell基本命令操作（）8实验二：HDFS Shell基本命令操作（二）HDFS原理实验一：Hadoop的RPC机制实验二：验证DataNode存储的块信息HDFS API 操作头验：Linux下女装ecplise及创立hdfs工程12实验二：HDFS Java API操作-创立目录实验三：HDFS Java API操作-显示目录列表实验四：HDFS Java API操作-删除目录实验五：HDFS Java A
15、PI操作判断文件存在实验六：HDFS Java API操作目录和文件判断实验七：HDFS Java API操作重命名文件实验八：HDFS Java API操作-文件移动实验九：HDFS Java API操作-上传文件实验十：HDFS Java API操作下载文件实验十一：HDFS Java API操作-本地文件合并实睑十二：HDFS Java API操作追加内容单元3：分布式计 算MapReduce开发基础MR2. 0 Yarn 数据流头验：mapreduce央语单词频次统计26实验二：mapreduce英语单词个数统计实验三：mapreduce分析年气象数据平均温度实验四：mapreduce
16、分析年气象数据最高温度实验五：mapreduce分析年气象数据最低温度实验六：mapreduce学生总成绩报表实验七：mapreduce学生各科平均成绩报表MR2. 0 Yarn 调优头验：mapreducetopN 排名12实验二：mapreduce学生信息按年龄分区实验三：mapreduce 号码流量统计并分区MR2. 0 YarnShuffle实验：mapreduce多条数据去重处理8实验二：mapreduce非结构化日志文件处理4 .教学设计指对某一个具体学习情境的实施设计。根据课程目标和涵盖的工 作任务要求，按学习领域（或任务或工作工程等）顺序描述课程内容 及具体要求，说明学生获得的
17、知识、培养的能力与素质。表3学习单元设计表3-1学习单元1实施内容表（学习单元描述）学习单元1Hadoop开发基础参考学时：42学习任务任务名称学习内容Linux系统 配置ssh免 密码配置。1. Linux静态IP的设置以及主机名的设置；2. Linux的常用命令；3. 使用Linux系统配置ssh免密码配置；4. 在Linux系统上安装和卸载mysql的命令；5. Hadoop环境配置以及Linux系统JDK的安装；Hadoop集群 三种模式的 搭建与测试。1. Hadoop单分布式配置与测试；2. Hadoop伪分布式配置与测试；3. Hadoop完全分布式配置与测试。考核标准学习单元1
18、完成情况占期末总成绩的45%学习场所机房教学准备按学习单元1进行备课，写教案并准备PPTo准备Hadoop集群 的三种搭建模式，通过这三种集群模式的讲解操作，强化学生理 论应用于实践，为学习本课程打下一个良好的基础。表3-2学习单元2实施内容表（学习单元描述）学习单元2分布式存储HDFS开发基础参考学时：20学习任务任务名称学习内容HDFS原理以 及shell命 令。1. HDFS shell基本命令操作；2. Hadoop 的 RPC 机制；3. 验证DataNode存储的块信息。HDFS API 操 作。1. Linux下安装eclipse及创立hdfs工程；2. HDFS JAVA AP
19、I 操作。考核标准学习单元2完成情况占期末总成绩的20%学习场所机房教学准备按学习单元2进行备课，写教案并准备PPT。准备HDFS JAVA API 操作十个案例，通过这十个案例的操作和讲解，让学生熟练HDFS API操作。表3-3学习单元3实施内容表（学习单元描述）学习单元3分布式计算MapReduce开发基础参考学时：58学习任务任务名称学习内容MR2.0 Yarn 数据流1. MR2.0 Yarn数据流的操作;2. MapReduce分析年气象数据；3. MapReduce英语单词频数和个数的统计。MR2.0 Yarn 调优1. MapReduce统计封装；2. MR2. 0 Yarn
20、调优。MR2. 0 YarnShuffle1. MapReduce数据操作；2. MapReduce多条数据去重处理；3. MapReduce非结构化日志文件处理。考核标准学习单元3完成情况占期末总成绩的35%学习场所机房教学准备按学习单元3进行备课，写教案并准备PPT。本学习单元需要准 备十二个案例实际操作，这十二个案例讲解演示操作十个，其余 的七个案例根据学生对内容的实际掌握情况进行取舍。5 .课程考核(1)考核方式：总成绩为百分制；考核分为过程考核和期末考 核两局部，过程考核50%,期末考核50%o期末考核用大数据教学平 台进行机考，考试内容以操作题为主，客观题为辅；过程考核包括出 勤、学习态度和文档作业，其中出勤10分，学习态度考核20分，主 要以学生完成的工程作为衡量标准，文档作业20分。(2)考核标准：本课程的考核标准依据的是该课程标准的课程目标、教学内容和 要求，与本专业应用大数据技术的职业能力和大数据的研发、数据分 析和大数据运维工程师上岗条件相结合，与相对应的大数据分析工程 和Hadoop运维工程师职业资格证书相对接。6 .课程资源(1)硬件要求1.教学环境：