《《大数据技术基础》课程标准.docx》由会员分享，可在线阅读，更多相关《《大数据技术基础》课程标准.docx（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据技术基础课程标准【课程名称】【课程编码】【课程类别】专业基础课【适用专业】计算机相关专业【授课单位】【总学 时】32【教材】覃事刚、姚瑶、李奇，大数据技术基础（第2版）航空工业出版社，2021年11月【编写执笔人】【编写日期】一、课程定位和课程设计1.1 课程性质本课程是面向计算机相关专业的一门专业基础课，大数据技术入门课程，为学生搭建起 通往“大数据知识空间”的桥梁和纽带，以“构建知识体系、阐明基本原理，引导初步实践、 了解相关应用”为原则，为学生在大数据领域“深耕细作”奠定基础、指明方向。本课程将系统讲授大数据的基本概念、大数据处理架构Hadoop.数据采集与预处理、 网络爬虫技术、
2、分布式文件系统HDFS、数据仓库Hive、数据处理与分析，包括分布式并行 编程模型MapReduce,分布式资源管理器YARN,分布式协调服务ZooKeeper等，在基于内 存的大数据处理引擎Spark,数据可视化及可视化工具，大数据思维与安全，在每一章的课 后都安排了实践环节，让学生更好的学习和掌握大数据关键技术。1.2 课程设计思路本课程的设置是为了适应大数据时代对数据分析人才的迫切需求。课程目标定位在计算 机相关专业学生面临新时代就业形式下所要求掌握的基本技能。课程内容紧跟技术流行趋势, 选择最适合大数据分析领域的编程语言及相关生态环境。课程中的章节设置贴近现实工作需 要，章节设计面向实
3、战。在每个章节学习完成后，学生可以通过入门级实战项目应用所学知 识解决实际问题。二、课程目标1.3 识目标（1）理解大数据的概念和主要特征，了解大数据的发展现状与趋势。（2）熟悉Hadoop生态系统，了解Hadoop的三种运行模式。（3） 了解网络爬虫的概念、原理、分类及应用。熟悉国内比较常用的网络爬虫工具。（4） 了解HDFS的概念、运行机制和工作流程。了解HBase的概念、数据模型和工作 原理。了解Hive的概念、工作原理和执行流程。（5） 了解YARN的基本架构及组件，理解其工作流程。了解ZooKeeper的概念、应用 场景和集群总体架构。（6） 了解数据可视化及常用的数据可视化方法和工
4、具。（7） /解大数据思维的内涵。了解大数据面临的安全问题，以及大数据带来的伦理问 题。2 .能力目标学习大数据处理所需的各种软件包括Hadoop,网络爬虫，HDFS, YARN,可视化工具等 等，学习利用所学知识解决问题的能力3 .素质（思政）目标（1）理解大数据作为国家基础性战略资源的重要意义；（2）深刻理解企业坚持走自主创新路线、构建开源生态的重要意义，不断增强创新自 信；（3）感受大数据处理与分析技术在现代生产生活中的巨大作用和价值，不断增强创新 意识、合作意识、爱国主义情怀和民族自豪感；（4）提升自身的数据素养，让自己有能力阅读、利用、分析和质疑数据，做一个合格 的数据生产者和数据消
5、费者。三、课程内容与教学要求本课程内容分为8个章节，内容包括大数据的基本概念、大数据处理架构Hadoop、数 据采集与预处理、网络爬虫技术、分布式文件系统HDFS、数据仓库Hive、数据处理与分析， 包括分布式并行编程模型M叩Reduce,分布式资源管理器YARN,分布式协调服务ZooKeeper 等，在基于内存的大数据处理引擎Spark,数据可视化及可视化工具，大数据思维与安全， 其教学要求和课时分配如表1所示。表1大数据技术基础课程要求及课时分配表序号课程名称教学内容教学要求课时分配1大数据概述（1）大数据的概念和 特征（2）大数据的处理流 程（3）大数据平台架构 和集群（4）大数据的行业
6、应 用（5）大数据与其他新 兴技术的关系（1）理解大数据的概念和 主要特征（2） 了解我国的大数据发 展战略，理解大数据的处理 流程和关键技术（3） 了解大数据平台架构 的组成和大数据集群（4） 了解大数据的典型行 业应用，以及大数据与其他 新兴技术的关系42大数据处理平台Hadoop（1） Hadoop及其生 态系统（2） Hadoop的运行 模式（1） 了解Hadoop的概念、 特性和发展历程（2）熟悉Hadoop生态系统（3）了解Hadoop的三种运4(3)安装部署Hadoop集群行模式(4)熟悉Hadoop的集群环 境准备工作3数据采集与预处理(1)数据采集(2)网络爬虫技术(3)数据
7、预处理(1)了解数据的主要来源 和常用的数据采集方法(2) 了解常用的日志采集 系统和ETL工具(3)了解分布式发布与订 阅消息系统Kafka(4) 了解网络爬虫的概念、 原理、分类及应用。(5)熟悉国内比较常用的 网络爬虫工具(6) 了解数据预处理的概 念和基本过程(7) 了解数据脱敏的概念、 原则和方法44数据存储与管理(1)数据存储与管理 概述(2)分布式文件系统HDFS(3)分布式数据库HBase(4)数据仓库Hive(1)理解大数据的数据类 型，熟悉数据管理技术的发 展历程(2) 了解NoSQL数据库、 NewSQL数据库、云存储和 云数据库(3) 了解HDFS的概念、运 行机制和工
8、作流程(4) 了解HBase的概念、 数据模型和工作原理。(5) 了解Hive的概念、工 作原理和执行流程45数据处理与分析(1)大数据计算模式(2)分布式并行编程 模型 MapReduce(3)分布式资源管理 器 YARN(4)分布式协调服务ZooKeeper(5)基于内存的大数 据处理引擎Spark(1)了解常见的大数据计 算模式。(2 )理解MapReduce的概 念和工作流程。(3) 了解YARN的基本架构 及组件，理解其工作流程。(4) 了解 ZooKeeper 的概 念、应用场景和集群总体架 构。(5)了解Spark的概念和主 要组件。(6)理解Spark的运行架构 和工作流程66
9、数据可视化(1)数据可视化概述(2)数据可视化方法(1)理解数据可视化的概 念和实施过程。4（3）数据可视化工具（2） 了解数据可视化的主 要途径。（3）了解大屏数据可视化 的概念和应用场景。（4） 了解数据可视化的意 义与作用。（5） 了解数据可视化的特 征与未来趋势。（6） 了解常用的数据可视 化方法和工具7大数据思维与安 全（1）大数据思维（2）大数据安全（3）数据开放共享（1）了解大数据思维的内 涵。（2） 了解大数据面临的安 全问题，以及大数据带来的 伦理问题。（3） 了解我国的大数据安 全治理现状和策略，以及数 据开放共享的现实意义、挑 战和对策。28城市空气质量大 数据分析实战（
10、1）案例简介（2）准备数据（3）分析数据（4）数据可视化（1）理解本案例的基本原 理和实现过程。（2）弄清计算空气质量分 指数的技术细节。（3）加深对MapReduce等 技术或工具的理解。4合计32四、课程实施4.1 教学条件我校十分注重建设和完善本课程的教学设施，如多媒体教室、机房、网络教学平台、网 络数据库等。同时，我校有一支强大的师资队伍，可以为本课程的教学出谋划策。4.2 教学方法建议本课程遵循“教师引导，学生为主”的原则，采用讲解、多媒体演示、场景模拟法、讨 论、翻转课堂等多种方法，努力为学生创设更多知识应用的机会。（D讲解法：主要用于讲授基础知识、行业岗位知识等理论性较强的知识。
11、（2）多媒体演示法：在讲解过程中，借助音频、视频、图片等直观手段来呈现教学内 容，在激发其学习兴趣和积极性的同时，不断提高其知识储备能力和综合文化素质。（3）场景模拟法：针对所教内容布置任务，引导学生通过情景化的模拟训练来提升知 识的实际应用能力和职业素养。（4）讨论法：根据知识点，鼓励学生运用所学知识进行主题讨论，使其在讨论中逐步 提升交际能力、思辨能力、解决实际问题的能力等。（5）翻转课堂法：坚持学生的主体地位，鼓励学生在课上对自己学到的知识点进行分 享和讲解，并对其讲解进行补充和评价，不断完善学生的知识结构，加深其对所学知识的理 解。（6）任务驱动法：以一个学习任务为主题，学生在完成学习
12、任务的过程中，学习知识 点，并运用知识点解决问题。教师在教学过程中，可根据学生的实际情况灵活选用教学方法，因材施教，尽量照顾到 每一个学生的学习需求。4.3 教学评价与考核要求课程的教学评价由形成性测评（40%）和终结性测评（60%）组成，其考核要求如下：1 .形成性测评形成性测评考核学生在学习本课程过程中的学习情况和实际应用能力的发展情况，包括 出勤考核（10%）、课堂参与程度考核（10%）、作业完成质量考核（20%）等。（1）出勤考核：本项考核通过课前点名考核学生的课堂出勤率。迟到15分钟以内每次 扣I分，迟到15分钟以上或无故缺勤一节课每次扣2分，该项考核累计最多扣1（）分。（2）课堂参
13、与程度考核：本项考核主要通过课堂提问和课堂积极发言来评判学生的学 习态度、学习主动性、课堂参与程度，以及学生的思辨能力、问题解决能力及其对课堂教学 知识的掌握情况等。只要学生能按时上课听讲，即可获得5分的基本分。学生上课发言一次， 即可另外获得0.5分，课堂发言最多可得5分。学生的最后成绩为“5+课堂发言得分”。（3）作业完成质量考核：本项考核主要通过学生作业来检测其对教学主体内容的掌握 与理解程度、实际应用知识的能力、自主学习能力、信息收集与处理能力等。每次作业成绩 按照相应标准而定，学生作业质量划分为优秀（10分）、良好（8分）、中等（7分）、及格 （6分）和不及格（0分）五个档次。最后的作业成绩为学生作业完成质量成绩的平均数。2 .终结性测评终结性测评主要考核学生在学完本课程后所达到的水平，通过期末考试进行考核。期末 考试由闭卷笔试（60%）组成，主要评估学生对本门课程基本知识的掌握情况与综合运用能 力。五、课程资源开发与利用5.1教材使用1 .建议教材覃事刚、姚瑶、李奇，大数据技术基础（第2版）航空工业出版社，2021年11月。2 .参考书目康开锋、赵克宝、刘斌，Hadoop大数据处理实战，上海交大出版社，2020年8月。赵守香、唐胡鑫、熊海涛，大数据分析与应用，航空工业出版社，2015年12月。