《大数据平台技术实例教程——教学大纲.docx》由会员分享，可在线阅读，更多相关《大数据平台技术实例教程——教学大纲.docx（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据平台技术实例教程教学大纲一、课程信息课程名称：大数据平台技术实例教程课程类别：素质选修课/专业基础课课程性质：选修/必修计划学时：64计划学分：4先修课程：无选用教材：大数据平台技术实例教程，郑啸、李乔主编，2022年，电子工业出版社 教材。适用专业：本课程可作为高等学校数据科学与大数据技术、计算机科学与技术、人工智 能等理工类专业大数据平台技术的课程，也可供广大计算机爱好者及软件开发人员参考。课程负责人：二、课程简介该课程通过大量实例介绍大数据平台技术，分4篇：大数据存储篇包括第13章，内容 包括大数据技术概述、数据采集和大数据、大数据框架的安装和配置;大数据管理篇包括第 47章，内容
2、包括HDFS、Hadoop分布式计算模型、分布式协调服务ZooKeeper、Hadoop的 集群资源管理系统YARN;大数据分析篇包括第810章，内容包括数据库MySQL和数据仓 库HiveNoSQL数据库HBase、基于内存的分布式计算框架Spark;大数据应用篇包括第11 12章，内容包括数据可视化、大数据应用综合案例。三、课程教学要求序号专业毕业要求课程教学要求关联程度1工程知识在大数据存储篇中，第1章介绍大数据的基本概念和应 用领域，阐述大数据、云计算和物联网的关系;第2章介 绍数据采集、预处理过程、Python语言及开发环境;第3 章介绍大数据处理架构Hadoop,并补充介绍Linu
3、x的基 本使用方法。在大数据管理篇中，第4章介绍HDFS;第5章介绍 Hadoop完全分布式的搭建过程和MapReduce的使用;第 6章介绍分布式协调服务ZooKeeper;第7章介绍Hadoop 的集群资源管理系统YARNo在大数据分析篇中，第8章介绍传统数据库MySQL和数 据仓库Hive;第9章介绍NoSQL数据库HBase;第10章 介绍基于内存的分布式计算框架Sparko在大数据应用篇中，第11章介绍基于Python的可视化技 术;第12章综合之前介绍的所有技术，完成一个综合案L例。2问题分析近些年，大数据技术迅猛发展，改变了人们的工作、生 产、生活方式。国内外学术界和产业界对此都
4、高度重视， 希望新技术带来应用场景的改变与生产效率的提高。Hadoop ZooKeeper HBase Hive Spark 等新技术 日新月异，大量的相关从业者希望跟上新技术的发展。然而，H3设计/开发解决方案本课程尽量简化学生学习难度，以Python和Java为主。 以程序案例为主导，在案例深化中逐步引出知识点，形 成清晰的主线，引导学生自主思考并逐步掌握大数据各 层次框架的作用和使用方法，每章结束后还有对应的实 践操作，让学生在操作中理解和掌握大数据平台技术， 避免强行灌输知识点，从而拓宽读者的计算思维。H4研究L5使用现代工具L6工程与社会学生能够意识到大数据技术发展的重要性，不仅要有
5、良 好的思想道德素质、科学文化素质、专业技能和健康的 身体，而且要有良好的心理素质，勇于承担责任，能够 承受失败与挫折等。L7环境和可持续发展L8职业规范L9个人和团队1 .学会个人发展和团队合作，提高个人和团队的综合素 质。2 .学会与他人合作和沟通，建立良好的人际关系和团 队合作氛围。H10沟通1 .学会进行有效的沟通和表达，与客户、同事和上级保 持良好的沟通和协作。2 .学会进行跨文化沟通和合作，提高国际化视野和跨 文化交流能力。M11项目管理L12终身学习1 .学会进行自我学习和自我提升，不断提高自身的专 业水平和创新能力。2 .学会进行终身学习和职业发展规划，不断拓展职业 领域和发展
6、空间。H注：“课程教学要求”栏中内容为针对该课程适用专业的专业毕业要求与相关教学要求的具 体描述。“关联程度”栏中字母表示二者关联程度。关联程度按高关联、中关联、低关联三 档分别表示为“H” 或L”。“课程教学要求”及“关联程度”中的空白栏表示该课程 与所对应的专业毕业要求条目不相关。章节名称主要内容重难点关键词学时类型1大数据技术概 述大数据源起和应用 大数据技术框架 大数据就业岗位 大数据的特点 大数据的深远影响 大数据的意义和发展 目标大数据与云计算、物 联网、人工智能的关 系了解大数据的特点及其在各 行业的应用；了解大数据与云计算、物联 网、人工智能的关系；了解大数据的技术框架、特占八
7、、9了解大数据的就业岗位；了解大数据的深远影响。3理论+ 实操2数据采集和大 数据数据采集和ETL 网络爬虫Python常用开发工具 简介Python语言简介 基于Python的网络 爬虫应用实例了解大数据采集和ETL概念； 理解网络爬虫原理； 掌握Python语言； 熟悉Python集成开发环境； 了解与大数据技术有关的 Python 库。5理论+ 实操3大数据框架的 安装和配置大数据框架配置环境 Linux操作系统介绍 Linux终端常见命令 虚拟机的使用 远程登录工具配置 Hadoop伪分布式安装 和使用了解Linux操作系统； 掌握虚拟机的使用； 掌握Linux终端常见命令； 掌握Ha
8、doop伪分布式安装过 程；掌握远程登录工具。7理论+ 实操4HDFS引言HDFS基础知识HDFS的常用Shell命 令Hadoop 中 HDFS 的 Web 管理界面基于Java API的 HDFS操作了解HDFS的运行模式；掌握HDFS的特点和优缺点； 理解HDFS的读写文件流程； 掌握基于Shell的HDFS操作 以及基于Java API的HDFS 操作。4理论+ 实操5Hadoop分布 式计算模型完全分布式环境配置 完全分布式配置步骤 MapReduce计算模型 Mapper-Reducer 实例了解Hadoop完全分布式各节 点的部署步骤；了解Hadoop分布式和伪分布 式的区别；理
9、解MapReduce编程模型原 理；掌握如何使用Eclipse编写 MapReduce实例过程。3理论+ 实操U!、课程教学内容6分布式协调服 务 ZooKeeper高可靠性大数据框架 配置ZooKeeper 简介ZooKeeper的常用命 令ZooKeeper的安装与 运行掌握ZooKeeper的基本概念； 掌握ZooKeeper的安装与运 行；理解ZooKeeper和其他大数 据框架的关系。2理论+ 实操7Hadoop的集 群资源管理系 统 YARNHadoop资源管理配置YARN简介YARN的工作流程YARN的安装与运行理解YARN的基本使用和基 本架构；掌握YARN的环境搭建； 掌握Y
10、ARN的工作流程。2理论+ 实操8数据库MySQL 和数据仓库 Hive基于Hive的大数据 分析配置Hive的意义和应用 Hive和数据库的异 同Hive的架构模式及 其执行MySQL的安装和使用Hive的安装Hive表的操作 典型内置函数与自定 义函数理解MySQL数据库的配置和 使用；掌握Hive的应用和运行架 构及执行原理；理解Hive的安装过程； 了解内部表、外部表及区 另限掌握Hive的HQL分析语句 以及数据库和数据仓库的异 同。8理论+ 实操9NoSQL数据库 HBase大数据框架的数据库 存储配置NoSQL概念和分类HBase数据库HBase的安装HBase 的 Shell
11、操作基于Java API访问HBase实例HBase综合实例掌握NoSQL数据库的分类与 应用；了解关系型数据库和非关系 型数据库的区别；掌握HBase数据模型及执行 原理，HBase体系架构的组 件；理解HBase的Shell操作， 以及通过JavaAPI访问 HBase的实例。7理论+ 实操10基于内存的分 布式计算框架 Spark基于Spark的大数据 分析框架配置Spark基础知识 Spark的安装和使用 Spark的常用操作 Spark SQL的应用 Spark综合应用实例 Spark的机器学习掌握Spark和Hadoop框架 的区别及特点；理解Spark对RDD和DataFrame
12、 的操作；了解SparkSQL的使用方法；了解Spark MLlib库中机器 学习的使用方法；掌握机器学习中编程的主要 步骤和过程；了解PySpark开发环境。10理论+ 实操11数据可视化可视化分析展示配 置数据可视化概述 数据可视化绘图 综合实例一雪尾花 数据集的可视化分 析了解如何用可视化工具或语 言绘制数据分析结果。5理论+ 实操12大数据应用 综合案例医疗大数据应用框 架配置案例概述准备数据和开发环 境配置数据探索性分析数据迁移数据预处理数据建模与训练 模型评估了解大数据案例开发的过 程；理解各种大数据技术框架的 关系；掌握基于PySpark接口的大 数据搭建环境；了解物联网、大数据
13、、云计 算、人工智能的关系； 掌握性能评价指标对建模的 参考依据以及大数据应用对 未来社会发展趋势的影响。8理论+ 实操五、考核要求及成绩评定序号成绩类别考核方式考核要求权重(%)备注1期末成绩期末考试考试50百分制，60分为及格2平时成绩课后作业12次40优、良、中、及格、不及格3平时表现出勤情况1()两次未参加课程则无法获得学分注：此表中内容为该课程的全部考核方式及其相关信息。六、学生学习建议(-)学习方法建议1 .通过开展课堂讨论、实践活动，增强的团队交流能力，学会如何与他人合作、沟通、 协调等等。2 .通过思考，加深自己的兴趣，巩固知识点。3 .进行练习和实践，提高自己的技能和应用能力，加深对知识的理解和记忆。(二)学生课外阅读参考资料大数据平台技术实例教程，郑啸、李乔主编，2022年，电子工业出版社教材。七、课程改革与建设本课程注重解决问题的方法引导，理论联系实际，突出计算思维的培养。宏观上，以大 数据框架从底层到上层的学习为主线;微观上，以每个层次中框架组件学习为基础，以“数 据”为线索，附大量的实验环境操作，便于快速提高学生对大数据知识点的把握。平时对学生的考核内容包括出勤情况、学生的课后作业、课堂讨论等方面，占期末总评 的50%。期末考试成绩占期末总评的50%。制订人 签字：教研室主 任签字：院部负责人 签字：修订时 间：年月日