《大数据技术与应用基础教学大纲.doc》由会员分享，可在线阅读，更多相关《大数据技术与应用基础教学大纲.doc（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据技术与应用基础大数据技术与应用基础教学大纲教学大纲学学 时：时：60代代 码：码：适用专业：适用专业：制制 定：定： 审审 核：核：批批 准：准： 一、课程的地位、性质和任务一、课程的地位、性质和任务大数据技术的发展，已被列为国家重大发展战略。而在过去的几年里，无论是聚焦大数据发展的促进大数据发展行动纲要 ，还是“十三五”规划中都深刻体现了政府对大数据产业和应用发展的重视。目前国内大数据发展还处于加速期、转型期，数据与传统产业的融合还处于起步阶段，各行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧，各行业对大数据技术研究的热情越来越高，在未来几年，各领域的数据分析都将大规模应用
2、。本课程在注重大数据时代应用环境前提下，考虑大数据处理分析需求多样复杂的基本情况，从初学者角度出发，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具。考虑到当前大数据发展处于起步并逐步赶超先进的阶段，其应用领域丰富广泛，在教学过程中应注重掌握大数据分析的实践操作。本课程通过丰富简单易上手的实例，让学生能够切实体会和掌握各种类型工具的特点和应用。二、课程教学基本要求二、课程教学基本要求1. 了解大数据的发展和基本概念，理解并掌握大数据的特征及主要技术层面。2. 掌握 Scrapy 环境的搭建，了解网络爬虫获取数据的过程，熟悉爬虫项目的创建。3. 深刻了解 hadoop 的基
3、础理论，理解并掌握 Hadoop 单机及集群环境的部署方法。4. 掌握 HDFS 的基本概念和 HDFS 在 hadoop 中的作用，理解并识记 HDFS 的使用，了解 HDFS的 JAVA API 接口及数据流原理；让学生明白 Map 过程与 Reduce 过程这两个独立部分各自的原理及合作途径，知道如何独立编写满足自己需求的 MapReduce 程序。5. 理解 HBase 中涉及的基本概念，掌握 HBase 的简单应用；让学生了解数据仓库的基础概念，熟悉 Hive 与 HDFS、MapReduce 直接的关心。6. 熟悉 Spark 和 RDD 的基本概念，熟悉 spark 接口的使用，
4、解决实战时的步骤及思路。7. 明白 Hadoop 和 Storm 之间的差别，掌握对 Storm 的使用。理解 Apex 的工作过程并能简单应用。8. 了解 Druid 的基本概念、应用场景以及集群架构，掌握批量数据加载、流数据加载的操作。了解 Flink 的重要概念和基本架构，掌握 Flink 简单的使用实例。9. 理解 Elasticsearch 的基本架构，掌握 Elasticsearch 的一些入门操作。了解并基本掌握怎样利用所学的工具对目标实例进行数据分析。三、课程的内容三、课程的内容1 1大数据概述大数据概述了解大数据的产生和发展，识记大数据的特征、数据类型和系统，大数据的计算模式
5、和技术层面间的关联。2 2数据获取数据获取识记基本概念，识记各功能应怎样用 Scrapy 爬虫实现，了解采集目标数据项定义，领会并掌握爬虫运行和数据存储技术。3 3HadoopHadoop 基础基础领会 Hadoop 的主要特点，识记 Hadoop HDFS、Hadoop MapReduce、Hadoop YARN 的原理，了解其生态系统中重要组成的原理，熟悉 Hadoop 的配置。4 4HDFSHDFS 基本应用基本应用 熟悉 HDFS 所需的 API 接口，了解数据流的工作过程，能简单操作 HDFS 的接口。 5 5MapReduceMapReduce 应用开发应用开发了解所需的开发环境
6、eclipse，领会 Map 过程与 Reduce 过程的工作原理，了解使用 mapreduce解决实际问题时的步骤和思路，识记 MapReduce 代码的不同功能。6 6分布式数据库分布式数据库 HBaseHBase 识记 HBase 的基本概念，熟悉安装 HBase 集群的步骤，了解 HBaseAPI 的基本步骤。7 7数据仓库工具数据仓库工具 HiveHive 领会 Hive 的作用，掌握 Hive 接口的使用，会利用 Hive 解决实战问题。8 8开源集群计算环境开源集群计算环境 SparkSpark 了解 Spark 的基本思想，熟悉 Spark 所需的环境及 API 等，熟悉 Sp
7、ark 实战的完整工作过程，领会其所需的代码。9 9流实时处理系统流实时处理系统 StormStorm 识记 Storm 相关概念，掌握 Storm 环境的安装配置，了解 Storm 的基本使用1010企业级、大数据流处理企业级、大数据流处理 ApexApex 识记 Apex 的基本概念，掌握 Apex 的环境配置过程，理解常见组件的原理和特点，会简单的应用 Apex 解决问题。1111事件流事件流 OLAPOLAP 之之 DruidDruid 了解 Druid 的概念及其应用场所，掌握 Druid 单机环境的安装方法和步骤，并能利用 Druid 进行加载流数据处理数据查询等。1212事件数据
8、流引擎事件数据流引擎 FlinkFlink 识记 Flink 的基本概念，明白 Flink 的基本架构，能够安装 Flink 的单机和集群环境。1313分布式文件搜索分布式文件搜索 ElasticsearchElasticsearch 了解 Elasticsearch 包含重要部分的基本概念，掌握 Elasticsearch 重要的安装过程，掌握简单的操作。1414实例电商数据分析实例电商数据分析能够通过已经学习了解过的环境和工具等，有条理有步骤的对实例进行数据挖掘、数据处理和数据分析等，进而得出相关的结论。四、课程的重点、难点四、课程的重点、难点1 1大数据概述大数据概述重点：大数据的概念和
9、特征。难点：大数据的计算模式和技术层面间的关联。2 2数据获取数据获取重点：Scrapy 环境的搭建。难点：网络爬虫获取数据的过程。3 3HadoopHadoop 基础基础重点：Hadoop 的基础理论及安装。难点：Hadoop 单机及集群环境的部署方法。4 4HDFSHDFS 基本应用基本应用重点：掌握 HDFS 的两种使用方法。 5 5MapReduceMapReduce 应用开发应用开发重点：明白 Map 过程与 Reduce 过程的原理。难点：独立编写满足自己需求的 MapReduce 程序。6 6分布式数据库分布式数据库 HBaseHBase 重点：HBase 所包含的 3 个重要组
10、件的工作方式。难点：如何通过 HBase shell 和 HBase API 访问 HBase。7 7数据仓库工具数据仓库工具 HiveHive 重点：熟悉简单的 Hive 命令。8 8开源集群计算环境开源集群计算环境 SparkSpark 重点：理解 Spark 的工作机制。难点：解决实战时的步骤及思路。9 9流实时处理系统流实时处理系统 StormStorm 重点：Storm 的实时处理。难点：利用 Storm 的特点对数据进行合适的处理。1010企业级、大数据流处理企业级、大数据流处理 ApexApex 重点：Apex 的流处理功能。1111事件流事件流 OLAPOLAP 之之 Drui
11、dDruid 重点：使用 Druid 进行加载和查询数据。1212事件数据流引擎事件数据流引擎 FlinkFlink 重点：明白 Flink 的基本架构。难点：Flink 系统中进程间处理信息的原理。1313分布式文件搜索分布式文件搜索 ElasticsearchElasticsearch重点：Elasticsearch 的基本架构。1414实例电商数据分析实例电商数据分析难点：怎样利用所学的工具对目标实例进行数据分析。五、课时分配表五、课时分配表序号序号课程内容课程内容总学时总学时讲课讲课实验实验习题课习题课机动机动1大数据概述2222数据获取4223Hadoop 基础4224HDFS 基本
12、应用4225MapReduce 应用开发6426分布式数据库 HBase4227数据仓库工具 Hive4228 开源集群计算环境 Spark8449流实时处理系统 Storm42210企业级、大数据流处理 Apex42211事件流 OLAP 之 Druid42212事件数据流引擎 Flink42213分布式文件搜索Elasticsearch42214实例电商数据分析422合计603228六、实验项目及基本要求六、实验项目及基本要求实验一 通过爬虫获取数据要求：能安装爬虫所需环境，创建简单的爬虫项目。成功完成爬虫核心实现。实验二 Hadoop 安装与配置要求：Hadoop 单机和集群模式的配置。
13、实验三 实战 HDFS 的接口要求：能自主操作 Java 和命令行接口。实验四 编写简单的 Mapreduce 程序要求：完成 MapReduce 所需环境的配置，完成 Mapreduce 应用实例实验五 分布式数据库 HBase要求：安装 HBase 集群模式，能简单使用 HBase shell 和 Hbase API。实验六 Hive 的使用要求：会进行简单的 Hive 命令使用，熟悉 Hive 的复杂语句。实验七 Spark 简单编程与聚类实战 要求：了解 Spark 简单的 RDD 创建，了解各个实战的编程实现及解决过程。实验八 Storm 安装与配置要求：了解 Storm 的概念及原
14、理，了解 Storm 的安装和基本使用。实验九 Spark 的使用和配置要求：掌握 Apex 的使用，了解 Apex 的基本配置。实验十 Druid 环境配置要求：了解 Druid 的概念和使用，理解 Druid 的作用。实验十 事件数据流引擎 Flink 的使用要求：了解 Flink 的概念和部署过程，理解 Flink 的使用。七、考核办法七、考核办法1考试采用统一命题，闭卷考试，考试时间为 120 分钟。2本大纲各部分所规定基本要求、知识点及知识点下的知识细目，都属于考核的内容。考试命题覆盖到各部分，并适当突出重点部分，加大重点内容的覆盖密度。3不同能力层次要求的分数比例大致为：识记占 2
15、0%，领会占 30%，简单应用占 30%，综合应用占 20%4题的难度可分为易、较易、较难和难四个等级。试卷中不同难度试题的分数比例一般为2:3:3:25试题主要题型有：填空、单项选择、多选、简答、及综合应用等。八、使用说明八、使用说明在本课程学习中，应从“了解” 、 “识记” 、 “领会” 、 “简单应用” 、 “综合应用”五个能力层次去把握：1. 了解：要求概念的基本掌握，是最基本要求。2. 识记：要求能够识别和记忆本课程有关知识点的主要内容，并能够做出正确的表达、选择和判断。3. 领会：在识记的基础上，要求能够领悟和理解本课程中有关知识点的内涵与外延，熟悉其内容要点和它们之间的区别与联系。并能够根据考核的不同要求，做出正确的解释、说明和论述。4. 简单应用：在领会的基础上，要求能够运用本课程中少量知识点，分析和解决一般的应用问题。5. 综合应用：在简单应用的基础上，要求能够运用本课程中多个知识点，综合分析和解决复杂的应用问题。 九、教材及参考书九、教材及参考书大数据技术与应用基础 人民邮电出版社 陈志德主编 2017.1