《数据仓库与数据挖掘第1章[1].ppt》由会员分享，可在线阅读，更多相关《数据仓库与数据挖掘第1章[1].ppt（64页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、PPT PPT 文档演模板 文档演模板 Office Office PPT PPT数据仓库与数据挖掘第1章2023/5/19 数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT数据挖掘的应用 人文地理数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT数据挖掘的应用 娱乐传媒数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT数据挖掘的应用 智慧城市数据仓库与数据挖掘第1 章1数据挖掘的应用 商业零售数据仓库与数据挖掘第
2、1 章1数据挖掘的应用 W eb 推荐数据仓库与数据挖掘第1 章1数据挖掘的应用 体育竞技VS数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT数据挖掘的应用 大数据应用信息安全舆情分析能效优化数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT商务智能与数据挖掘工具数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT商务智能与数据挖掘工具数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office
3、Office PPT PPT商务智能与数据挖掘工具数据仓库与数据挖掘第1 章1商务智能与数据挖掘功能计划 预测 预测 预算 实际 分 析 没有绝对正确的答案 依靠分析 众多的预测方案 灵活的要求 核心：数据数据仓库与数据挖掘第1 章1参参 考考 书书 目目1.1.1.数据挖掘概念与技术数据挖掘概念与技术数据挖掘概念与技术,Jiawei Han Micheline,Jiawei Han Micheline,Jiawei Han Micheline Kamber Kamber Kamber 著，范著，范著，范 明、孟小峰等译，明、孟小峰等译，明、孟小峰等译，机械工业出版社出版机械工业出版社出版机械
4、工业出版社出版2.2.2.数据仓库数据仓库数据仓库，W.H.Inmon W.H.Inmon W.H.Inmon 著，王志海等译著，王志海等译著，王志海等译，机械工业机械工业机械工业出版社出版出版社出版出版社出版3.3.3.数据仓库技术与联机分析处理数据仓库技术与联机分析处理数据仓库技术与联机分析处理，王，王，王 珊等编著，科学出珊等编著，科学出珊等编著，科学出版社出版版社出版版社出版4.4.4.数据挖掘实践数据挖掘实践数据挖掘实践，Olivia Parr Rud Olivia Parr Rud Olivia Parr Rud 著，朱扬勇、著，朱扬勇、著，朱扬勇、左子叶左子叶左子叶等译，机械工业
5、出版社出版等译，机械工业出版社出版等译，机械工业出版社出版数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT数据仓库以及数据挖掘是目前数据库领域最为活跃的一个方数据仓库以及数据挖掘是目前数据库领域最为活跃的一个方数据仓库以及数据挖掘是目前数据库领域最为活跃的一个方面，受到学术界与产业界的广泛关注。典型应用环境如面，受到学术界与产业界的广泛关注。典型应用环境如面，受到学术界与产业界的广泛关注。典型应用环境如DSSDSSDSS，EISEISEIS，ERPERPERP。大型数据库的数据仓库解决方案有：。大型数据库的数据仓库解决方案有：。大型
6、数据库的数据仓库解决方案有：Informix MetaCubeInformix MetaCubeInformix MetaCube Oracle Express Oracle Express Oracle Express Sybase QuickStart DataMart Sybase QuickStart DataMart Sybase QuickStart DataMart DB2 Data Warehouse Manager DB2 Data Warehouse Manager DB2 Data Warehouse Manager SQL Server Analysis service
7、s SQL Server Analysis services SQL Server Analysis services NCR Teradata WarehouseNCR Teradata WarehouseNCR Teradata Warehouse对各类海量数据需要自动分析、分类、汇总、发现和描述数对各类海量数据需要自动分析、分类、汇总、发现和描述数对各类海量数据需要自动分析、分类、汇总、发现和描述数据蕴涵的趋势、标记异常等据蕴涵的趋势、标记异常等据蕴涵的趋势、标记异常等课程简介课程简介数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT
8、PPT 各类管理人员需要从大量复杂的业务数据中获取各自权限各类管理人员需要从大量复杂的业务数据中获取各自权限各类管理人员需要从大量复杂的业务数据中获取各自权限内的决策信息，及时把握市场变化脉搏，作出正确有效的内的决策信息，及时把握市场变化脉搏，作出正确有效的内的决策信息，及时把握市场变化脉搏，作出正确有效的判断与抉择判断与抉择判断与抉择 随着数据库系统的逐日运行，数据将堆积越来越庞大随着数据库系统的逐日运行，数据将堆积越来越庞大随着数据库系统的逐日运行，数据将堆积越来越庞大 数据处理的重点需要从传统业务扩展到业务数据的联机分数据处理的重点需要从传统业务扩展到业务数据的联机分数据处理的重点需要从
9、传统业务扩展到业务数据的联机分析处理，并得到面向各种管理主题的统计信息和决策支持析处理，并得到面向各种管理主题的统计信息和决策支持析处理，并得到面向各种管理主题的统计信息和决策支持信息信息信息 数据仓库是基于大规模数据库的数据仓库是基于大规模数据库的数据仓库是基于大规模数据库的DSSDSSDSS环境的核心环境的核心环境的核心课程简介课程简介数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT 数据仓库的基本概念数据仓库的基本概念数据仓库的基本概念 多维数据模型多维数据模型多维数据模型 数据仓库的系统结构数据仓库的系统结构数据仓库的系统结
10、构 数据仓库的实现数据仓库的实现数据仓库的实现 基于数据仓库的数据挖掘基于数据仓库的数据挖掘基于数据仓库的数据挖掘课程简介课程简介数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT数据挖掘通常称为数据库中的数据挖掘通常称为数据库中的数据挖掘通常称为数据库中的知识发现知识发现知识发现（KDDKDDKDD），是自动），是自动），是自动的或方便的模式提取，这些的或方便的模式提取，这些的或方便的模式提取，这些模式模式模式代表隐藏在大型数据库、代表隐藏在大型数据库、代表隐藏在大型数据库、数据仓库或其他大量信息存储中的知识数据仓库或其他大量信息存
11、储中的知识数据仓库或其他大量信息存储中的知识涉及的学科有：数据库技术、人工智能、机器学习、神经涉及的学科有：数据库技术、人工智能、机器学习、神经涉及的学科有：数据库技术、人工智能、机器学习、神经网络、统计学、模式识别、知识库、知识获取、信息检索、网络、统计学、模式识别、知识库、知识获取、信息检索、网络、统计学、模式识别、知识库、知识获取、信息检索、高性能计算和数据可视化高性能计算和数据可视化高性能计算和数据可视化课程简介课程简介数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT数据挖掘的概念数据挖掘的概念数据挖掘的概念数据挖掘的功能数
12、据挖掘的功能数据挖掘的功能数据挖掘的分类与主要问题数据挖掘的分类与主要问题数据挖掘的分类与主要问题数据挖掘系统的结构数据挖掘系统的结构数据挖掘系统的结构挖掘大型数据库中的关联规则挖掘大型数据库中的关联规则挖掘大型数据库中的关联规则分类与预测分类与预测分类与预测聚类分析聚类分析聚类分析复杂类型的数据挖掘复杂类型的数据挖掘复杂类型的数据挖掘数据仓库与数据挖掘的应用与发展趋势数据仓库与数据挖掘的应用与发展趋势数据仓库与数据挖掘的应用与发展趋势课程简介课程简介数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT一、数据仓库与数据挖掘概述一、数据
13、仓库与数据挖掘概述一、数据仓库与数据挖掘概述二、数据仓库的二、数据仓库的二、数据仓库的OLAPOLAPOLAP技术技术技术三、数据预处理三、数据预处理三、数据预处理四、数据挖掘的系统结构四、数据挖掘的系统结构四、数据挖掘的系统结构五、挖掘大型数据库中的关联规则五、挖掘大型数据库中的关联规则五、挖掘大型数据库中的关联规则六、分类与预测六、分类与预测六、分类与预测七、聚类分析七、聚类分析七、聚类分析八、复杂类型的数据挖掘八、复杂类型的数据挖掘八、复杂类型的数据挖掘九、数据仓库与数据挖掘的应用与发展趋势九、数据仓库与数据挖掘的应用与发展趋势九、数据仓库与数据挖掘的应用与发展趋势课程结构课程结构数据仓
14、库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT111.什么是数据仓库什么是数据仓库什么是数据仓库222.什么是数据挖掘什么是数据挖掘什么是数据挖掘333.数据挖掘的功能数据挖掘的功能数据挖掘的功能444.数据挖掘的分类数据挖掘的分类数据挖掘的分类555.数据挖掘的主要问题数据挖掘的主要问题数据挖掘的主要问题第一章第一章 数据仓库与数据挖掘概述数据仓库与数据挖掘概述数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库111.数据仓库的产生数
15、据仓库的产生数据仓库的产生当前的数据处理与数据分为两类：当前的数据处理与数据分为两类：当前的数据处理与数据分为两类：vvv 操作型处理与数据操作型处理与数据操作型处理与数据vvv 分析型或信息型处理与数据分析型或信息型处理与数据分析型或信息型处理与数据数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库111.数据仓库的产生数据仓库的产生数据仓库的产生操作型处理：又称事务处理，是指对数据库联机的日常操作型处理：又称事务处理，是指对数据库联机的日常操作型处理：又称事务处理，是指对数据库联机的日常操
16、作，通常是对一个或一组记录的查询和修改，主要为操作，通常是对一个或一组记录的查询和修改，主要为操作，通常是对一个或一组记录的查询和修改，主要为企业的特定应用服务，所关心的是响应时间，数据的安企业的特定应用服务，所关心的是响应时间，数据的安企业的特定应用服务，所关心的是响应时间，数据的安全性和完整性全性和完整性全性和完整性操作型环境是以单一数据库为中心的数据环境操作型环境是以单一数据库为中心的数据环境操作型环境是以单一数据库为中心的数据环境数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库111
17、.数据仓库的产生数据仓库的产生数据仓库的产生分析型处理：又称信息型处理，是针对制定决策过程中管理分析型处理：又称信息型处理，是针对制定决策过程中管理分析型处理：又称信息型处理，是针对制定决策过程中管理方面的需求而进行的处理，通过浏览大量数据找出其中的趋方面的需求而进行的处理，通过浏览大量数据找出其中的趋方面的需求而进行的处理，通过浏览大量数据找出其中的趋势。如势。如势。如DSSDSSDSS，EISEISEIS等等等分析型环境是一种新的体系化环境分析型环境是一种新的体系化环境分析型环境是一种新的体系化环境数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Offic
18、e PPT PPT操作型数据（原始数据）分析型数据（导出数据）细节的 综合的，或提炼的在存取瞬间是准确的 代表过去的数据可更新 不更新操作需求事先可知道 操作需求事先不知道生命周期符合SDLC 完全不同的生命周期对性能要求高 对性能要求宽松一个时刻操作一个单元一个时刻操作一个集合事务驱动 分析驱动面向应用面向分析一次操作数据量小 一次操作数据量大支持日常操作支持管理需求第一节第一节 什么是数据仓库什么是数据仓库数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库111.数据仓库的产生数据仓库的产
19、生数据仓库的产生操作型数据和分析型数据的不同而导致的数据分离和自然操作型数据和分析型数据的不同而导致的数据分离和自然操作型数据和分析型数据的不同而导致的数据分离和自然扩展过程：扩展过程：扩展过程：操作操作操作型型型原子原子原子/数据仓数据仓数据仓库库库部门部门部门/数据集数据集数据集市市市个体个体个体数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库222.数据仓库的定义数据仓库的定义数据仓库的定义数据仓库之父数据仓库之父数据仓库之父W.H.InmonW.H.InmonW.H.Inmon给出了
20、定义：给出了定义：给出了定义：数据仓库数据仓库数据仓库是一个是一个是一个面向主题的、集成的、不可更新的且随时间不断变化的数据面向主题的、集成的、不可更新的且随时间不断变化的数据面向主题的、集成的、不可更新的且随时间不断变化的数据集合，用来支持管理人员的决策集合，用来支持管理人员的决策集合，用来支持管理人员的决策数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库222.数据仓库的定义数据仓库的定义数据仓库的定义vv 面向主题面向主题面向主题主题：是在较高层次上将企业信息系统中的数据综合、归主题：
21、是在较高层次上将企业信息系统中的数据综合、归主题：是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象，即对应企业中某一宏观分析领类并进行分析利用的抽象，即对应企业中某一宏观分析领类并进行分析利用的抽象，即对应企业中某一宏观分析领域所涉及的分析域所涉及的分析域所涉及的分析对象对象对象面向主题的数据组织方式就是对分析对象的数据的一个完面向主题的数据组织方式就是对分析对象的数据的一个完面向主题的数据组织方式就是对分析对象的数据的一个完整、一致的描述，能完整、统一地刻画各个分析对象所涉整、一致的描述，能完整、统一地刻画各个分析对象所涉整、一致的描述，能完整、统一地刻画各个分析对象所涉及
22、的及的及的企业各项企业各项企业各项数据，以及数据之间的联系数据，以及数据之间的联系数据，以及数据之间的联系数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库222.数据仓库的定义数据仓库的定义数据仓库的定义vv 面向主题面向主题面向主题每个主题在数据仓库中都是由一组关系表实现的每个主题在数据仓库中都是由一组关系表实现的每个主题在数据仓库中都是由一组关系表实现的主题的实现基于关系数据库主题的实现基于关系数据库主题的实现基于关系数据库在具体实现中，一个主题可以划分成多个表，主题只是一在具体实现中，
23、一个主题可以划分成多个表，主题只是一在具体实现中，一个主题可以划分成多个表，主题只是一个逻辑的概念个逻辑的概念个逻辑的概念基于一个主题的所有表都含有一个称为公共键码的属性作基于一个主题的所有表都含有一个称为公共键码的属性作基于一个主题的所有表都含有一个称为公共键码的属性作为其主码的一部分为其主码的一部分为其主码的一部分数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库222.数据仓库的定义数据仓库的定义数据仓库的定义vv 面向主题面向主题面向主题 Customer Customer ID ID
24、 From date From date To date To date Name Name Address Address Phone Phone Sex Sex Customer IDFrom date To dateNameAddressCredit ratingemployerSexCustomer IDActivity dateAmountLocationFor item数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库222.数据仓库的定义数据仓库的定义数据仓库的定义vv 数据仓库
25、的数据是集成的数据仓库的数据是集成的数据仓库的数据是集成的要统一源数据中所有矛盾之处，如同名异义、字长不一致要统一源数据中所有矛盾之处，如同名异义、字长不一致要统一源数据中所有矛盾之处，如同名异义、字长不一致等等等等等等进行数据综合和计算。数据综合可以从原有数据库抽取数进行数据综合和计算。数据综合可以从原有数据库抽取数进行数据综合和计算。数据综合可以从原有数据库抽取数据生成，但许多是在数据仓库内部生成据生成，但许多是在数据仓库内部生成据生成，但许多是在数据仓库内部生成数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么
26、是数据仓库什么是数据仓库222.数据仓库的定义数据仓库的定义数据仓库的定义vv 数据仓库数据是不可更新数据仓库数据是不可更新数据仓库数据是不可更新数据仓库的数据主要供企业决策分析使用，所涉及的数据数据仓库的数据主要供企业决策分析使用，所涉及的数据数据仓库的数据主要供企业决策分析使用，所涉及的数据操作主要是数据查询，一般不进行修改操作操作主要是数据查询，一般不进行修改操作操作主要是数据查询，一般不进行修改操作数据库中进行联机处理的数据经过集成输入到数据仓库中，数据库中进行联机处理的数据经过集成输入到数据仓库中，数据库中进行联机处理的数据经过集成输入到数据仓库中，数据仓库中的数据超过存储期限，这些
27、数据将从当前数据数据仓库中的数据超过存储期限，这些数据将从当前数据数据仓库中的数据超过存储期限，这些数据将从当前数据仓库中删去仓库中删去仓库中删去DWMSDWMSDWMS比比比DBMSDBMSDBMS简单，但查询要求高简单，但查询要求高简单，但查询要求高数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库222.数据仓库的定义数据仓库的定义数据仓库的定义vv 数据仓库数据随时间不断变化数据仓库数据随时间不断变化数据仓库数据随时间不断变化数据仓库随时间变化不断增加新的内容数据仓库随时间变化不断增加
28、新的内容数据仓库随时间变化不断增加新的内容数据仓库随时间变化不断删除旧的内容数据仓库随时间变化不断删除旧的内容数据仓库随时间变化不断删除旧的内容数据仓库中包含有大量的综合数据，这些数据随时间变数据仓库中包含有大量的综合数据，这些数据随时间变数据仓库中包含有大量的综合数据，这些数据随时间变化不断地进行重新综合化不断地进行重新综合化不断地进行重新综合数据仓库数据的码键包含时间项，标明历史时期数据仓库数据的码键包含时间项，标明历史时期数据仓库数据的码键包含时间项，标明历史时期数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什
29、么是数据仓库什么是数据仓库333.数据仓库的数据组织数据仓库的数据组织数据仓库的数据组织3.1 3.1 3.1 组织结构组织结构组织结构元数据高度综合级轻度综合级当前细节级早期细节级20022003 年每月销售表20022003 年每周销售表20022003 年销售情况表20002003 年销售明细表数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库333.数据仓库的数据组织数据仓库的数据组织数据仓库的数据组织3.1 3.1 3.1 组织结构组织结构组织结构 数据仓库中的不同综合级别，称为数据
30、仓库中的不同综合级别，称为数据仓库中的不同综合级别，称为“粒度粒度粒度”。粒度越大，。粒度越大，。粒度越大，表示细节程度越低，综合程度越高表示细节程度越低，综合程度越高表示细节程度越低，综合程度越高 元数据元数据元数据（metadatametadatametadata）：关于数据的数据）：关于数据的数据）：关于数据的数据操作型环境向数据仓库环境转换而建立的操作型环境向数据仓库环境转换而建立的操作型环境向数据仓库环境转换而建立的元数据元数据元数据数据仓库中用来与终端用户的多维商业模型数据仓库中用来与终端用户的多维商业模型数据仓库中用来与终端用户的多维商业模型/前端工具之前端工具之前端工具之间建立
31、映射，也为间建立映射，也为间建立映射，也为DSSDSSDSS元数据元数据元数据数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库333.数据仓库的数据组织数据仓库的数据组织数据仓库的数据组织3.2 3.2 3.2 粒度与分割粒度与分割粒度与分割 粒度是数据仓库的重要概念粒度是数据仓库的重要概念粒度是数据仓库的重要概念粒度是指数据仓库的数据单位中保存数据的细化或综粒度是指数据仓库的数据单位中保存数据的细化或综粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别合程度的级别合程度的级别细化程
32、度越高，粒度级就越小；细化程度越低粒度级细化程度越高，粒度级就越小；细化程度越低粒度级细化程度越高，粒度级就越小；细化程度越低粒度级就越大就越大就越大一般采用多重粒度级：高细节级、低细节级一般采用多重粒度级：高细节级、低细节级一般采用多重粒度级：高细节级、低细节级数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库333.数据仓库的数据组织数据仓库的数据组织数据仓库的数据组织3.2 3.2 3.2 粒度与分割粒度与分割粒度与分割 分割是数据仓库的重要概念分割是数据仓库的重要概念分割是数据仓库的重
33、要概念分割是指将数据分散到各自的物理单元中去以便能分别独分割是指将数据分散到各自的物理单元中去以便能分别独分割是指将数据分散到各自的物理单元中去以便能分别独立处理，以提高数据处理效率立处理，以提高数据处理效率立处理，以提高数据处理效率数据分割后的数据单元称为分片数据分割后的数据单元称为分片数据分割后的数据单元称为分片数据分割标准依据实际情况确定，一般应包括日期项数据分割标准依据实际情况确定，一般应包括日期项数据分割标准依据实际情况确定，一般应包括日期项分割使数据更易重构、索引、重组、恢复、监控分割使数据更易重构、索引、重组、恢复、监控分割使数据更易重构、索引、重组、恢复、监控数据仓库与数据挖掘
34、第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节第一节 什么是数据仓库什么是数据仓库333.数据仓库的数据组织数据仓库的数据组织数据仓库的数据组织3.2 3.2 3.2 粒度与分割粒度与分割粒度与分割 简单分割实例，分片以时间标准来组织：简单分割实例，分片以时间标准来组织：简单分割实例，分片以时间标准来组织：健康保险 生命保险 事故保险2001 分片1 分片2 分片32002 分片4 分片5 分片62003 分片7 分片8 分片9数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第一节
35、第一节 什么是数据仓库什么是数据仓库333.数据仓库的数据组织数据仓库的数据组织数据仓库的数据组织3.3 3.3 3.3 数据组织形式数据组织形式数据组织形式 简单堆积文件：数据逐天积累简单堆积文件：数据逐天积累简单堆积文件：数据逐天积累 轮转综合文件：按日、周、月、年组织数据集轮转综合文件：按日、周、月、年组织数据集轮转综合文件：按日、周、月、年组织数据集 简化直接文件：每隔一定时间的数据库快照简化直接文件：每隔一定时间的数据库快照简化直接文件：每隔一定时间的数据库快照 连续文件：通过比较两个简单直接文件不同而生成连续文件：通过比较两个简单直接文件不同而生成连续文件：通过比较两个简单直接文件
36、不同而生成 数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节 什么是数据挖掘什么是数据挖掘111.数据挖掘的提出数据挖掘的提出数据挖掘的提出数据挖掘是信息技术自然演化的结果数据挖掘是信息技术自然演化的结果数据挖掘是信息技术自然演化的结果vvv 数据收集、数据库创建数据收集、数据库创建数据收集、数据库创建vvv 数据管理：数据存储和检索，数据库事务处理数据管理：数据存储和检索，数据库事务处理数据管理：数据存储和检索，数据库事务处理vvv 数据分析与理解：涉及数据仓库和数据挖掘数据分析与理解：涉及数据仓库和数据挖掘数据分析与
37、理解：涉及数据仓库和数据挖掘数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节 什么是数据挖掘什么是数据挖掘111.数据挖掘的提出数据挖掘的提出数据挖掘的提出数据库技术的发展历史数据库技术的发展历史数据库技术的发展历史vvv202020世纪世纪世纪606060年代，功能强大的数据库系统年代，功能强大的数据库系统年代，功能强大的数据库系统vvv707070年代，从网状和层次到关系数据库系统、建模工具、年代，从网状和层次到关系数据库系统、建模工具、年代，从网状和层次到关系数据库系统、建模工具、索引和数据组织技术，联机事务处理索
38、引和数据组织技术，联机事务处理索引和数据组织技术，联机事务处理OLTPOLTPOLTPvvv808080年代，使用先进的数据模型，如面向对象模型、对象年代，使用先进的数据模型，如面向对象模型、对象年代，使用先进的数据模型，如面向对象模型、对象关系模型、演绎模型关系模型、演绎模型关系模型、演绎模型数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节 什么是数据挖掘什么是数据挖掘111.数据挖掘的提出数据挖掘的提出数据挖掘的提出数据仓库技术数据仓库技术数据仓库技术vvv数据清理：文件之间转换、存储介质转移、清除过期数数据清理：文
39、件之间转换、存储介质转移、清除过期数数据清理：文件之间转换、存储介质转移、清除过期数据、层次转换（操作型到分析型）据、层次转换（操作型到分析型）据、层次转换（操作型到分析型）vvv数据集成：从操作型环境到分析型环境数据集成：从操作型环境到分析型环境数据集成：从操作型环境到分析型环境vvv联机分析处理联机分析处理联机分析处理OLAPOLAPOLAP：是一种分析技术，具有汇总、合：是一种分析技术，具有汇总、合：是一种分析技术，具有汇总、合并和聚集功能，以及从不同角度观察信息的能力并和聚集功能，以及从不同角度观察信息的能力并和聚集功能，以及从不同角度观察信息的能力数据仓库与数据挖掘第1 章1PPT
40、PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节 什么是数据挖掘什么是数据挖掘111.数据挖掘的提出数据挖掘的提出数据挖掘的提出vvv数据的丰富增强了对功能更强的数据分析工具的需求数据的丰富增强了对功能更强的数据分析工具的需求数据的丰富增强了对功能更强的数据分析工具的需求vvv对海量数据的理解，远远超出人的能力，产生对海量数据的理解，远远超出人的能力，产生对海量数据的理解，远远超出人的能力，产生“数据坟墓数据坟墓数据坟墓”vvv决策者缺乏从海量数据中提取有价值知识的工具，许多专决策者缺乏从海量数据中提取有价值知识的工具，许多专决策者缺乏从海量数据中提取有价
41、值知识的工具，许多专家系统技术还是依赖经验家系统技术还是依赖经验家系统技术还是依赖经验vvv数据挖掘工具进行数据分析，可以发现重要的数据模式，数据挖掘工具进行数据分析，可以发现重要的数据模式，数据挖掘工具进行数据分析，可以发现重要的数据模式，破除数据与信息的鸿沟破除数据与信息的鸿沟破除数据与信息的鸿沟数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节 什么是数据挖掘什么是数据挖掘222.数据挖掘的定义数据挖掘的定义数据挖掘的定义数据挖掘数据挖掘数据挖掘是指从大量数据中提取或是指从大量数据中提取或是指从大量数据中提取或“挖掘
42、挖掘挖掘”知识。通常也可知识。通常也可知识。通常也可理解为数据库中的知识发现理解为数据库中的知识发现理解为数据库中的知识发现KDDKDDKDD，也可以理解为，也可以理解为，也可以理解为KDDKDDKDD的一的一的一个基本步骤。还有提法：个基本步骤。还有提法：个基本步骤。还有提法：vvv 数据库中知识挖掘数据库中知识挖掘数据库中知识挖掘vvv 知识提取知识提取知识提取vvv 数据数据数据/模式分析模式分析模式分析vvv 数据考古数据考古数据考古vvv 数据捕捞数据捕捞数据捕捞数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节
43、 什么是数据挖掘什么是数据挖掘222.数据挖掘的定义数据挖掘的定义数据挖掘的定义知识发现过程知识发现过程知识发现过程777个步骤如下：个步骤如下：个步骤如下：111）数据清理：消除噪声或不一致）数据清理：消除噪声或不一致）数据清理：消除噪声或不一致222）数据集成：多种数据源组合在一起）数据集成：多种数据源组合在一起）数据集成：多种数据源组合在一起333）数据选择：从数据库中检索与分析任务相关的数）数据选择：从数据库中检索与分析任务相关的数）数据选择：从数据库中检索与分析任务相关的数据。据。据。444）数据变换：数据变换或统一成适合挖掘的形式，）数据变换：数据变换或统一成适合挖掘的形式，）数据
44、变换：数据变换或统一成适合挖掘的形式，如汇总或聚集操作如汇总或聚集操作如汇总或聚集操作555）数据挖掘：使用智能方法提取数据模式）数据挖掘：使用智能方法提取数据模式）数据挖掘：使用智能方法提取数据模式数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节 什么是数据挖掘什么是数据挖掘222.数据挖掘的定义数据挖掘的定义数据挖掘的定义知识发现过程知识发现过程知识发现过程777个步骤如下：个步骤如下：个步骤如下：666）模式评估：根据某种兴趣度量，识别表示知识的真）模式评估：根据某种兴趣度量，识别表示知识的真）模式评估：根据某种兴
45、趣度量，识别表示知识的真正有趣的模式正有趣的模式正有趣的模式777）知识表示：使用可视化和知识表示技术，向用户提）知识表示：使用可视化和知识表示技术，向用户提）知识表示：使用可视化和知识表示技术，向用户提供挖掘的知识供挖掘的知识供挖掘的知识数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节 什么是数据挖掘什么是数据挖掘222.数据挖掘的定义数据挖掘的定义数据挖掘的定义知识发现过程知识发现过程知识发现过程777个步骤如下：个步骤如下：个步骤如下：数据仓库知识数据库清理与集成选择与变换数据挖掘模式评估与表示数据仓库与数据挖掘第
46、1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节 什么是数据挖掘什么是数据挖掘222.数据挖掘的定义数据挖掘的定义数据挖掘的定义数据挖掘数据挖掘数据挖掘的广义定义：数据挖掘是从存放在数据库、数的广义定义：数据挖掘是从存放在数据库、数的广义定义：数据挖掘是从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘有趣知识的过程据仓库或其他信息库中的大量数据中挖掘有趣知识的过程据仓库或其他信息库中的大量数据中挖掘有趣知识的过程数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节
47、什么是数据挖掘什么是数据挖掘333.数据挖掘系统的主要成分数据挖掘系统的主要成分数据挖掘系统的主要成分vv 数据库、数据仓库或其他信息库数据库、数据仓库或其他信息库数据库、数据仓库或其他信息库vvv 数据库或数据仓库服务器数据库或数据仓库服务器数据库或数据仓库服务器vvv 知识库知识库知识库vvv 数据挖掘引擎数据挖掘引擎数据挖掘引擎vvv 模式评估模块模式评估模块模式评估模块vvv 图形用户界面图形用户界面图形用户界面数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节 什么是数据挖掘什么是数据挖掘444.数据挖掘的应用环
48、境数据挖掘的应用环境数据挖掘的应用环境vvv 关系数据库关系数据库关系数据库vvv 数据仓库数据仓库数据仓库vvv 事务数据库事务数据库事务数据库vvv 高级数据库系统和高级数据库高级数据库系统和高级数据库高级数据库系统和高级数据库数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第二节第二节 什么是数据挖掘什么是数据挖掘333.数据挖掘的应用环境数据挖掘的应用环境数据挖掘的应用环境 高级数据库系统和高级数据库：高级数据库系统和高级数据库：高级数据库系统和高级数据库：面向对象数据库面向对象数据库面向对象数据库 对象对象对象-关系数据库
49、关系数据库关系数据库 空间数据库空间数据库空间数据库 时间数据库和时间序列数据库时间数据库和时间序列数据库时间数据库和时间序列数据库 文本数据库和多媒体数据库文本数据库和多媒体数据库文本数据库和多媒体数据库 异种数据库和遗产数据库异种数据库和遗产数据库异种数据库和遗产数据库 WWWWWWWWW数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第三节第三节 数据挖掘功能数据挖掘功能111.数据挖掘功能数据挖掘功能数据挖掘功能数据挖掘功能数据挖掘功能数据挖掘功能用于指定用于指定用于指定数据挖掘任务数据挖掘任务数据挖掘任务中要找的模式类型。
50、中要找的模式类型。中要找的模式类型。数据挖掘任务一般分为两类：数据挖掘任务一般分为两类：数据挖掘任务一般分为两类：描述描述描述和和和预测预测预测 描述性挖掘任务刻划数据库中数据的一般特性描述性挖掘任务刻划数据库中数据的一般特性描述性挖掘任务刻划数据库中数据的一般特性 预测性挖掘任务在当前数据上进行推断，以进行预测预测性挖掘任务在当前数据上进行推断，以进行预测预测性挖掘任务在当前数据上进行推断，以进行预测数据仓库与数据挖掘第1 章1PPT PPT 文档演模板 文档演模板 Office Office PPT PPT第三节第三节 数据挖掘功能数据挖掘功能222.概念概念概念/类描述：特征化和区分类描