《《数据库研究与发展》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《数据库研究与发展》PPT课件.ppt（55页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第9章 数据库系统的研究与发展19.1 分布式数据库系统分布式数据库系统Distributed Database SystemDDBS2分布式数据库分布式数据库逻辑上是一个统一的数据库系统逻辑上是一个统一的数据库系统物理上分散在不同的场地（节点）物理上分散在不同的场地（节点）各场地通过计算机网络连接在一起各场地通过计算机网络连接在一起统一由一个分布式数据库管理系统统一由一个分布式数据库管理系统(DDBMS)管理管理特点特点分布性：分布性：数据的分布性数据的分布性事务的分布性事务的分布性协调性：逻辑上整体、具整体完整性约束协调性：逻辑上整体、具整体完整性约束3数据的分布性数据的分布性分布式数据存
2、储分布式数据存储复制复制分片分片复制复制+分片分片数据的冗余数据的冗余提高数据的可用性、并发性、减少网络传输提高数据的可用性、并发性、减少网络传输增加了数据更新的开销，副本一致性问题增加了数据更新的开销，副本一致性问题事务的分布性事务的分布性局部事务局部事务仅访问当地数据库的事务仅访问当地数据库的事务全局事务全局事务需访问其他场地数据库的事务需访问其他场地数据库的事务4分布式数据库环境下的访问代价分布式数据库环境下的访问代价磁盘读写磁盘读写网络传输网络传输分布式数据库的目标分布式数据库的目标部门组织分布，降低成本部门组织分布，降低成本数据资源共享，提高数据库的利用率数据资源共享，提高数据库的利
3、用率5全局外模式全局外模式全局应用的用户视图，全局概念模式的子集全局应用的用户视图，全局概念模式的子集全局概念模式全局概念模式是全局概念视图是全局概念视图全局概念模式名、属性名、域全局概念模式名、属性名、域分片模式分片模式定义分片片段以及全局关系到片段的映象定义分片片段以及全局关系到片段的映象是一对多的，一个全局关系可对应多个片段，一个片段只来自全局关系是一对多的，一个全局关系可对应多个片段，一个片段只来自全局关系分布模式分布模式分片的物理分配视图分片的物理分配视图局部概念模式局部概念模式局部数据库中的概念模型，关于本地数据库的描述局部数据库中的概念模型，关于本地数据库的描述如果局部数据库中还
4、有独立应用，则应有局部外模式，提供给本地应用如果局部数据库中还有独立应用，则应有局部外模式，提供给本地应用使用使用局部内模式局部内模式局部数据库的物理描述局部数据库的物理描述局部数据库：局部数据库：本地的局部数据库本地的局部数据库6网络网络LDBLDBMSGDBMSCM全局数据字典全局数据字典LDBCMGDBMSLDBMS全局数据字典全局数据字典LDBCMGDBMSLDBMS全局数据字典全局数据字典DDBMS的结构的结构7全局数据字典全局数据字典存放数据概念模式、分片模式、分布模式的定义及存放数据概念模式、分片模式、分布模式的定义及各模式之间映象的定义各模式之间映象的定义存放有关用户存取权限的
5、定义存放有关用户存取权限的定义存放数据完整性约束条件的定义存放数据完整性约束条件的定义分布式数据库的基本原则分布式数据库的基本原则对用户（最终用户、程序员）来说，一个分布式系对用户（最终用户、程序员）来说，一个分布式系统应该看起来完全象一个非分布式系统统应该看起来完全象一个非分布式系统8SybaseEnterpriseConnect数据库互联与复制解决方案提供在同/异构数据源中进行分布事务复制、位置透明、与应用独立的数据存取功能集成RepliactionServer/ReplicationAgent(复制服务器/代理)Jconnect（J连接）OpenServer/OpenClient（开放式
6、服务器/客户机）OmniConnect/DirectConnect（总连接/直接连接）9SQL RemoteASA 联机用户ASA 远程移动用户ASA/ASE企业数据ASA的远程工作组(办事处 1)总部SQLRemoteSQLRemoteSQLRemote复制服务器ASA的远程工作组(办事处 2)109.2 数据仓库技术与联机数据仓库技术与联机分析处理分析处理Data Warehouse&OLAP11数据库处理的两大应用数据库处理的两大应用联机事务处理联机事务处理（OLTP）操作型处理，为企业的特定应用服务操作型处理，为企业的特定应用服务是对数据库的联机的日常操作，通常是对一个或是对数据库的联
7、机的日常操作，通常是对一个或一组记录的查询和修改一组记录的查询和修改人们关心的是响应时间、数据的安全性和完整性人们关心的是响应时间、数据的安全性和完整性决策支持系统决策支持系统（DSS）分析型处理，用于管理人员的决策分析分析型处理，用于管理人员的决策分析经常需要访问大量的历史数据经常需要访问大量的历史数据数据仓库数据仓库+联机分析处理联机分析处理+数据挖掘数据挖掘（DW+OLAP+DM）DSS12数据仓库数据仓库是一个面向主题的、集成的、非易失的是一个面向主题的、集成的、非易失的（不可修改）且随时间变化的数据集合，（不可修改）且随时间变化的数据集合，用来支持管理人员的决策用来支持管理人员的决策
8、13数据仓库的特点数据仓库的特点面向主题面向主题主题是在较高层次上对数据抽象主题是在较高层次上对数据抽象面向主题的数据组织分为两步骤面向主题的数据组织分为两步骤抽取主题抽取主题确定每个主题所包含的数据内容确定每个主题所包含的数据内容每个主题在数据仓库中都是由每个主题在数据仓库中都是由一组关系一组关系表实现的表实现的集成的集成的数据不可更改数据不可更改随时间变化的随时间变化的14数据仓库的特点数据仓库的特点 面向主题面向主题15数据仓库的特点数据仓库的特点面向主题面向主题集成的集成的数据仓库的数据是从原有的分散数据库数据中抽数据仓库的数据是从原有的分散数据库数据中抽取来的取来的消除数据表述的不一
9、致性（数据的清洗）消除数据表述的不一致性（数据的清洗）数据的综合数据的综合数据不可更改数据不可更改随时间变化的随时间变化的16数据仓库的特点数据仓库的特点 集成集成17数据仓库的特点数据仓库的特点面向主题面向主题集成的集成的数据不可更改数据不可更改数据仓库的主要数据操作是查询、分析数据仓库的主要数据操作是查询、分析不进行一般意义上的数据更新（过期数据可能被不进行一般意义上的数据更新（过期数据可能被删除）删除）数据仓库强化查询、淡化并发控制和完整性保护数据仓库强化查询、淡化并发控制和完整性保护等技术等技术随时间变化的随时间变化的18数据仓库的特点数据仓库的特点数据不可更改数据不可更改19数据仓库
10、的特点数据仓库的特点面向主题面向主题集成的集成的数据不可更改数据不可更改随时间变化的随时间变化的不断增加新的数据内容不断增加新的数据内容不断删除旧的数据内容不断删除旧的数据内容定时综合定时综合数据仓库中数据表的数据仓库中数据表的键码键码都包含时间项，以标明都包含时间项，以标明数据的历史时期数据的历史时期20数据仓库的特点数据仓库的特点 随时间变化随时间变化21数据仓库的结构数据仓库的结构OLTP系统系统RDBMSSybaseVSAMSAP/ERP5-10 年年过去过去详细数据详细数据当前当前详细数据详细数据轻度轻度汇总数据汇总数据高度高度汇总数据汇总数据数据集市数据集市分析型分析型CRM业务指
11、标分析业务指标分析数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库/决策分析系统决策分析系统EXCEL22数据仓库的结构数据仓库的结构数据由操作型环境（综合）导入数据仓库数据由操作型环境（综合）导入数据仓库数据具有不同的细节级数据具有不同的细节级早期细节级（过期数据）早期细节级（过期数据）当前细节级当前细节级轻度综合数据级（数据集市）轻度综合数据级（数据集市）高度综合数据级高度综合数据级232425数据仓库中的数据组织形式数据仓库中的数据组织形式简单堆积简单堆积轮转综合轮转综合数据按一定的格式进行轮转的累加数据按一定的格式进行轮转的累加简化直接简化直接按一定的时间间隔，对数据进行提取，是操作型
12、数据的按一定的时间间隔，对数据进行提取，是操作型数据的一个快照一个快照连续连续把新的快照追加到以前的连续数据上去把新的快照追加到以前的连续数据上去26数据仓库中的数据组织形式数据仓库中的数据组织形式简单堆积简单堆积每日由数据库中提取并加工的数据逐天积累堆积每日由数据库中提取并加工的数据逐天积累堆积27数据仓库中的数据组织形式数据仓库中的数据组织形式轮转综合轮转综合数据按一定的格式进行轮转的累加数据按一定的格式进行轮转的累加28数据仓库中的数据组织形式数据仓库中的数据组织形式简单堆积与轮转综合的比较简单堆积与轮转综合的比较29数据仓库中的数据组织形式数据仓库中的数据组织形式简化直接简化直接按一定
13、的时间间隔，对数据进行提取，是操作型数据的按一定的时间间隔，对数据进行提取，是操作型数据的一个快照一个快照30数据仓库中的数据组织形式数据仓库中的数据组织形式连续连续把新的快照追加到以前的连续数据上去把新的快照追加到以前的连续数据上去31数据仓库的数据追加数据仓库的数据追加数据追加数据追加数据仓库的数据初装完成以后，再向数据仓库输入数据数据仓库的数据初装完成以后，再向数据仓库输入数据的过程称为的过程称为数据追加数据追加变化数据的捕获变化数据的捕获时标法：加标识时标法：加标识DELTA法：对更新作记录法：对更新作记录前后映象法：两次快照的对比前后映象法：两次快照的对比日志法日志法：利用：利用DB
14、MS的日志，需改进的日志，需改进32数据库的体系化环境数据库的体系化环境是在一个企业或组织内部，由各面向应用的是在一个企业或组织内部，由各面向应用的OLTP数据库及各级面向主题的数据仓库所组成的完整的数据库及各级面向主题的数据仓库所组成的完整的数据环境数据环境操作型环境、分析型环境操作型环境、分析型环境四层体系化环境四层体系化环境操作型环境操作型环境OLTP全局级全局级数据仓库数据仓库部门级部门级局部仓库局部仓库个人级个人级个人仓库，用于启发式的分析个人仓库，用于启发式的分析数据集市（数据集市（Data Mart）特定的、面向部门的小型数据仓库特定的、面向部门的小型数据仓库是为满足用户特定需求
15、而创建的数据仓库是为满足用户特定需求而创建的数据仓库是数据仓库的子集是数据仓库的子集33数据库的体系化环境数据库的体系化环境34数据库的体系化环境数据库的体系化环境35数据仓库的开发生命周期数据仓库的开发生命周期36数据仓库的基本数据模式数据仓库的基本数据模式星型模式星型模式(Star Schema)事实表事实表(fact table)，存放基本数据，相关主题的，存放基本数据，相关主题的数据主体（数据主体（BCNF）维维(dimension)，影响、分析主体数据的因素，影响、分析主体数据的因素量量(measure)，事实表中的数据属性，事实表中的数据属性维表维表(dimension table
16、)，表示维的各种表，表示维的各种表维是量的取值条件，维用外键表示维是量的取值条件，维用外键表示以事实表为中心，加上若干维表，组成星型数据以事实表为中心，加上若干维表，组成星型数据模式模式例：产品例：产品-商店商店-销售额销售额37数据仓库的基本数据模式数据仓库的基本数据模式CustSalesLocationSalesProdSalesTimeSalesSalestime idproduct idlocation idcustomer idsales revenueunits soldProductproduct idmakemodelTimetime iddateyearquartermont
17、hweekLocationlocation idregiondistrictstoreCustomercustomer idcategorygroupSales factSales measuresTime dimensionAttributes of the time dimension38数据仓库的基本数据模式数据仓库的基本数据模式雪花模式雪花模式(Snowflake Schema)维一般是由若干层次组成维一般是由若干层次组成把维按其把维按其层次层次结构表示成若干个表结构表示成若干个表规范化、节省存储空间规范化、节省存储空间但需多做连接操作但需多做连接操作数据仓库的解决方案数据仓库的解决方
18、案通用的关系数据库系统通用的关系数据库系统专门的数据仓库服务器专门的数据仓库服务器39数据仓库系统的体系结构数据仓库系统的体系结构数据仓库层数据仓库层数据仓库工具层数据仓库工具层最终用户最终用户40数据仓库系统数据仓库系统数据仓库数据仓库居系统的核心地位居系统的核心地位是信息挖掘的基础是信息挖掘的基础数据仓库管理系统数据仓库管理系统是整个系统的引擎是整个系统的引擎负责管理整个系统的运转负责管理整个系统的运转数据仓库工具数据仓库工具一般的查询工具、功能强大的分析工具一般的查询工具、功能强大的分析工具是整个系统发挥作用的关键是整个系统发挥作用的关键41数据分析模型数据分析模型早期早期静态数据值的相
19、互比较静态数据值的相互比较需求需求从多个不同的数据源中综合数据从多个不同的数据源中综合数据从不同的角度观察数据从不同的角度观察数据多变的主题、多维数据多变的主题、多维数据E-R不能完全支持不能完全支持四种分析模型四种分析模型（Codd）绝对模型绝对模型解释模型解释模型思考模型思考模型公式模型公式模型42四种分析模型四种分析模型（Codd）绝对模型绝对模型静态数据分析静态数据分析只能对历史数据进行值的比较，描述基本事实只能对历史数据进行值的比较，描述基本事实用户交互少用户交互少解释模型解释模型静态数据分析静态数据分析在当前多维视图的基础上找出事件发生的原因在当前多维视图的基础上找出事件发生的原因
20、思考模型思考模型动态数据分析动态数据分析多维分析多维分析在决策者的参与下，找出关键变量在决策者的参与下，找出关键变量需要高级数据分析人员的介入需要高级数据分析人员的介入公式模型公式模型动态性最高的一类动态性最高的一类自动完成变量的引入工作自动完成变量的引入工作43数据仓库系统的工具层数据仓库系统的工具层查询工具查询工具主要是对分析结果的查询主要是对分析结果的查询很少有对记录级数据的查询很少有对记录级数据的查询验证型工具验证型工具多维分析工具多维分析工具用户首先提出假设，然后利用各种工具通过反复、用户首先提出假设，然后利用各种工具通过反复、递归的检索查询以验证或否定假设递归的检索查询以验证或否定
21、假设发掘型工具发掘型工具从大量数据中发现数据模式从大量数据中发现数据模式预测趋势和行为预测趋势和行为44联机分析处理联机分析处理OLAPOLAP是针对特定问题的联机访问和分析。是针对特定问题的联机访问和分析。通过对信息的很多种可能的观察形式进行快速、稳定通过对信息的很多种可能的观察形式进行快速、稳定一致和交互性的存取，允许分析人员对数据进行深入一致和交互性的存取，允许分析人员对数据进行深入观察观察45一些概念一些概念变量变量是数据的实际意义，描述数据是什么是数据的实际意义，描述数据是什么维维是人们观察数据的特定角度是人们观察数据的特定角度维的层次维的层次是维在不同细节程度的描述是维在不同细节程
22、度的描述维成员维成员是维的一个取值是维的一个取值多层次维的维成员是各层次取值的组合多层次维的维成员是各层次取值的组合对应一个数据项，维成员是该数据项在该维中位置的描述对应一个数据项，维成员是该数据项在该维中位置的描述多维数组多维数组可以表示为（维可以表示为（维1,维维2,变量变量），如（地），如（地区区,时间时间,销售渠道销售渠道,销售额销售额）多维数组的取值称为多维数组的取值称为数据单元（单元格）数据单元（单元格）可以理解为交叉表的数据格可以理解为交叉表的数据格46一些基本操作一些基本操作在多维数组的某一维选定一个维成员的动作称在多维数组的某一维选定一个维成员的动作称为为切片切片。舍弃一些观
23、察角度舍弃一些观察角度在多维数组的某一维上选定某一区间的维成员在多维数组的某一维上选定某一区间的维成员切块切块多个切片的叠加多个切片的叠加旋转旋转是改变一个报告或页面显示的维方向是改变一个报告或页面显示的维方向以用户容易理解的角度来观察数据以用户容易理解的角度来观察数据47基于多维数据库的基于多维数据库的OLAPMOLAP以多维方式组织数据（以多维方式组织数据（综合综合数据）数据）以多维方式显示（观察）数据以多维方式显示（观察）数据多维数据库的形式类似于交叉表，可直观地表多维数据库的形式类似于交叉表，可直观地表述一对多、多对多的关系述一对多、多对多的关系如：产品、地区、销售额如：产品、地区、销
24、售额关系关系多维多维多维数据库由许多经压缩的、类似于数组的对多维数据库由许多经压缩的、类似于数组的对象构成，带有高度压缩的索引及指针结构象构成，带有高度压缩的索引及指针结构以关系数据库存放细节数据、以多维数据库存以关系数据库存放细节数据、以多维数据库存放综合数据放综合数据48基于关系数据库的基于关系数据库的OLAPROLAP以以二维表二维表与与多维联系多维联系来表达多维数据（来表达多维数据（综合综合数数据）据）星型结构星型结构事实表，存储事实的量及各维的码值（事实表，存储事实的量及各维的码值（BCNF）维表，对每一个维，至少有一个表用来保存该维维表，对每一个维，至少有一个表用来保存该维的元数据
25、（多层次、冗余）的元数据（多层次、冗余）事实表通过外键与每个维表相联系事实表通过外键与每个维表相联系雪花、星座、雪暴雪花、星座、雪暴模拟多维方式显示（观察）数据模拟多维方式显示（观察）数据49MOLAP与与ROLAPMOLAP计算速度较快计算速度较快支持的数据容量较小支持的数据容量较小缺乏细节数据的缺乏细节数据的OLAPROLAP结构较复杂结构较复杂以关系模拟多维以关系模拟多维支持适当细节的支持适当细节的OLAP较成熟较成熟HOLAP是以上两种的综合是以上两种的综合50数据挖掘数据挖掘（Data Mining）探测型的数据分析探测型的数据分析发现信息、发现知识发现信息、发现知识基于基于人工智能
26、人工智能、机器学习机器学习、统计学统计学由计算机自动智能地分析数据，获取信息，由计算机自动智能地分析数据，获取信息，作出预测或帮助决策作出预测或帮助决策需要需要算法的支持算法的支持和机器的环境和机器的环境51数据挖掘数据挖掘的常用方法的常用方法决策树方法决策树方法利用信息论中的互信息，寻找数据库中具利用信息论中的互信息，寻找数据库中具有最大信息量的属性字段，建立决策树的有最大信息量的属性字段，建立决策树的节点，再根据该属性字段的不同取值建立节点，再根据该属性字段的不同取值建立树的分支树的分支在每个分支子集中重复建立下层节点和分在每个分支子集中重复建立下层节点和分支支52数据挖掘数据挖掘分析方法
27、分析方法关联分析关联分析为了挖掘出隐藏在数据间的相互关系为了挖掘出隐藏在数据间的相互关系支持度支持度/置信度作为输入的条件，进行筛选、分析置信度作为输入的条件，进行筛选、分析序列模式分析序列模式分析类似与关联分析类似与关联分析着重于分析数据的前因后果着重于分析数据的前因后果分类分析分类分析对于不同分类的数据进行分析，找出他们的规律、对于不同分类的数据进行分析，找出他们的规律、特征特征聚类分析聚类分析是分类的逆过程是分类的逆过程根据数据特征，进行分类根据数据特征，进行分类53数据挖掘数据挖掘的步骤的步骤数据准备数据准备数据集成数据集成数据选择和预分析数据选择和预分析挖掘挖掘利用前述的方法对数据进行分析利用前述的方法对数据进行分析表述表述利用可视化工具，将结果展现给分析员利用可视化工具，将结果展现给分析员评价评价评估结果，递归上述过程评估结果，递归上述过程54数据挖掘数据挖掘与与OLAP都属于分析型工具都属于分析型工具DM是挖掘型工具是挖掘型工具DM试图自动地发现隐藏在数据中的模式或试图自动地发现隐藏在数据中的模式或规律规律OLAP是验证型工具是验证型工具OLAP更多地依赖于用户的输入和假设更多地依赖于用户的输入和假设两者相辅相成，互补两者相辅相成，互补以以DM挖掘潜在的模式、预测未来趋势挖掘潜在的模式、预测未来趋势以以OLAP来验证来验证DM的结果的结果55