《数据挖掘chap学习.pptx》由会员分享，可在线阅读，更多相关《数据挖掘chap学习.pptx（88页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、内容提要内容提要2.1 引言 2.2 从数据挖掘工具到解决方案 2.3 数据挖掘系统的演变 2.4 Crisp-DM模型2.5 数据挖掘支撑技术概述2.6 数据挖掘技术 第1页/共88页2.1 引言引言商业数据是如何进化为有用商业信息的？信息技术发展一个新的重要趋势是识别信息系统中有意义的数据。这种知识可能是一个商业机构获得竞争优势的关键。DM的价值在于主动搜寻产业发展趋势，并将这种理解提供给拥有大量信息的机构。商务机构的数据挖掘目标主要是改善组织机构与它们的顾客之间的沟通质量。数据挖掘在人的控制下，使用算法从数据中提取模式。可以为组织机构提供一种优化商务数据处理的方法企业（组织）数据更加全面
2、，生产、销售、质量数据挖掘公司关注各个不同的行业对大型、超大型、复杂的数据进行数据挖掘第2页/共88页DM可以用于商务应用，依靠三种成熟技术所支持大量数收集功能强大的多处理器计算机数据挖掘算法第3页/共88页数据挖掘演变数据挖掘演变 进化阶段进化阶段商业问题商业问题支持技术支持技术产品厂家产品厂家产品特点产品特点数据搜集(60年代)“过去五年中我的总收入是多少？”计算机、磁带和磁盘IBMCDC提供历史性的、静态的数据信息数据访问(80年代)“在新英格兰的分部去年三月的销售额是多少？”关系数据库(RDBMS)结构化查询语言(SQL)ODBCOracleSybaseInformixIBMMicro
3、soft在记录级提供历史性的、动态数据信息数据仓库决策支持(90年代)“在新英格兰的分部去年三月的销售额是多少？波士顿据此可得出什么结论？”联机分析处理(OLAP)多维数据库数据仓库PilotComshareArborCognosMicrostrategy在各种层次上提供回溯的、动态的数据信息数据挖掘（正在流行）“下个月波士顿的销售会怎么样？为什么？”高级算法多处理器计算机海量数据库PilotLockheedIBMSGI其他初创公司提供预测性的信息第4页/共88页数据挖掘产业的一个持续趋势是企业资源计划（ERP）零售商和应用服务提供者（ASP）的出现。什么是ERP？第5页/共88页2.2 数据
4、挖掘工具及解决方案数据挖掘工具及解决方案数据挖掘可以沿三条谱线追溯经典统计学（基础）回归分析、正态分布、标准差、标准方差、聚类分析和置信区间等概念，主要用于研究数据与数据之间的关系，这些都是最基本的构件块，可以用来构建更高级的统计分析。人工智能（Artificial Intelligence，AI）机器学习（统计学与AI的结合）DM基本上是将机器学习用于商务和科学应用，最好将DM看作统计学、AI、机器学习过去和现在发展的融合。第6页/共88页2.3 数据挖掘系统的演变数据挖掘系统的演变典型数据挖掘系统的体系结构数据仓库数据仓库数据清洗数据清洗过滤过滤数据库数据库数据库或数据仓库服务器数据挖掘引
5、擎模式评估图形用户界面知识库数据集成数据集成第7页/共88页数据挖掘系统的演变数据挖掘系统的演变 第一代：数据挖掘系统（data mining system）,20世纪80年代。主要关注单一任务的、研究驱动的工具组成操作复杂结果表示和可视化效果不理想第二代：数据挖掘系统套装(suite),1995年。关注数据清理和预处理集成了数据处理及可视化表示等功能Clementine、Mineset、Intelligent Miner第三代：基于应用和解决方案的从生产到销售全过程的数据挖掘，20世纪90年代。解决具体的商务问题，筛选存储在大型数据库中的信息，发现隐藏的模式。通过决策支持系统集成数据挖掘系统
6、，能对特定的问题进行决策，忽略数据挖掘工具的细节。面向生产到销售的全过程电子商务第8页/共88页2.4 Crisp-DM模型模型跨行业数据挖掘标准流程(Cross-Industry Standard Process for Data Mining，Crisp-DM)数据挖掘方法论最初由SPSS、NCR和DaimlerChrysler三个公司在1996年提出。后来得到欧共体研究基金的支助。到2000年8月，Crisp-DM 1.0版发布。Crisp-DM不是一种描述特定数据挖掘的技术，而是描述数据挖掘项目生命周期的流程。第9页/共88页Crisp-DM参考模型的阶段参考模型的阶段第10页/共88
7、页Crisp-DM数据挖掘方法论能通过分层流程模型来描述，包括一组描述4个抽象层次的任务：阶段：流程的最顶层是阶段。例如，商业理解是数据挖掘过程的第一个阶段。一般任务：一般任务是每个阶段下的任务的一般性描述。这一层还比较抽象，例如，数据清理是一般任务。特殊任务：特殊任务是指一般任务在某一特定情况下的描述，例如，数据清理任务有特殊任务，比如清理数值和清理分类值。流程实例：流程实例是最低层次的任务，包括行动记录、决策和实际数据挖掘的结果。第11页/共88页CRISP-DM参考模型的一般任务和输出参考模型的一般任务和输出第12页/共88页2.5 数据挖掘支撑技术概述数据挖掘支撑技术概述 DM技术数据
8、挖掘统计学机器学习高性能计算数据库及数据仓库决策支持系统可视化第13页/共88页2.5.1 数据挖掘：验证与发现数据挖掘：验证与发现查询提取、验证/分析工具决策支持系统、主管信息系统、一些查询工具访问数据库记录获取已有模式验证方法（verification method）过程：假设验证DM是发现工具。发现趋势，产生结果集少量用户指导大量数据集第14页/共88页2.5.2 决策支持系统决策支持系统产生于20世纪80年代中期目标：为组织机构的主管综合数据，使得他们能够基于数据分析，为决策提供支持。逐步被联机分析处理(OLAP)取代主管信息服务（EIS）、地理信息服务（GIS）、OLAP、知识发现系
9、统、专家系统第15页/共88页2.5.3 桌面桌面DSSMicrosoft Excel、Lotus 1-2-3、Expert-Choice第16页/共88页2.5.4 数据仓库与数据仓库与OLAP数据仓库是什么？它与数据库系统有什么不同？数据立方体 数据立方体上的OLAP操作第17页/共88页数据仓库数据挖掘的有效平台数据仓库数据挖掘的有效平台数据仓库中的数据清理和数据集成，是数据挖掘的重要数据预处理步骤数据仓库提供OLAP工具，可用于不同粒度的数据分析很多数据挖掘功能都可以和OLAP操作集成，以提供不同概念层上的知识发现分类预测关联聚集第18页/共88页什么是数据仓库什么是数据仓库?数据仓库
10、的定义很多，但却很难有一种严格的定义它是一个提供决策支持功能的数据库，它与公司的操作数据库分开维护。为统一的历史数据分析提供坚实的平台，对信息处理提供支持数据仓库区别于其他数据存储系统“数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门的决策过程.”W.H.Inmon第19页/共88页数据仓库关键特征一数据仓库关键特征一面向主题面向主题面向主题，是数据仓库显著区别于关系数据库系统的一个特征围绕一些主题，如顾客、供应商、产品等关注决策者的数据建模与分析，而不是集中于组织机构的日常操作和事务处理。排除对于决策无用的数据，提供特定主题的简明视图。第20页/共88页数
11、据仓库关键特征二数据仓库关键特征二数据集成数据集成一个数据仓库是通过集成多个异种数据源来构造的。关系数据库，一般文件，联机事务处理（联机事务处理（OLTP）记录）记录使用数据清理和数据集成技术。确保命名约定、编码结构、属性度量等的一致性。当数据被移到数据仓库时，它们要经过转化。第21页/共88页数据仓库关键特征三数据仓库关键特征三随时间而变化随时间而变化数据仓库是从历史的角度提供信息数据仓库的时间范围比操作数据库系统要长的多。操作数据库系统:主要保存当前数据。数据仓库:从历史的角度提供信息（比如过去 5-10 年）数据仓库中的每一个关键结构都隐式或显式地包含时间元素，而操作数据库中的关键结构可
12、能就不包括时间元素。第22页/共88页数据仓库关键特征四数据仓库关键特征四数据不易丢失数据不易丢失尽管数据仓库中的数据来自于操作数据库，但他们却是在物理上分离保存的。操作数据库的更新操作不会出现在数据仓库环境下。不需要事务处理，恢复，和并发控制等机制不需要事务处理，恢复，和并发控制等机制只需要两种数据访问:数据的初始转载和数据访问（读操作）第23页/共88页数据仓库的构建与使用数据仓库的构建与使用数据仓库的构建包括一系列的数据预处理过程数据清理数据集成数据变换数据仓库的使用热点是商业决策行为，例如：增加客户聚焦产品重定位寻找获利点客户关系管理第24页/共88页数据仓库与异种数据库集成数据仓库与
13、异种数据库集成异种数据库的集成方法传统的异种数据库集成:（查询驱动查询驱动）在多个异种数据库上建立包装程序（wrappers）和中介程序（mediators）查询驱动方法当从客户端传过来一个查询时，首先使用元数据字典将查询转换成相应异种数据库上的查询；然后，将这些查询映射和发送到局部查询处理器数据仓库:（更新驱动更新驱动）将来自多个异种源的信息预先集成，并存储在数据仓库中，供直接查询和分析第25页/共88页查询驱动方法和更新驱动方法的比较查询驱动方法和更新驱动方法的比较查询驱动的方法需要负责的信息过滤和集成处理与局部数据源上的处理竞争资源对于频繁的查询，尤其是涉及聚集（汇总）操作的查询，开销很
14、大（决策支持中常见的查询形式）更新驱动的方法（带来高性能）数据经预处理后单独存储，对聚集操作提供良好支持不影响局部数据源上的处理集成历史信息，支持负责的多维查询第26页/共88页数据仓库与操作数据库系统数据仓库与操作数据库系统操作数据库系统的主要任务是联机事务处理OLTP日常操作:购买，库存，银行，制造，工资，注册，记帐等数据仓库的主要任务是联机分析处理OLAP数据分析和决策支持，支持以不同的形式显示数据以满足不同的用户需要第27页/共88页OLTP VS.OLAP(1)用户和系统的面向性面向顾客（事务）VS.面向市场（分析）数据内容当前的、详细的数据 VS.历史的、汇总的数据数据库设计实体联
15、系模型(ER)和面向应用的数据库设计 VS.星型/雪花模型和面向主题的数据库设计第28页/共88页OLTP VS.OLAP(2)数据视图当前的、企业内部的数据 VS.经过演化的、集成的数据访问模式事务操作 VS.只读查询（但很多是复杂的查询）任务单位简短的事务 VS.复杂的查询访问数据量数十个 VS.数百万个第29页/共88页OLAP VS.OLTP(3)用户数数千个 VS.数百个数据库规模100M-数GB VS.100GB-数TB设计优先性高性能、高可用性 VS.高灵活性、端点用户自治度量事务吞吐量 VS.查询吞吐量、响应时间第30页/共88页为什么需要一个分离的数据仓库为什么需要一个分离的
16、数据仓库?提高两个系统的性能DBMS是为OLTP而设计的：存储方式,索引,并发控制,恢复数据仓库是为OLAP而设计：复杂的 OLAP查询,多维视图，汇总不同的功能和不同的数据:历史数据:决策支持需要历史数据，而这些数据在操作数据库中一般不会去维护数据汇总：决策支持需要将来自异种源的数据统一（如聚集和汇总）数据质量:不同的源使用不一致的数据表示、编码和格式，对这些数据进行有效的分析需要将他们转化后进行集成第31页/共88页多维数据模型多维数据模型(1)数据仓库和OLAP工具基于多维数据模型在多维数据模型中，数据以数据立方体(data cube)的形式存在数据立方体数据立方体允许以多维数据建模和观
17、察。它由维维和事实事实定义维维是关于一个组织想要记录的视角或观点。每个维都有一个表与之相关联，称为维表维表。多维数据模型围绕中心主题组织，该主题用事实表事实表表示事实表事实表包括事实的名称或度量以及每个相关维表的关键字事实事实指的是一些数字度量第32页/共88页多维数据模型多维数据模型(2)示例示例 time_keydayday_of_the_weekmonthquarteryeartime 维表location_keystreetcitystate_or_provincecountrylocation 事实表Sales 事实表 time_key item_key branch_key loc
18、ation_key units_sold dollars_sold avg_sales度量item_keyitem_namebrandtypesupplier_typeitem 维表branch_keybranch_namebranch_typebranch 维表第33页/共88页多维数据模型多维数据模型(3)在数据仓库中，数据立方体是n-D的(n维）（关系表和电子表格是几维的？）示例AllElectronics的销售数据按维time,item的2-D视图第34页/共88页多维数据模型多维数据模型(3)AllElectronics的销售数据按维time,item和location的3-D视图第
19、35页/共88页多维数据模型多维数据模型(3)AllElectronics的销售数据按维time,item和location的3-D视图的3-D数据立方体表示第36页/共88页多维数据模型多维数据模型(3)销售数据的4-D立方体表示第37页/共88页多维数据模型多维数据模型(3)多维数据模型为不同角度上的数据建模和观察提供了一个良好的基础多维数据模型为不同角度上的数据建模和观察提供了一个良好的基础第38页/共88页多维数据模型多维数据模型(4)在数据仓库的研究文献中，一个n维的数据的立方体叫做基本方体基本方体。给定一个维的集合，我们可以构造一个方体的格方体的格，每个都在不同的汇总级或不同的数据
20、子集显示数据，方体的格称为数据立方体数据立方体。0维方体存放最高层的汇总，称作顶点方体顶点方体；而存放最底层汇总的方体则称为基本方体基本方体。第39页/共88页数据立方体数据立方体一个方体的格一个方体的格alltimeitemlocationsuppliertime,itemtime,locationtime,supplieritem,locationitem,supplierlocation,suppliertime,item,locationtime,item,suppliertime,location,supplieritem,location,suppliertime,item,loc
21、ation,supplier0-D(顶点)方体1-D方体2-D 方体3-D 方体4-D(基本)方体第40页/共88页数据仓库的概念模型数据仓库的概念模型最流行的数据仓库概念模型是多维数据模型。这种模型可以以星型模式、雪花模式、或事实星座模式的形式存在。星型模式（Star schema）:事实表在中心，周围围绕地连接着维表（每维一个），事实表含有大量数据，没有冗余。雪花模式（Snowflake schema）:是星型模式的变种，其中某些维表是规范化的，因而把数据进一步分解到附加表中。结果，模式图形成类似于雪花的形状。事实星座（Fact constellations）:多个事实表共享维表,这种模式
22、可以看作星型模式集，因此称为星系模式（galaxy schema），或者事实星座（fact constellation）第41页/共88页星型模式实例星型模式实例 time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcitystate_or_provincecountrylocationSales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_nameb
23、randtypesupplier_typeitembranch_keybranch_namebranch_typebranch第42页/共88页雪花模式实例雪花模式实例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_k
24、eyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycitystate_or_provincecountrycity第43页/共88页事实星座模式实例事实星座模式实例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_statecountrylocationSales Fact Tabletime_key item_key branch_key location_key
25、units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShipping Fact Tabletime_key item_key shipper_key from_location to_location dollars_cost units_shippedshipper_keyshipper_namelocation_keyshipper_typeshipper第44页/共88页一种数据挖掘查询语言一种数据
26、挖掘查询语言:DMQLDMQL首先包括定义数据仓库和数据集市的语言原语，这包括两种原语定义：一种是立方体定义，一种是维定义立方体定义(事实表)define cube :维定义(维表)define dimension as()特殊案例(共享维表的定义)第一次作为维表定义“cube definition”然后：define dimension as in cube 第45页/共88页实例：使用实例：使用DMQL定义星型模式定义星型模式define cube sales_star time,item,branch,location:dollars_sold=sum(sales_in_dollars)
27、,avg_sales=avg(sales_in_dollars),units_sold=count(*)define dimension time as(time_key,day,day_of_week,month,quarter,year)define dimension item as(item_key,item_name,brand,type,supplier_type)define dimension branch as(branch_key,branch_name,branch_type)define dimension location as(location_key,street
28、,city,province_or_state,country)第46页/共88页实例：使用实例：使用DMQL定义雪花模式定义雪花模式define cube sales_snowflake time,item,branch,location:dollars_sold=sum(sales_in_dollars),avg_sales=avg(sales_in_dollars),units_sold=count(*)define dimension time as(time_key,day,day_of_week,month,quarter,year)define dimension item as
29、(item_key,item_name,brand,type,supplier(supplier_key,supplier_type)define dimension branch as(branch_key,branch_name,branch_type)define dimension location as(location_key,street,city(city_key,province_or_state,country)第47页/共88页实例：使用实例：使用DMQL定义事实星座模式定义事实星座模式define cube sales time,item,branch,location
30、:dollars_sold=sum(sales_in_dollars),avg_sales=avg(sales_in_dollars),units_sold=count(*)define dimension time as(time_key,day,day_of_week,month,quarter,year)define dimension item as(item_key,item_name,brand,type,supplier_type)define dimension branch as(branch_key,branch_name,branch_type)define dimens
31、ion location as(location_key,street,city,province_or_state,country)define cube shipping time,item,shipper,from_location,to_location:dollar_cost=sum(cost_in_dollars),unit_shipped=count(*)define dimension time as time in cube salesdefine dimension item as item in cube salesdefine dimension shipper as(
32、shipper_key,shipper_name,location as location in cube sales,shipper_type)define dimension from_location as location in cube salesdefine dimension to_location as location in cube sales第48页/共88页度量的分类度量的分类一个数据立方体的度量是一个数值数值函数，该函数可以对数据立方体的每一个点求值。(刚才的示例中用的是什么函数？)度量可以根据其所用的聚集函数分为三类：分布的(distributive)：将函数用于n
33、个聚集值得到的结果和将函数用于所有数据得到的结果一样。比如：count()，sum()，min()，max()等代数的(algebraic)：函数可以由一个带M个参数的代数函数计算（M为有界整数），而每个参数值都可以有一个分布的聚集函数求得。比如：avg()，min_N()，standard_deviation()整体的(holistic)：描述函数的子聚集所需的存储没有一个常数界。比如：median()，mode()，rank()第49页/共88页概念分层概念分层(1)一个概念分层（concept hierarchy）定义一个映射序列，将低层概念映射到更一般的高层概念E.g.表示locati
34、on的概念：南宁广西中国亚洲概念分层允许我们在各种抽象级审查和处理数据概念分层可以由系统用户、领域专家、知识工程师人工的提供，也可以根据数据分布的统计分析自动的产生第50页/共88页概念分层概念分层(2):location维的一个概念分层维的一个概念分层allEuropeNorth_AmericaMexicoCanadaSpainGermanyVancouverM.WindL.Chan.allregionofficecountryTorontoFrankfurtcity许多概念分层的定义隐含在数据库的模式中。比如：location维的定义，officecitycountryregion；这些属
35、性 按一个全序相关，形成一个层次结构：yeardayquartermonthweek维的属性也可以组成一个偏序，形成一个格：第51页/共88页概念分层概念分层(3)使用使用概念分层为不同级别上的数据汇总提供了一个良好的基础综合概念分层和多维数据模型的潜力，可以对数据获得更深入的洞察力通过在多维数据模型中，在不同的维上定义概念分层，使得用户在不同的维上从不同的层次对数据进行观察成为可能。多维数据模型（数据立方体）使得从不同的角度对数据进行观察成为可能，多维数据模型（数据立方体）使得从不同的角度对数据进行观察成为可能，而概念分层则提供了从不同层次对数据进行观察的能力；结合这两者的特而概念分层则提供
36、了从不同层次对数据进行观察的能力；结合这两者的特征，我们可以在多维数据模型上定义各种征，我们可以在多维数据模型上定义各种OLAP操作，为用户从不同角度操作，为用户从不同角度不同层次观察数据提供了灵活性：不同层次观察数据提供了灵活性：第52页/共88页多维数据模型上的多维数据模型上的OLAP操作操作(1)上卷(roll-up):汇总数据通过一个维的概念分层向上攀升或者通过维规约当用维归约进行上卷时，一个或多个维由给定的数据立方体删除下钻(drill-down)：上卷的逆操作由不太详细的数据到更详细的数据，可以通过沿维的概念分层向下或引入新的维来实现(为给定数据添加更多细节)切片和切块(slice
37、 and dice)切片操作在给定的数据立方体的一个维上进行选择，导致一个子方切块操作通过对两个或多个维进行选择，定义子方第53页/共88页多维数据模型上的多维数据模型上的OLAP操作操作(1)第54页/共88页多维数据模型上的多维数据模型上的OLAP操作操作(2)转轴(pivot)立方体的重定位，可视化，或将一个3维立方体转化为一个2维平面序列转轴是一种可视化可视化操作，通过转动当前数据的视图来提供一个数据的替代表示其他OLAP操作钻过(drill_across)：执行涉及多个事实表的查询钻透(drill_through)：使用关系SQL机制，钻到数据立方体的底层，到后端关系表其他OLAP操
38、作可能包括列出表中最高或最低的N项，以及计算移动平均值、增长率、利润、统计函数等等第55页/共88页数据仓库设计：一个商务分析框架数据仓库设计：一个商务分析框架(1)数据仓库给商业分析专家提供了什么？通过提供相关数据与信息，获得竞争优势通过有效的收集精确的描述组织的数据，获得生产力的提高通过提供不同级别（部门、市场、商业）的客户视图，协助客户关系管理通过追踪长期趋势、异常等，降低成本有效构建数据仓库的关键：理解和分析商业需求通过提供一个商业分析框架，综合各种不同的数据使用者的视图通过提供一个商业分析框架，综合各种不同的数据使用者的视图第56页/共88页数据仓库设计：一个商务分析框架数据仓库设计
39、：一个商务分析框架(2)数据仓库设计的四种视图自顶向下视图允许我们选择数据仓库所需的相关信息数据源视图揭示被操作数据库系统所捕获、存储和管理的信息数据仓库视图由事实表和维表所组成商务查询视图从最终用户的角度透视数据仓库中的数据第57页/共88页数据仓库设计：一个商务分析框架数据仓库设计：一个商务分析框架(3)数据仓库的构建与使用涉及多种技能商业技能理解系统如何存储和管理数据数据如何提取数据如何刷新技术方面的技能如何通过使用各种数据或量化的信息，到可以提供决策支持的模式、趋势、判断等如何通过审查历史数据，分析发展趋势等计划管理技能如何通过与不同的技术、厂商、用户交互，来及时、有效、经济的提交结果
40、第58页/共88页数据仓库的设计过程数据仓库的设计过程(1)自顶向下法、自底向上法或者两者的混合方法自顶向下法：由总体设计和规划开始在技术成熟、商业理解透彻的情况下使用自底向上法：以实验和原型开始常用在模型和技术开发的初期，可以有效的对使用的技术和模型进行评估，降低风险混合方法：上述两者的结合从软件过程的观点瀑布式方法：在进行下一步前，每一步都进行结构化和系统的分析螺旋式方法：功能渐增的系统的快速产生，相继版本之间间隔很短第59页/共88页数据仓库的设计过程数据仓库的设计过程(2)典型的数据仓库设计过程选取待建模的商务过程商务过程找到所构建的数据仓库的主题，比如：销售、货运、订单等等选取商务过
41、程的颗粒度颗粒度数据起始于多细的颗粒度，比如：记录每条详细订单，或是开始于每日的汇总数据选取用于每个事实表记录的维维常用的维有：时间、货物、客户、供应商等选取将安放在事实表中的度量度量常用的数字度量包括：售价、货物数量等第60页/共88页三层数据仓库架构三层数据仓库架构(1)数据仓库提取清理转换装入刷新OLAP服务器查询报告分析数据挖掘监控、整合元数据存储数据源前端工具输出数据集市操作数据库其他外部信息源数据仓库服务器OLAP服务器第61页/共88页三层数据仓库架构三层数据仓库架构(2)底层：数据仓库的数据库服务器关注的问题：如何从这一层提取数据来构建数据仓库（通过Gateway（ODBC,J
42、DBC,OLE/DB等）来提取）中间层：OLAP服务器关注的问题：OLAP服务器如何实施（关系型OLAP，多维OLAP等）前端客户工具层关注的问题：查询工具、报表工具、分析工具、挖掘工具等第62页/共88页三种数据仓库模型三种数据仓库模型从体系结构的角度去看，数据仓库模型可以有以下三种：企业仓库搜集关于跨越整个组织的主题的所有信息数据集市企业范围数据的一个子集，对于特定的客户是有用的。其范围限于选定的主题，比如一个商场的数据集市独立的数据集市 VS.非独立的数据集市（数据来自于企业数据仓库）虚拟仓库操作数据库上的一系列视图只有一些可能的汇总视图被物化第63页/共88页数据仓库开发：困难与方法数
43、据仓库开发：困难与方法数据仓库开发上的困难自顶向下的开发方法从全系统的角度提供解决方案，使得（模块）集成的问题最小；但是该方法十分昂贵，需要对组织进行长期研究和建模分析。自底向上方法提供了更多的开发灵活性，价格便宜；但往往会遇到集成问题（每个模块单独运行都没有问题，但是一集成就出异常）解决方法：使用递增性、演化性的开发方法高层数据模型企业仓库和数据集市并行开发通过分布式模型集成各数据集市多层数据仓库第64页/共88页数据仓库开发数据仓库开发一个推荐的方法一个推荐的方法定义高层数据模型定义高层数据模型数据数据集市集市数据数据集市集市分布式数据分布式数据集市集市多层数据仓库多层数据仓库企业数据仓库
44、企业数据仓库模型提炼模型提炼模型提炼模型提炼第65页/共88页OLAP服务器类型服务器类型(1)逻辑上，OLAP服务器从数据仓库或数据集市中给商业用户提供多维数据物理上，OLAP的底层数据存储实现可以有多种不同的方式关系OLAP服务器(ROLAP)使用关系数据库或扩展的关系数据库存放并管理数据仓库的数据，而用OLAP中间件支持其余部分包括每个DBMS后端优化，聚集导航逻辑的实现，附加的工具和服务较大的可扩展性第66页/共88页OLAP服务器类型服务器类型(2)多维OLAP服务器(MOLAP)基于数组的多维存储引擎（稀疏矩阵技术）能对预计算的汇总数据快速索引能对预计算的汇总数据快速索引混合OLA
45、P服务器(HOLAP)结合上述两种技术，更大的使用灵活性特殊的SQL服务器在星型和雪花模型上支持SQL查询第67页/共88页数据仓库的实现数据仓库的实现数据立方体的有效计算数据立方体的有效计算数据仓库中的OLAP查询是一种海量数据计算（想象一下对过去10年各地区的软件产品销售的汇总查询）用户却希望这个计算能在数秒钟内完成解决方法在于给出一种有效的计算数据立方体的方法数据立方体可以被看成是一个方体的格方体的格最底层的方体是基本方体最顶端的方体（顶点）只包含一个单元的值一个n维的数据立方体，每维L层，可能产生的方体总数是多少？(item)(city)()(year)(city,item)(city
46、,year)(item,year)(city,item,year)第68页/共88页方体的操作方体的操作DMQL中的方体定义和计算define cube salesitem,city,year:sum(sales_in_dollars)compute cube sales上述的compute cube子句可以转化为一个类似于SQL的语句SELECT item,city,year,SUM(amount)FROM SALESCUBE BY item,city,year这个相当于SQL中以下的group by子句(item,city,year)3D(item,city),(item year),(c
47、ity,year)2D(item),(city),(year)1D()-0D(item)(city)()(year)(city,item)(city,year)(item,year)(city,item,year)第69页/共88页数据立方体的物化数据立方体的物化数据立方体的物化物化可以有以下三种选择：全物化预先计算所有方体不物化不预先计算任何“非基本”方体部分物化部分物化有选择的计算一个所有方体的适当子集有选择的计算一个所有方体的适当子集考虑因素考虑因素:(1)确定要物化的方体；确定要物化的方体；(2)在查询时利用物化在查询时利用物化的方体；的方体；(3)在装载和刷新时，有效的更新物化的方体
48、在装载和刷新时，有效的更新物化的方体确定物化哪些方体考虑工作负荷下的查询、它们的频率和它们的开销等等第70页/共88页方体计算：方体计算：ROLAP vs.MOLAP方体计算的挑战：海量数据，有限的内存和时间海量数据，有限的内存和时间基于ROLAP的方法（底层使用关系模型存储数据）将排序、散列(hashing)和分组操作应用于维的属性，以便对相关元组重新排序和聚类在某些子聚集上分组，作为“部分分组步骤”。可以由以前计算的聚集计算新的聚集，而不必有基本事实表计算基于MOLAP方法（底层使用多维数组存储数据）多路数组聚集的计算方法多路数组聚集的计算方法将数组切成块（每个块都可以整个装入内存）通过访
49、问各个块来计算汇总值第71页/共88页方体计算的多路数组聚集方法方体计算的多路数组聚集方法(1)将数组分成块（chunk,一个可以装入内存的小子方）通过访问立方体单元，计算聚集。可以优化访问单元组的次序，使得每个单元被访问的次数最小化，从而减少内存访问和磁盘I/O的开销。A(month)40个值个值B29303132123459131415166463626148474645a1a0c3c2c1c 0b3b2b1b0a2a3C(item)4000个值个值B(city)400个值个值442856402452362060哪个是多路数组哪个是多路数组聚集的最佳遍历聚集的最佳遍历次序？次序？第72页/
50、共88页方体计算的多路数组聚集方法方体计算的多路数组聚集方法(2)A(month)40B29303132123459131415166463626148474645a1a0c3c2c1c 0b3b2b1b0a2a3C(item)4000442856402452362060B(city)400第73页/共88页方体计算的多路数组聚集方法方体计算的多路数组聚集方法(3)AB29303132123459131415166463626148474645a1a0c3c2c1c 0b3b2b1b0a2a3C442856402452362060B第74页/共88页方体计算的多路数组聚集方法方体计算的多路数组